WO2017178313A1 - Steuer- und konfiguriereinheit sowie verfahren zum steuern und konfigurieren eines mikroskops - Google Patents

Steuer- und konfiguriereinheit sowie verfahren zum steuern und konfigurieren eines mikroskops Download PDF

Info

Publication number
WO2017178313A1
WO2017178313A1 PCT/EP2017/058188 EP2017058188W WO2017178313A1 WO 2017178313 A1 WO2017178313 A1 WO 2017178313A1 EP 2017058188 W EP2017058188 W EP 2017058188W WO 2017178313 A1 WO2017178313 A1 WO 2017178313A1
Authority
WO
WIPO (PCT)
Prior art keywords
microscope
controls
virtual reality
operator
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/058188
Other languages
English (en)
French (fr)
Inventor
Alexander Gaiduk
Ralf Wolleschensky
Pavlos ILIOPOULOS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to US16/084,250 priority Critical patent/US20190064920A1/en
Publication of WO2017178313A1 publication Critical patent/WO2017178313A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention initially relates to a method for
  • Controlling and / or configuring a microscope may be formed, for example, by a workflow for controlling and / or configuring the microscope in a mixed reality.
  • the invention further relates to a control and / or configuration unit for a microscope.
  • US 2010/0248200 AI shows a system for generating a virtual reality for educational applications in medicine.
  • US 2013/0125027 AI teaches a system for generating a virtual reality in which several remote participants can act.
  • US 8,621,368 B2 shows a method for interaction in a virtual reality.
  • US 2015/0016777 AI shows a planar waveguide, which allows multiple optical paths and
  • Microscopy GmbH is a three-dimensional visualization of previously recorded and post-processed microscope images using a virtual reality headset.
  • product sheet of Carl Zeiss Microscopy GmbH “Zeiss
  • Analysis, visualization and evaluation available. There can be access to the data via the Internet.
  • the computer game "Disassembly 3D” simulates the disassembly of various objects, such as removing screws, bolts, nuts and other items with bare hands
  • Control unit for an optical microscope which is held in a single hand and preferably has the shape of a computer mouse.
  • the DE 20 2009 017 670 Ul shows a microscope control unit with manually operable roller-shaped controls for x / y adjustment of a cross table and optionally the
  • a control device is used u. a. for physical control of the sample and also of the laser.
  • Representation of the microscopic sample is a virtual reality used.
  • the user can select and change the views within the virtual reality to the sample, for which he has a 3D input device available.
  • the user can select a virtual configuration of the microscope to which the real configuration of the microscope is adapted.
  • DE 601 30 264 T2 shows a method for controlling a microscope during a surgical procedure
  • the object of the present invention is to facilitate the complex operation, control and / or configuration of microscopes. This is also intended, for example, to learn the technical function of microscopes, in particular their hardware and of
  • the method according to the invention serves for controlling and / or configuring a microscope and adjusts to that extent
  • the microscope is
  • the virtual microscope is
  • help information is also displayed in the virtual reality or in the augmented reality.
  • the help information provides the operator with assistance in controlling the microscope.
  • the help information is preferably independent of a position and a
  • Help information preferably includes texts, error messages, icons such as arrow icons, alerts, instructional videos, and / or a helping avatar.
  • the help information preferably also includes auxiliary acoustic information, for example in the form of natural or synthetic
  • the controls and / or components of the microscope are preferred within the interactive guide
  • the controls and / or the components of the microscope are preferably dependent on a usage state and / or depending on a setting state
  • the configuration of the microscope preferably includes
  • Microscopes d. H. an assembly or disassembly of
  • the microscope base plate preferably has certain
  • the user inputs are preferably formed by gestures of the operator.
  • One of the gestures is preferably formed by pointing with a finger or with one hand of the operator. This gesture preferably leads to the region of the enlarged sample on which the operator is pointing being marked or enlarged again. Another one
  • the real object of action can be regarded as a totem.
  • the object of action is formed by a glove which has a mark and as such is passive.
  • the operator may be recognized by the glove on his hand, and moving the glove may represent a user input.
  • the action object is formed in further preferred embodiments by a 3D mouse, by a data glove or by a Flystick.
  • Such active objects represent input devices and are used in virtual reality applications.
  • the controls include at least one
  • the controls include one or more
  • Controls for adjusting a microscope illumination of the Microscope preferably comprise
  • control for switching the microscope illumination on and off, at least one control for selecting parameters of the microscope illumination, at least one
  • Control for selecting a mode of microscope illumination and / or at least one control element for selecting a source of microscope illumination.
  • control elements for setting the recording parameters or the exposure parameters preferably comprise at least one control element for setting a recording time or an exposure time, at least one control for setting a recording correction,
  • At least one control for selecting an automatic recording or an automatic exposure at least one control for setting a recording speed, at least one control for setting a
  • the controls include one or more
  • Controls for controlling a recording process or an exposure process of the microscope preferably comprise at least one control element for starting the recording process or the exposure process,
  • At least one control for terminating the recording process or the exposure process, at least one control element to interrupt the recording process or the
  • Exposure process at least one control for
  • Control for capturing a frame sequence Control for capturing a frame sequence.
  • the controls include one or more
  • Microscope The controls to move the
  • Microscope optics preferably comprise at least one
  • Control for setting an x-, y- or z-position of the microscope stage and / or at least one control element for setting a rotation and / or an inclination of the
  • the controls include one or more
  • Controls for setting microscopy parameters of the microscope The controls for setting the microscope
  • Microscopy parameters of the microscope preferably include at least one control for setting a contrast and / or at least one control for selecting
  • the controls include at least one
  • the controls comprise at least one
  • Control for temporal navigation within an image sequence and / or at least one control for temporal navigation within a frame sequence are provided.
  • the controls comprise at least one
  • the controls comprise at least one
  • the controls comprise at least one
  • Microscope images and / or at least one control for storing microscope images are provided.
  • the controls comprise at least one
  • the controls include at least one
  • Control for updating software of the microscope In virtual reality or augmented reality, the operator receives visual feedback, in particular visual feedback on his user input or interactive guidance.
  • Preferred embodiments of the method according to the invention further comprise a step in which at least one acoustic feedback to the
  • haptic User input in virtual reality or during interactive guidance.
  • a suitably equipped data glove is used.
  • the haptic feedback preferably includes an active force feedback, also called force feedback
  • the operator receives a force as feedback.
  • the visual feedback, the acoustic feedback and / or the haptic feedback is preferably dependent on a status of the microscope, depending on a status of a
  • the visual feedback, the acoustic feedback and / or the haptic feedback, but in particular the haptic feedback is preferably given by the action object to the operator.
  • the object of action is preferably formed by a haptic feedback-capable 3D mouse, by a haptic feedbackable data glove or by a haptic feedback fly stick.
  • the control and / or configuration unit according to the invention is provided for a microscope and serves to control and / or configure the microscope.
  • the control and / or configuration unit according to the invention comprises a display for generating and displaying a virtual reality.
  • this virtual reality controls for controlling the microscope and components of the microscope can be represented, wherein the
  • Controls include at least synthetic controls.
  • the representable controls represent parameters and / or functions of the microscope.
  • the display is preferably formed by a three-dimensional display.
  • three-dimensional display is preferred by a virtual
  • Reality glasses an augmented reality glasses or a mixed-reality glasses are formed, which the operator carries on his head in front of his eyes.
  • the display can also be by another head-mounted display or projectors z.
  • B. be formed in a CAVE. In a simple case, the
  • Display be formed by a two-dimensional display.
  • the display can also preferably be formed by a virtual reality headset, an augmented reality headset or a mixed reality headset.
  • control and / or configuration unit further comprises at least one input device for detecting user inputs, which an operator of the microscope in the virtual reality in relation to the displayed controls and / or in relation to the illustrated
  • Input device is preferably formed by an optical sensor which detects the operator and gestures of the operator.
  • the at least one input device is preferably formed by a position and / or position sensor which is arranged on the operator.
  • the at least one input device is preferably formed by a computer input device; in particular by a 3D mouse, by a data glove or by a
  • the at least one input device preferably comprises an active force feedback.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Steuern und/oder Konfigurieren eines Mikroskops. In einem Schritt des Verfahrens erfolgt ein Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops dargestellt werden. In einem weiteren Schritt erfolgt ein Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt. Erfindungsgemäß werden die Nutzereingaben zum Steuern und/oder zum Konfigurieren des Mikroskops verwendet. Die Erfindung betrifft weiterhin eine Steuer- und/oder Konfiguriereinheit für ein Mikroskop.

Description

Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und
Konfigurieren eines Mikroskops
Die vorliegende Erfindung betrifft zunächst ein Verfahren zum
Steuern und/oder Konfigurieren eines Mikroskops. Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Die Erfindung betrifft weiterhin eine Steuer- und/oder Konfiguriereinheit für ein Mikroskop.
Die US 2010/0248200 AI zeigt ein System zur Erzeugung einer virtuellen Realität für Lehranwendungen in der Medizin. Die US 2013/0125027 AI lehrt ein System zur Erzeugung einer virtuellen Realität, in welcher mehrere zueinander entfernte Teilnehmer agieren können.
Aus der US 2013/0036371 AI ist ein Verfahren zur Erzeugung einer virtuellen Realität bekannt, bei welchem virtuelle und reale Ansichten überlagert werden.
Die US 8,621,368 B2 zeigt ein Verfahren zur Interaktion in einer virtuellen Realität.
Aus der US 2012/0188256 AI ist ein Verfahren zur Verknüpfung einer realen und einer virtuellen Welt bekannt, bei welchem virtuelle Objekte in der virtuellen Welt gesteuert werden. Die US 2015/0118987 AI lehrt ein Verfahren zur Auswahl von
Netzwerkressourcen unter Nutzung von Zeichenketten zur
Initialisierung einer Kommunikation mit der jeweiligen
Netzwerkressource . Die US 2015/0016777 AI zeigt einen ebenen Wellenleiter, welcher mehrere optische Strahlengänge ermöglicht und
beispielsweise für Head-Mounted Displays verwendet werden kann .
In dem wissenschaftlichen Artikel von Dombeck, Daniel A. et al . : „Functional imaging of hippocampal place cells at
cellular resolution during Virtual navigation" in Nature
Neuroscience 13, Seiten 1433-1440 (2010), ist ein Verfahren zur Visualisierung der Aktivität von Nervenzellen im
Hippocampus beschrieben.
Auf der jährlichen Tagung der Society for Neuroscience am 25. September 2015 in Chicago (USA) präsentierte die Carl Zeiss
Microscopy GmbH eine dreidimensionale Visualisierung von zuvor aufgenommenen und nachbearbeiteten Mikroskopaufnahmen mithilfe eines Virtual-Reality-Headsets . In dem Produktblatt der Carl Zeiss Microscopy GmbH: „Zeiss
Axio Scan. ZI" vom Juli 2013 wird eine Vorrichtung zur
virtuellen Mikroskopie von virtuellen Südes beschrieben. Die Vorrichtung stellt einen Scanner dar, mit welchem reale Proben in einer sehr hohen Auflösung digitalisiert werden können. Die entstehenden großen Datenmengen stehen für eine spätere
Analyse, Visualisierung und Bewertung zur Verfügung. Es kann ein Zugriff auf die Daten über das Internet erfolgen.
Das Computerspiel „Disassembly 3D" simuliert das Zerlegen von verschiedenen Objekten. Es können Schrauben, Bolzen, Muttern und andere Einzelteile mit den bloßen Händen entfernt werden. Das zu zerlegende Objekt ist beispielsweise durch ein
Mikroskop gebildet. Aus der DE 196 37 756 AI ist eine multifunktionelle
Steuereinheit für ein optisches Mikroskop bekannt, die in einer einzigen Hand festhaltbar ist und bevorzugt die Form einer Computermaus aufweist.
Die DE 20 2009 017 670 Ul zeigt eine Mikroskop-Steuereinheit mit manuell betätigbaren walzenförmigen Bedienelementen zur x/y-Verstellung eines Kreuztisches und wahlweise der
z-Verstellung der Fokuseinrichtung des Mikroskops.
Zur Steuerung von Mikroskopen werden gemäß dem Stand der Technik spezielle Tastaturen und Mäuse sowie berührungsfähige Anzeigen verwendet. Diese Steuergeräte sind teilweise mit Einstellrädern ausgestattet.
Die US 2015/0032414 AI beschreibt ein Verfahren zum
dreidimensionalen Vermessen eine Probe mit einem Laser- Scanning-Mikroskop . Eine Steuereinrichtung dient u. a. zur physischen Steuerung der Probe und auch des Lasers. Zur
Darstellung der mikroskopierten Probe wird eine virtuelle Realität genutzt. Der Nutzer kann innerhalb der virtuellen Realität die Ansichten auf die Probe auswählen und verändern, wofür ihm eine 3D-Eingabeeinrichtung zur Verfügung steht. Der Nutzer kann eine virtuelle Konfiguration des Mikroskops auswählen, an welche die reale Konfiguration des Mikroskops angepasst wird.
Die DE 601 30 264 T2 zeigt ein Verfahren zum Steuern eines Mikroskops während eines chirurgischen Eingriffes unter
Nutzung einer erweiterten Realität. In der US 2015/0085095 AI ist ein System zur chirurgischen Visualisierung beschrieben, welches physische und virtuelle Benutzerschnittstellen aufweist. Die US 2014/0088941 AI lehrt ein System zur Simulation von chirurgischen Abläufen, in welchem eine virtuelle Realität mit einer haptischen Erweiterung erzeugt wird.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, die komplexe Bedienung, Steuerung und/oder Konfiguration von Mikroskopen zu erleichtern. Dies soll beispielsweise auch das Erlernen der technischen Funktion von Mikroskopen, insbesondere von deren Hardware und von
Arbeitsabläufen beim Bedienen des Mikroskops erleichtern. Auch soll das Entwickeln und das Prototyping von Mikroskopen dadurch erleichtert werden.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch eine Steuer- und/oder
Konfiguriereinheit gemäß dem beigefügten nebengeordneten
Anspruch 15.
Das erfindungsgemäße Verfahren dient zum Steuern und/oder zum Konfigurieren eines Mikroskops und stellt insoweit ein
Verfahren zum Bedienen, zum Steuern und/oder zum Konfigurieren des Mikroskops dar. Bei dem Mikroskop handelt es sich
bevorzugt um ein reales Mikroskop oder alternativ bevorzugt um ein virtuelles Mikroskop. Das virtuelle Mikroskop ist
synthetisch und durch Software in einem Rechner ausgebildet. Bei dem physischen realen Mikroskop handelt es sich bevorzugt um ein digitales Mikroskop, bei welchem eine elektronische Bildwandlung erfolgt, wobei das aufgenommene Bild in Form von digitalen Daten weiterverarbeitet und zur Anzeige auf einer elektronischen Bildwiedergabeeinrichtung gebracht wird. Bei dem physischen realen Mikroskop kann es sich aber auch um ein Mikroskop einer anderen Bauart oder mit einem anderen
Funktionsprinzip handeln.
Das erfindungsgemäße Verfahren umfasst einen Schritt, in welchem eine virtuelle Realität erzeugt und dargestellt wird. Die virtuelle Realität wird visuell und bevorzugt auch
akustisch dargestellt. Die virtuelle Realität ist
dreidimensional und wird bevorzugt auch dreidimensional dargestellt. In dieser virtuellen Realität werden
Steuerelemente zum Steuern des Mikroskops dargestellt, wobei die Steuerelemente zumindest synthetische Steuerelemente umfassen. Die dargestellten Steuerelemente repräsentieren Einstellmöglichkeiten bzw. Auswahlmöglichkeiten für Parameter und/oder Funktionen des Mikroskops. In dieser virtuellen
Realität werden ergänzend zumindest Komponenten des Mikroskops dargestellt. Bei den Komponenten des Mikroskops handelt es sich insbesondere um Baugruppen oder Funktionseinheiten des Mikroskops.
In einem weiteren Schritt des Verfahrens erfolgt ein Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten
Steuerelemente und/oder in Bezug auf die dargestellten
Komponenten des Mikroskops tätigt. Die Nutzereingaben können beispielsweise optisch, akustisch, haptisch, mechanisch oder elektromagnetisch erfasst werden. Die Nutzereingaben können beispielsweise unter Verwendung von Methoden zur Bilderkennung und/oder zur Spracherkennung erfasst werden. Die
Nutzereingaben können beispielsweise durch eine Geste oder aber durch ein Berühren oder ein Verändern eines Objektes getätigt werden. In einem weiteren Schritt des Verfahrens erfolgt ein Verwenden der Nutzereingaben zum Steuern, zum Bedienen und/oder zum Konfigurieren des Mikroskops, sodass das Mikroskop
entsprechend den in der virtuellen Realität getätigten
Nutzereingaben betrieben bzw. konfiguriert wird. Das
Konfigurieren umfasst insbesondere ein Zusammenfügen und/oder ein Trennen von Komponenten des Mikroskops, d. h. eine Montage bzw. eine Demontage des Mikroskops.
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die erweiterten Möglichkeiten der virtuellen Realität nutzt, um den Bediener oder Entwickler eines Mikroskops zu unterstützen. Hierdurch können Kosten für die Einweisung des Bedieners oder für Prototypen eingespart werden. Auch kann das Verfahren bei der Entwicklung von
Mikroskopen angewendet werden, um eine optimale Bedienung des Mikroskops zu schaffen. Das Verfahren kann auch zu
Schulungszwecken oder zur Durchführung von Untersuchungen an Mikroskopen angewendet werden. Derartige Schulungen bzw.
Untersuchungen können in vielen Anwendungsfeldern auf der Basis von unterschiedlichen zuvor mit realen Mikroskopen von realen Proben erstellten Aufnahmen durchgeführt werden. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird die virtuelle Realität als eine erweiterte Realität oder als eine vermischte Realität erzeugt und
dargestellt. In der erweiterten bzw. vermischten Realität werden neben den synthetischen Steuerelementen auch reale Steuerelemente des Mikroskops und reale Komponenten des
Mikroskops dargestellt. Für die Darstellung der realen
Steuerelemente des realen Mikroskops werden am realen
Mikroskop vorhandene Steuerelemente in der erweiterten bzw. vermischten Realität abgebildet. Für die Darstellung der Komponenten des realen Mikroskops werden am realen Mikroskop vorhandene Komponenten in der erweiterten bzw. vermischten Realität abgebildet. Die Darstellung der synthetischen
Steuerelemente wird synthetisch generiert; insbesondere in einem Computer. Die Komponenten des virtuellen Mikroskops werden synthetisch generiert; insbesondere in einem Computer. Die erweiterte bzw. vermischte Realität zeichnet sich dadurch aus, dass neben synthetischen Elementen auch natürliche
Elemente dargestellt bzw. abgebildet werden. Die synthetische
Elementen und die natürlichen Elemente werden gemeinsam in der erweiterten bzw. vermischten Realität dargestellt bzw.
abgebildet . Bei alternativ bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden in der virtuellen Realität ausschließlich synthetische Inhalte dargestellt, sodass die Steuerelemente ebenfalls vollständig durch die synthetischen Steuerelemente gebildet sind.
Das Verfahren kann beispielsweise durch einen Arbeitsablauf zum Steuern und/oder Konfigurieren des Mikroskops in einer vermischten Realität gebildet sein. Das Mikroskop befindet sich somit weder ausschließlich in der realen Welt, noch ausschließlich in der virtuellen Welt. Der Bediener kann das in der vermischen Realität befindliche Mikroskop innerhalb der realen Welt wahrnehmen, wobei alle Beschränkungen der realen Welt wirken. Dies erleichtert beispielsweise das Erlernen der Verwendung und Bedienung des Mikroskops mit unterschiedlichen Ausstattungen und Konfigurationen. Bevorzugt erfolgt eine
Datenkommunikation mit dem realen Mikroskop, sodass
beispielsweise die mit dem realen Mikroskop aufgenommenen Aufnahmen der Probe zu den Darstellungen des Mikroskops übertragen und ebenfalls dargestellt werden können. Zudem erfolgt bevorzugt eine Datenkommunikation zur Übertragung von Analysedaten. Bevorzugt erfolgt eine Datenkommunikation mit Endgeräten mehrerer Nutzer, welche gemeinsam die Aufnahmen der Probe und/oder die Analysedaten nutzen können.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird das reale Mikroskop mit den synthetischen Steuerelementen in der virtuellen Realität dargestellt, wobei die synthetischen Steuerelemente in der Darstellung bevorzugt reale Steuerkomponenten des Mikroskops ersetzen. Die
synthetischen Steuerelemente ersetzen in der Darstellung bevorzugt eine reale Steuereinheit des Mikroskops.
Beispielsweise kann eine reale Steuereinheit, welche eine komplexe Bedienung aufweist und entsprechendes Fachwissen erfordert, in der Darstellung durch einfache synthetische Steuerelemente ersetzt werden, deren Bedienung kein oder kaum Fachwissen erfordert. Bevorzugt werden die synthetischen
Steuerelemente nicht gleichzeitig, sondern in Abhängigkeit von einem Bedienungsablauf, in Abhängigkeit von einem Ablauf einer interaktiven Führung und/oder in Abhängigkeit von einem
Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt. Die Bedienung des Mikroskops ist bei dieser Ausführungsform innerhalb der erweiterten Realität deutlich erleichtert. Die einfachen synthetischen Steuerelemente sind bevorzugt durch ein Schaltelement zum Ein- und Ausschalten des Mikroskops, durch einen Auslöser zum Aufnehmen eines Überblicksbildes, durch einen Auslöser zum Aufnehmen eines mikroskopischen
Bildes, durch einen Auslöser zum Aufnehmen eines
Hochkontrastbildes, durch ein Steuerelement zum Bewegen eines Mikroskoptisches des Mikroskops, durch ein Steuerelement zum Initiieren einer groben Autofokuseinstellung, durch ein Steuerelement zum Initiieren eines feinen Autofokuseinstellung und/oder durch ein Steuerelement zum Initiieren der Ausgabe eines Berichtes gebildet. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens wird das gesamte Mikroskop dargestellt,
insbesondere das gesamte reale Mikroskop bzw. das gesamte virtuelle Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden Aufnahmen einer realen Probe, die mit dem Mikroskop, mit einem anderen Mikroskop oder mit verschiedenen Mikroskopen aufgenommen wurden, gemeinsam mit dem Mikroskop und den Steuerelementen in der virtuellen Realität
dargestellt. Alternativ oder ergänzend können reale
Steuerelemente dargestellt werden. Auf diese Weise kann das Mikroskop oder ein Arbeitsablauf beim Bedienen des Mikroskops simuliert werden, um Erfahrungen mit dem Mikroskop zu sammeln. Somit können kosten- und zeiteffiziente Untersuchungen des Mikroskops einschließlich dessen Ausstattungen und Anwendungen durchgeführt werden. Zudem ist eine effiziente Entwicklung des Mikroskops einschließlich dessen Hard- und Software und
Dienstmerkmalen ermöglicht. Bei einer weiteren bevorzugten Ausführungsform wird die Probe nicht lediglich visuell dargestellt, wofür die Probe ergänzend auch taktil wiedergegeben wird, sodass der Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann. Somit kann der Bediener die Probe in
vergrößerter Form taktil und haptisch wahrnehmen, d. h.
insbesondere durch seine Finger bzw. seine Hand erspüren.
Mikroskopische Proben, welche weder mit dem menschlichen Auge, noch mit dem menschlichen Tastsinn wahrnehmbar sind, können bei dieser Ausführungsform der Erfindung sowohl visuell als auch taktil und haptisch wahrgenommen werden. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich zur visuellen mikroskopischen Darstellung der Probe, sodass die visuelle Wahrnehmung des Bedieners und die taktile und/oder haptische Wahrnehmung des Bedieners grundsätzlich
zusammenpassen, wodurch ein hoher Grad an Immersion erzielt wird. Der Bediener kann die vergrößerte visuelle Darstellung der Probe auch taktil und haptisch wahrnehmen, sodass er beispielsweise einen visuell vergrößert dargestellten Teil der
Probe auch ertasten kann. Die taktile Wiedergabe erfolgt bevorzugt auf einem Wiedergabetisch, welcher technische Mittel zur taktilen Wiedergabe aufweist, wobei die visuelle
Darstellung bevorzugt ebenfalls auf diesem Tisch erfolgt. Die taktile Wiedergabe der Probe korrespondiert bevorzugt räumlich und zeitlich zur visuellen Darstellung der Probe. Die taktile Wiedergabe der Probe umfasst die Wiedergabe der Topologie der Probe; insbesondere die vergrößerte Wiedergabe der Topologie der Probe. Die taktile Wiedergabe der Probe umfasst bevorzugt auch die Wiedergabe von physikalischen und/oder chemischen
Eigenschaften der Oberfläche der Probe. Die physikalischen Eigenschaften umfassen bevorzugt eine Festigkeit der
Oberfläche, Reibungseigenschaften der Oberfläche, eine
Körperfarbe der Oberfläche, eine Rauheit der Oberfläche, eine Weichheit der Oberfläche und/oder eine Temperatur der
Oberfläche der Probe. Somit kann der Bediener unterschiedliche Eigenschaften der Probe durch ein Ertasten der Wiedergabe der Probe taktil und/oder haptisch wahrnehmen. Beispielsweise kann der Bediener mit einem Finger innerhalb der virtuellen
Realität über die taktile Wiedergabe gleiten, wodurch er nicht nur die Topologie der Probe, sondern auch weitere
Oberflächeneigenschaften der Probe haptisch wahrnehmen kann. Die taktile Wiedergabe der Probe erfolgt bevorzugt interaktiv, sodass gleichzeitig haptische Nutzereingaben erfasst werden.
Zum Erzeugen und dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität wird bevorzugt eine dreidimensionale Anzeige, besonders bevorzugt eine Virtual- Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille verwendet, welche der Bediener auf seinem Kopf vor den Augen trägt. Hierfür können aber andere Head-Mounted Displays oder eine Projektion z. B. in einer CAVE verwendet werden. In einem einfachen Fall können auch eine oder mehrere zweidimensionale Anzeigen verwendet werden. Bei weiteren bevorzugten Ausführungsformen wird zum Erzeugen und
dreidimensionalen Darstellen der virtuellen Realität bzw. der erweiterten Realität ein Virtual-Reality-Headset , ein
Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet .
Das Erzeugen und das dreidimensionale Darstellen der
virtuellen Realität bzw. der erweiterten Realität erfolgen bevorzugt in einer räumlichen Abhängigkeit von einer Position des Bedieners . Alternativ oder ergänzend erfolgen das Erzeugen und das dreidimensionale Darstellen der virtuellen Realität bzw. der erweiterten Realität bevorzugt in einer räumlichen Abhängigkeit von einer Position des Mikroskops.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch
Komponenten des Mikroskops oder das gesamte Mikroskop
dargestellt . Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität neben den Steuerelementen auch
Mikroskopaufnahmen dargestellt, die mit dem Mikroskop
aufgenommen wurden. Die Darstellung der Mikroskopaufnahmen erfolgt, um dem Bediener die Steuerung er erleichtern bzw. zu ermöglichen .
Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden in der virtuellen Realität bzw. in der erweiterten Realität auch Hilfeinformationen dargestellt. Die Hilfeinformationen geben dem Bediener eine Hilfe zur Steuerung des Mikroskops. Die Hilfeinformationen werden bevorzugt unabhängig von einer Position und einer
Blickrichtung des Bedieners dargestellt. Die
Hilfeinformationen umfassen bevorzugt Texte, Fehlermeldungen, Symbole, wie Pfeilsymbole, Warnungen, Anleitungsvideos und/oder einen helfenden Avatar. Die Hilfeinformationen umfassen bevorzugt auch akustische Hilfeinformationen, beispielsweise in Form von natürlicher oder synthetischer
Sprache .
Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens erfolgt in der virtuellen
Realität bzw. in der erweiterten Realität eine interaktive
Führung des Bedieners, um ihm die Steuerung und/oder die
Bedienung und/oder die Konfiguration des Mikroskops zu lehren und/oder zu erleichtern. Insoweit erfolgt ein E-Learning innerhalb des erfindungsgemäßen Verfahrens. Durch die
interaktive Führung wird der Bediener beim Steuern bzw. beim
Bedienen bzw. beim Konfigurieren des Mikroskops angeleitet. Innerhalb der interaktiven Führung werden in der virtuellen Realität bzw. in der erweiterten Realität bevorzugt
Mikroskopaufnahmen dargestellt, um das Anleiten des Bedieners zu unterstützen. Diese Mikroskopaufnahmen wurden bevorzugt mit dem Mikroskop aufgenommen.
Die Steuerelemente und/oder die Komponenten des Mikroskops werden innerhalb der interaktiven Führung bevorzugt in
Abhängigkeit von einem Ablauf der interaktiven Führung
dargestellt, sodass diese nicht statisch dargestellt werden.
Die einzelnen Steuerelemente und/oder die einzelnen
Komponenten des Mikroskops werden somit in Abhängigkeit von einem Zustand der sich zeitlich verändernden interaktiven Führung und/oder in Abhängigkeit von Nutzereingaben des
Bedieners dargestellt, nicht dargestellt oder verändert dargestellt .
Die Steuerelemente und/oder die Komponenten des Mikroskops werden bevorzugt in Abhängigkeit von einem Nutzungszustand und/oder in Abhängigkeit von einem Einstellungszustand
und/oder in Abhängigkeit von einem Konfigurationszustand des Mikroskops dargestellt. Die einzelnen Steuerelemente und/oder die einzelnen Komponenten des Mikroskops werden somit in
Abhängigkeit von dem sich zeitlich verändernden
Nutzungszustand und/oder in Abhängigkeit von dem sich zeitlich verändernden Einstellungszustand des Mikroskops und/oder in Abhängigkeit von dem sich ändernden Konfigurationszustand dargestellt, nicht dargestellt oder verändert dargestellt. Entsprechend erfolgen bevorzugt ein Einblenden und/oder ein Ausblenden der Steuerelemente bzw. ein Einblenden und/oder ein
Ausblenden der einzelnen Komponenten des Mikroskops abhängig von dem Nutzungszustand und/oder abhängig von dem Einstellungszustand und/oder abhängig von dem
Konfigurationszustand des Mikroskops.
Das Konfigurieren des Mikroskops umfasst bevorzugt ein
Zusammenfügen und/oder ein Trennen von Komponenten des
Mikroskops, d. h. eine Montage bzw. eine Demontage des
Mikroskops. Bevorzugt wird mindestens eine physische
Mikroskopgrundplatte verwendet, um das in der virtuellen Realität darzustellende Mikroskop zu konfigurieren. Auf der realen Mikroskopgrundplatte können die in der virtuellen
Realität dargestellten Komponenten des Mikroskops virtuell angeordnet werden. Auf der Mikroskopgrundplatte befinden sich bevorzugt Markierungen, welche dem Bediener zeigen, wo die dargestellten Komponenten des Mikroskops anzuordnen sind. Die Mikroskopgrundplatte weist bevorzugt bestimmte
Oberflächeneigenschaften, wie beispielsweise eine sich örtlich ändernde Rauheit auf, welche dem Bediener die Orientierung erleichtern . Die Nutzereingaben sind bevorzugt durch Gesten des Bedieners gebildet. Eine der Gesten ist bevorzugt durch ein Zeigen mit einem Finger oder mit einer Hand des Bedieners gebildet. Diese Geste führt bevorzugt dazu, dass der Bereich der vergrößert dargestellten Probe, auf welchen der Bediener zeigt, markiert oder nochmals vergrößert dargestellt wird. Eine weitere der
Gesten ist bevorzugt durch ein Bewegen des Finger oder der Hand des Bedieners entlang einer Kreisbahn gebildet. Diese Geste führt bevorzugt dazu, dass die vergrößerte Darstellung der Probe gedreht wird. Eine weitere der Gesten ist bevorzugt durch ein Gehen des Bedieners vorwärts oder rückwärts in Bezug auf die Darstellung der Probe gebildet. Diese Geste führt bevorzugt dazu, dass die Vergrößerung und/oder die Auflösung der Darstellung der Probe erhöht bzw. verringert wird. Bei besonders bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens werden die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt. Das reale Handlungsobjekt wird vom Bediener zum Tätigen der
Nutzereingaben verwendet. Das reale Handlungsobjekt kann als ein Totem angesehen werden. Dabei kann eine Form, eine Farbe, ein Muster und/oder eine Bewegung des Handlungsobjektes zur Kodierung einer mit der Nutzereingabe zu übertragenden
Information genutzt werden. Das Handlungsobjekt kann durch ein passives oder durch ein aktives Objekt gebildet sein.
Bevorzugt ist das Handlungsobjekt durch einen Handschuh gebildet, welcher eine Markierung besitzt und als solcher passiv ist. Der Bediener kann aufgrund des Handschuhes auf seiner Hand erkannt werden und ein Bewegen des Handschuhes kann eine Nutzereingabe darstellen. Das Handlungsobjekt ist bei weiteren bevorzugten Ausführungsformen durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet. Derartige aktive Handlungsobjekte stellen Eingabegeräte dar und sind bei Anwendungen der virtuellen Realität bzw.
erweiterten Realität etabliert. Über die 3D-Maus, den
Datenhandschuh bzw. den Flystick kann der Bediener
Nutzereingaben tätigen. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Ein- und Ausschalten des Mikroskops und bevorzugt mindestens ein Steuerelement zum Unterbrechen des Betriebes des Mikroskops.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen einer Mikroskopbeleuchtung des Mikroskops. Die Steuerelemente zum Einstellen der Mikroskopbeleuchtung des Mikroskops umfassen bevorzugt
mindestens ein Steuerelement zum Ein- und Ausschalten der Mikroskopbeleuchtung, mindestens ein Steuerelement zur Wahl von Parametern der Mikroskopbeleuchtung, mindestens ein
Steuerelement zur Auswahl eines Modus der Mikroskopbeleuchtung und/oder mindestens ein Steuerelement zur Auswahl einer Quelle der Mikroskopbeleuchtung. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen von Aufnahmeparametern bzw.
Belichtungsparametern des Mikroskops. Die Steuerelemente zum Einstellen der Aufnahmeparameter bzw. der Belichtungsparameter umfassen bevorzugt mindestens ein Steuerelement zum Einstellen einer Aufnahmezeit bzw. einer Belichtungszeit, mindestens ein Steuerelement zum Einstellen einer Aufnahmekorrektur,
mindestens ein Steuerelement zur Wahl einer automatischen Aufnahme bzw. einer automatischen Belichtung, mindestens ein Steuerelement zum Einstellen einer Aufnahmegeschwindigkeit, mindestens ein Steuerelement zum Einstellen einer
Aufnahmequalität und/oder mindestens ein Steuerelement zum Einstellen eines Aufnahmemodus . Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Steuern eines Aufnahmevorganges bzw. eines Belichtungsvorganges des Mikroskops. Die Steuerelemente zum Steuern des Aufnahmevorganges bzw. des Belichtungsvorganges umfassen bevorzugt mindestens ein Steuerelement zum Starten des Aufnahmevorganges bzw. des Belichtungsvorganges,
mindestens ein Steuerelement zum Beenden des Aufnahmevorganges bzw. des Belichtungsvorganges, mindestens ein Steuerelement zum Unterbrechen des Aufnahmevorganges bzw. des
Belichtungsvorganges, mindestens ein Steuerelement zum
Aufnehmen eines Einzelbildes, mindestens ein Steuerelement zum Aufnehmen einer Bildsequenz und/oder mindestens ein
Steuerelement zum Aufnehmen einer Einzelbildfolge.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Bewegen eines Mikroskoptisches des
Mikroskops. Die Steuerelemente zum Bewegen des
Mikroskoptisches umfassen bevorzugt mindestens ein
Steuerelement zum Einstellen einer x-, y- oder z-Position des Mikroskoptisches und/oder mindestens ein Steuerelement zum Einstellen einer Drehung und/oder einer Neigung des
Mikroskoptisches.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente ein oder mehrere
Steuerelemente zum Einstellen von Mikroskopierparametern des Mikroskops. Die Steuerelemente zum Einstellen der
Mikroskopierparameter des Mikroskops umfassen bevorzugt mindestens ein Steuerelement zum Einstellen eines Kontrastes und/oder mindestens ein Steuerelement zur Auswahl von
MikroskopierOptionen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Navigieren in zweidimensionalen
Mikroskopbildern, mindestens ein Steuerelement zum Navigieren in dreidimensionalen Mikroskopbildern und/oder mindestens ein
Steuerelement zum Umschalten zwischen zweidimensionalen
Mikroskopbildern und dreidimensionalen Mikroskopbildern. Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum zeitlichen Navigieren innerhalb einer Bildsequenz und/oder mindestens ein Steuerelement zum zeitlichen Navigieren innerhalb einer Einzelbildfolge.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Überblenden zweier zweidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum
Anzeigen von Korrelationen zwischen zwei überblendeten zweidimensionalen Mikroskopaufnahmen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Überblenden zweier dreidimensionaler Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Anzeigen von Korrelationen zwischen zwei überblendeten dreidimensionalen Mikroskopaufnahmen .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Navigieren in einem Archiv von
Mikroskopaufnahmen und/oder mindestens ein Steuerelement zum Speichern von Mikroskopaufnahmen.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Anschließen eines externen Gerätes an das Mikroskop. Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens umfassen die Steuerelemente mindestens ein
Steuerelement zum Aktualisieren von Software des Mikroskops. In der virtuellen Realität bzw. in der erweiterten Realität erhält der Bediener visuelle Rückmeldungen, insbesondere visuelle Rückmeldungen zu seinen Nutzereingaben oder in Bezug auf die interaktive Führung. Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem auch mindestens eine akustische Rückmeldung an den
Bediener gegeben wird; insbesondere während er die
Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient ein Lautsprecher oder ein Kopfhörer. Weitere bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens umfassen weiterhin einen Schritt, in welchem mindestens eine haptische Rückmeldung an den
Bediener gegeben wird; insbesondere während er die
Nutzereingaben in der virtuellen Realität tätigt oder während der interaktiven Führung. Hierfür dient beispielsweise ein entsprechend ausgestatteter Datenhandschuh. Die haptische
Rückmeldung wird bevorzugt auf eine Hand des Bedieners
gerichtet. Die haptische Rückmeldung umfasst bevorzugt eine aktive Kraftrückkopplung, die auch als Force Feedback
bezeichnet wird. Somit erhält der Bediener eine Kraft als Rückmeldung.
Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung ist bevorzugt abhängig von einem Status des Mikroskops, abhängig von einem Status einer
Komponente des Mikroskops und/oder abhängig von einem Status eines Ablaufes im Mikroskop. Die visuelle Rückmeldung, die akustische Rückmeldung und/oder die haptische Rückmeldung, aber insbesondere die haptische Rückmeldung wird bevorzugt durch das Handlungsobjekt an den Bediener gegeben. Das Handlungsobjekt ist bevorzugt durch eine haptisch rückmeldungsfähige 3D-Maus, durch einen haptisch rückmeldungsfähigen Datenhandschuh oder durch einen haptisch rückmeldungsfähigen Flystick gebildet.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist für ein Mikroskop vorgesehen und dient zum Steuern und/oder zum Konfigurieren des Mikroskops. Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst eine Anzeige zum Erzeugen und Darstellen einer virtuellen Realität. In dieser virtuellen Realität sind Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar, wobei die
Steuerelemente zumindest synthetische Steuerelemente umfassen. Die darstellbaren Steuerelemente repräsentieren Parameter und/oder Funktionen des Mikroskops. Die Anzeige ist bevorzugt durch eine dreidimensionale Anzeige gebildet. Die
dreidimensionale Anzeige ist bevorzugt durch eine Virtual-
Reality-Brille, eine Augmented-Reality-Brille oder eine Mixed- Reality-Brille gebildet, welche der Bediener auf seinem Kopf vor den Augen trägt. Die Anzeige kann aber auch durch ein anderes Head-Mounted Display oder durch Projektoren z. B. in einer CAVE gebildet sein. In einem einfachen Fall kann die
Anzeige durch eine zweidimensionale Anzeige gebildet sein. Die Anzeige kann aber auch bevorzugt durch ein Virtual-Reality- Headset, ein Augmented-Reality-Headset oder ein Mixed-Reality- Headset gebildet sein.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin mindestens ein Eingabegerät zur Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten
Komponenten des Mikroskops tätigt. Das mindestens eine
Eingabegerät ist bevorzugt durch einen optischen Sensor gebildet, welcher den Bediener und Gesten des Bedieners erkennt. Das mindestens eine Eingabegerät ist bevorzugt durch einen Orts- und/oder Lagesensor gebildet, welcher am Bediener angeordnet ist. Das mindestens eine Eingabegerät ist bevorzugt durch ein Computereingabegerät gebildet; insbesondere durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen
Flystick. Das mindestens eine Eingabegerät umfasst bevorzugt eine aktive Kraftrückkopplung.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit umfasst weiterhin eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder Konfigurieren des Mikroskops entsprechend den getätigten Nutzereingaben. Die Steuer- und/oder
Konfigurierelektronik ist bevorzugt durch einen Rechner bzw. durch einen Computer gebildet.
Die erfindungsgemäße Steuer- und/oder Konfiguriereinheit ist bevorzugt zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Die erfindungsgemäße Steuer- und/oder
Konfiguriereinheit ist bevorzugt zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des
erfindungsgemäßen Verfahrens konfiguriert. Im Übrigen weist die erfindungsgemäße Steuer- und/oder Konfiguriereinheit bevorzugt auch die Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten
Ausführungsformen angegeben sind.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung .
Die einzige Fig. veranschaulicht zwei bevorzugte
Ausführungsformen der Erfindung. Bei der Ausführungsform I dient ein reales Mikroskop (R) zur Aufnahme einer realen Probe (R) . Erfindungsgemäß erfolgen ein Steuern und/oder ein
Konfigurieren des realen Mikroskops durch Nutzereingaben in einer virtuellen Realität (V) . Bei der Ausführungsform II dient ein virtuelles Mikroskop (V) zur Aufnahme einer
virtuellen Probe (V), was in einem Rechner erfolgt.
Erfindungsgemäß erfolgen ein Steuern und/oder ein
Konfigurieren des virtuellen Mikroskops durch Nutzereingaben in einer erweiterten Realität (V/R) .
Nachfolgend ist ein bevorzugter Ablauf des erfindungsgemäßen Verfahrens beispielhaft beschrieben. In einer erweiterten Realität wird eine zu mikroskopierende Probe dargestellt.
Beispielsweise wird auch eine Hand eines Bedieners
dargestellt, welche die zu mikroskopierende Probe hält. In der erweiterten Realität wird die zu mikroskopierende Probe anschließend vergrößert dargestellt. Der Bediener kann
innerhalb der erweiterten Realität mit seiner realen Hand bzw. Finger auf einen ihn interessierenden Bereich der vergrößerten Darstellung zeigen, was beispielsweis dazu führt, dass dieser
Bereich markiert wird oder nochmals vergrößert dargestellt wird. Weiterhin kann der Bediener durch eine Geste mit seinem realen Finger entlang einer weitgehend beliebigen Kreisbahn die vergrößerte Darstellung der Probe drehen, wodurch er den ihn interessierenden Bereich zur Darstellung bringen kann.
Weiterhin werden in der erweiterten Realität Markierungen auf der vergrößerten Darstellung der Probe dargestellt. Die
Markierungen sind beispielweis durch Buchstaben gebildet. Wird die vergrößerte Darstellung der Probe in der erweiterten Realität gedreht, so werden auch die Darstellungen der
Markierungen gedreht. Die Markierungen repräsentieren dann unterschiedliche Perspektiven. Die Bewegung des in der erweiterten Realität befindlichen Bedieners stellt eine Nutzereingabe dar. Bewegt sich der Bediener nach vorn, so erhöht sich die Vergrößerung bzw. die Auflösung der
Darstellung der Probe. Bewegt sich der Bediener nach hinten, so verringert sich die Vergrößerung bzw. die Auflösung der Darstellung der Probe.

Claims

Patentansprüche
1. Verfahren zum Steuern und/oder Konfigurieren eines
Mikroskops; folgende Schritte umfassend:
Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops dargestellt werden; Erfassen von Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und Verwenden der Nutzereingaben zum Steuern und/oder zum Konfigurieren des Mikroskops.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuelle Realität als eine erweiterte Realität erzeugt wird, in welcher neben den synthetischen Steuerelementen auch reale Steuerelemente und reale Komponenten des
Mikroskops dargestellt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Aufnahmen einer realen Probe gemeinsam mit den
dargestellten Komponenten des Mikroskops und den
Steuerelementen in der virtuellen Realität dargestellt werden .
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Probe weiterhin taktil wiedergegeben wird, sodass der
Bediener eine mikroskopische Wiedergabe der Probe taktil und haptisch wahrnehmen kann.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch
gekennzeichnet, dass zum Erzeugen der virtuellen Realität eine Virtual-Reality-Brille, eine Augmented-Reality-Brille, eine Mixed-Reality Brille, ein Virtual-Reality-Headset , ein Augmented-Reality-Headset oder ein Mixed-Reality-Headset verwendet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch
gekennzeichnet, dass das Erzeugen und das Darstellen der virtuellen Realität in einer räumlichen Abhängigkeit von einer Position des Bedieners erfolgen.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch
gekennzeichnet, dass in der virtuellen Realität weiterhin Hilfeinformationen dargestellt werden, die durch Texte, Fehlermeldungen, durch Warnungen, durch Anleitungsvideos, durch einen helfenden Avatar und/oder durch eine
interaktive Führung des Bedieners gebildet sind.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Hilfeinformationen unabhängig von einer Position und einer Blickrichtung des Bedieners dargestellt werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch
gekennzeichnet, dass in der virtuellen Realität weiterhin Mikroskopaufnahmen des Mikroskops dargestellt werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch
gekennzeichnet, dass die Steuerelemente und/oder
Komponenten des Mikroskops in Abhängigkeit von einem Ablauf der interaktiven Führung und/oder in Abhängigkeit von einem Nutzungszustand und/oder einem Einstellungszustand und/oder einem Konfigurationszustand des Mikroskops dargestellt werden .
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch
gekennzeichnet, dass die Nutzereingaben unter Verwendung eines realen Handlungsobjektes getätigt werden.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Handlungsobjekt durch einen mit einer Markierung versehenen, passiven Handschuh, durch eine 3D-Maus, durch einen Datenhandschuh oder durch einen Flystick gebildet ist .
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch
gekennzeichnet, dass die Steuerelemente ein oder mehrere Steuerelemente zum Ein- und Ausschalten des Mikroskops, ein oder mehrere Steuerelemente zum Einstellen einer
Mikroskopbeleuchtung des Mikroskops, ein oder mehrere
Steuerelemente zum Einstellen von Aufnahmeparametern des Mikroskops, ein oder mehrere Steuerelemente zum Steuern eines Aufnahmevorganges des Mikroskops, ein oder mehrere Steuerelemente zum Bewegen eines Mikroskoptisches des
Mikroskops, ein oder mehrere Steuerelemente zum Navigieren in Mikroskopbildern des Mikroskops, ein oder mehrere
Steuerelemente zum zeitlichen Navigieren innerhalb einer Bildsequenz oder innerhalb einer Einzelbildfolge des
Mikroskops und/oder ein oder mehrere Steuerelemente zum Überblenden zweier Mikroskopaufnahmen des Mikroskops umfassen .
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch
gekennzeichnet, dass es weiterhin einen Schritt umfasst, in welchem eine haptische Rückmeldung an den Bediener gegeben wird, während der Bediener die Nutzereingaben in der virtuellen Realität tätigt.
15. Steuer- und/oder Konfiguriereinheit für ein Mikroskop;
umfassend :
- eine Anzeige zum Erzeugen einer virtuellen Realität, in welcher zumindest synthetische Steuerelemente zum Steuern des Mikroskops und Komponenten des Mikroskops darstellbar sind;
mindestens ein Eingabegerät zur Erfassen von
Nutzereingaben, welche ein Bediener des Mikroskops in der virtuellen Realität in Bezug auf die dargestellten Steuerelemente und/oder in Bezug auf die dargestellten Komponenten des Mikroskops tätigt; und
eine Steuer- und/oder Konfigurierelektronik zum Steuern und/oder zum Konfigurieren des Mikroskops entsprechend den Nutzereingaben.
PCT/EP2017/058188 2016-04-15 2017-04-06 Steuer- und konfiguriereinheit sowie verfahren zum steuern und konfigurieren eines mikroskops Ceased WO2017178313A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/084,250 US20190064920A1 (en) 2016-04-15 2017-04-06 Controlling and configuring unit and method for controlling and configuring a microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016106993.0 2016-04-15
DE102016106993.0A DE102016106993A1 (de) 2016-04-15 2016-04-15 Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops

Publications (1)

Publication Number Publication Date
WO2017178313A1 true WO2017178313A1 (de) 2017-10-19

Family

ID=58579145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/058188 Ceased WO2017178313A1 (de) 2016-04-15 2017-04-06 Steuer- und konfiguriereinheit sowie verfahren zum steuern und konfigurieren eines mikroskops

Country Status (3)

Country Link
US (1) US20190064920A1 (de)
DE (1) DE102016106993A1 (de)
WO (1) WO2017178313A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019207594A1 (de) * 2019-05-23 2020-11-26 Carl Zeiss Microscopy Gmbh Vorrichtung zum Steuern und/oder Konfigurieren einer Anlage
JP7699980B2 (ja) * 2021-07-02 2025-06-30 株式会社エビデント 顕微鏡シミュレーション装置、方法、及び、プログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19637756A1 (de) 1995-09-15 1997-04-30 Accumed Inc Multifunktionale Steuereinheit für ein Mikroskop
DE60130264T2 (de) 2001-06-13 2008-05-21 Volume Interactions Pte. Ltd. Führungssystem
DE202009017670U1 (de) 2009-12-27 2010-04-29 Märzhäuser Wetzlar GmbH & Co. KG Mikroskop-Steuereinheit
US20100248200A1 (en) 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training
US20120188256A1 (en) 2009-06-25 2012-07-26 Samsung Electronics Co., Ltd. Virtual world processing device and method
US20130036371A1 (en) 2010-10-30 2013-02-07 Cohen Aaron D Virtual World Overlays, Related Software, Methods of Use and Production Thereof
US20130125027A1 (en) 2011-05-06 2013-05-16 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8621368B2 (en) 2011-08-18 2013-12-31 Brian Shuster Systems and methods of virtual world interaction
US20140088941A1 (en) 2012-09-27 2014-03-27 P. Pat Banerjee Haptic augmented and virtual reality system for simulation of surgical procedures
US20150016777A1 (en) 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150032414A1 (en) 2011-12-28 2015-01-29 Femtonics Kft. Method for the 3-Dimensional Measurement of a Sample With a Measuring System Comprising a Laser Scanning Microscope and Such Measuring System
US20150085095A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems
US20150118987A1 (en) 2013-10-28 2015-04-30 Microsoft Corporation Policies for Selecting Sources for Resource Strings

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108266B2 (en) * 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19637756A1 (de) 1995-09-15 1997-04-30 Accumed Inc Multifunktionale Steuereinheit für ein Mikroskop
DE60130264T2 (de) 2001-06-13 2008-05-21 Volume Interactions Pte. Ltd. Führungssystem
US20100248200A1 (en) 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training
US20120188256A1 (en) 2009-06-25 2012-07-26 Samsung Electronics Co., Ltd. Virtual world processing device and method
DE202009017670U1 (de) 2009-12-27 2010-04-29 Märzhäuser Wetzlar GmbH & Co. KG Mikroskop-Steuereinheit
US20130036371A1 (en) 2010-10-30 2013-02-07 Cohen Aaron D Virtual World Overlays, Related Software, Methods of Use and Production Thereof
US20130125027A1 (en) 2011-05-06 2013-05-16 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8621368B2 (en) 2011-08-18 2013-12-31 Brian Shuster Systems and methods of virtual world interaction
US20150032414A1 (en) 2011-12-28 2015-01-29 Femtonics Kft. Method for the 3-Dimensional Measurement of a Sample With a Measuring System Comprising a Laser Scanning Microscope and Such Measuring System
US20150016777A1 (en) 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140088941A1 (en) 2012-09-27 2014-03-27 P. Pat Banerjee Haptic augmented and virtual reality system for simulation of surgical procedures
US20150085095A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems
US20150118987A1 (en) 2013-10-28 2015-04-30 Microsoft Corporation Policies for Selecting Sources for Resource Strings

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Neuroscience", 25 September 2015, CARL ZEISS MICROSCOPY GMBH
"Zeiss Axio Scan.Z1", July 2013, CARL ZEISS MICROSCOPY GMBH
DOMBECK; DANIEL A ET AL.: "Functional imaging of hippocampal place cells at cellular resolution during virtual navigation", NATURE NEUROSCIENCE, vol. 13, 2010, pages 1433 - 1440

Also Published As

Publication number Publication date
US20190064920A1 (en) 2019-02-28
DE102016106993A1 (de) 2017-10-19

Similar Documents

Publication Publication Date Title
DE102018109463B3 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE69032645T2 (de) Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
EP3067874A1 (de) Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts
EP3709133B1 (de) System zur haptischen interaktion mit virtuellen objekten für anwendungen in der virtuellen realität
DE102016212236A1 (de) Interaktionssystem und -verfahren
WO2009010195A1 (de) Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt
EP2467822B1 (de) Kontinuierliche bestimmung einer perspektive
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE10056291A1 (de) Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
DE102014225409A1 (de) Abgesetztes Hilfsgerät zum Generieren spezifisch angepasster und synchronisierter Referenznotizen für ein programmierbares Metrologiesystem
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
EP1425653A2 (de) Desktopmanager
WO2013034133A1 (de) Interaktion mit einem dreidimensionalen virtuellen szenario
WO2017178313A1 (de) Steuer- und konfiguriereinheit sowie verfahren zum steuern und konfigurieren eines mikroskops
EP1665023B1 (de) Verfahren und vorrichtung zur steuerung eines graphiksystems der virtuellen realität mittels interaktionen
EP3534240A1 (de) Verfahren und vorrichtung zur daten-annotation
DE102016207530B4 (de) System und Verfahren zum Darstellen eines virtuellen Fahrzeuginnenraums
WO2021052660A1 (de) Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes
DE10335369A1 (de) Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
Shilaskar et al. VR based medical procedure simulator with haptic feedback gloves
EP2043005B1 (de) Verfahren und Vorrichtung zum Messen und Simulieren von Abläufen in einem Mikroskopsystem
DE10144329A1 (de) Verfahren zum Bewegen und Positionieren eines Cursors auf einem Bildschirm sowie Vorrichtung zum Durchführen des Verfahrens
Uribe-Quevedo et al. Customization of a low-end haptic device to add rotational DOF for virtual cardiac auscultation training
WO2021028274A1 (de) Bediensystem und verfahren zum betreiben des bediensystems
DE102021120629B3 (de) Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17718492

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17718492

Country of ref document: EP

Kind code of ref document: A1