WO2024028467A1 - Medical robot guidance system having an integrated touch display, and operating method - Google Patents

Medical robot guidance system having an integrated touch display, and operating method Download PDF

Info

Publication number
WO2024028467A1
WO2024028467A1 PCT/EP2023/071615 EP2023071615W WO2024028467A1 WO 2024028467 A1 WO2024028467 A1 WO 2024028467A1 EP 2023071615 W EP2023071615 W EP 2023071615W WO 2024028467 A1 WO2024028467 A1 WO 2024028467A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
touch display
guidance system
head
control
Prior art date
Application number
PCT/EP2023/071615
Other languages
German (de)
French (fr)
Inventor
Sebastian Zepf
Ann-Kathrin Huber
Alisa POST
Amir Sarvestani
Original Assignee
B. Braun New Ventures GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B. Braun New Ventures GmbH filed Critical B. Braun New Ventures GmbH
Publication of WO2024028467A1 publication Critical patent/WO2024028467A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present disclosure relates to a medical, in particular surgical, robot guidance system for a medical procedure, in particular a surgical procedure, on a patient.
  • the robot guidance system has a robot with a robot arm that is movably connected to a robot base and a robot head that is connected at the end to the robot arm.
  • the robot head has an end effector or an end effector itself forms the robot head.
  • the robot guidance system has a (central) control unit (in particular with a processor and a memory unit) which is adapted to control and move at least the robot, in particular the robot arm and the robot head (and thus in particular the end effector).
  • the robot guidance system has at least one touch display/touch screen/touch-sensitive screen, which is adapted to visually output at least one operating menu (for control), and to detect a touch-sensitive input as an operating input and to send this to the control unit, in particular to control the robot.
  • the disclosure relates to a (robot) operating method and a computer-readable storage medium according to the preambles of the independent claims.
  • Surgical guidance systems are increasingly being used during an operation, particularly a minimally invasive procedure. Due to technological development and increasing specialization of various subsystems with corresponding integration, the number of functions of medical systems is increasing significantly. The progressive expansion of the management systems to include this variety of different functionalities makes it increasingly difficult for the user to be provided with such a central operation or operating modality that allows him to maintain an overview of the functions and control.
  • touch displays are currently provided on, for example, a medical cart, a medical tower or on a base of a medical (surgical) microscope, via which a medical specialist can be guided by means of a (operating/operating) Operating menu can make an (operating) input for a corresponding control.
  • touch display is not centrally located in the area of the procedure, but rather at a distance from it. This circumstance makes accessibility difficult on the one hand and hygiene requirements on the other, since the touch display is not designed to be sterile. Due to the distance on the one hand and the sterility requirement on the other, the surgeon conducting the procedure is usually unable to operate the touch display himself.
  • the US 2005/0041282 A1 discloses, for example, a surgical microscope as a robot guidance system with a touch display, which is rigidly attached to a base/carriage of the surgical microscope.
  • a touch-sensitive display Using the touch-sensitive display, different functions can be controlled via different areas of the display.
  • the operator due to this configuration, the operator must give instructions to another medical specialist to control a function, so that this specialist then carries out the control.
  • the operation should bring together different operating modalities centrally and should preferably be provided in an area that is easily accessible to the surgeon.
  • a basic idea of the present disclosure therefore envisages providing an operating modality, such as controlling the robot, in the area of a robot head or an end effector.
  • the touch display is not provided as an input and output unit in a separate, remote location, such as on a medical tower or similar, but directly on a movable part of the robot, namely on the terminal robot head and thus in the area of the End Effectors.
  • the at least one touch display is rigidly attached/attached/fixed to the robot head, in particular to the end effector, and moves with it.
  • the touch display on the robot head is moved dynamically.
  • the end effector is arranged on the robot head or the end effector itself forms the robot head, the operating modality in the form of the touch display is arranged directly in the area of the end effector and can be easily and safely accessed by a surgeon.
  • the surgeon can then control various functions of the operating modalities centrally, so to speak, or is provided with the option of controlling at least one movement of the robot and thus the robot head centrally in the area of the end effector.
  • the surgeon can control different functions via the touch display, for example by displaying an associated operating menu for the corresponding function.
  • the disclosure describes a touch display/touchscreen/touch-sensitive screen embedded in a robot-assisted guidance system/robotic guidance system for medical procedures.
  • the touch display is data-connected to a central control unit (as an execution unit for software) and enables flexible control of various functions, for example in non-sterile and sterile environments, as well as visualization of information.
  • the robot guidance system can, for example, include both visualization-based guidance (e.g. a surgical microscope) and guidance of instruments (e.g. a trocar).
  • an embedded touch display on or on a robotic end effector (on or as a robot head) is proposed here, which enables a user to flexibly provide information in both a sterile and non-sterile environment (e.g. via an external monitor). and offer various control options.
  • the touch display is rigidly connected to the robot end effector and is particularly aligned so that the surgeon has a good viewing angle in the most common surgical positions (especially positions) of the guidance system.
  • the touch display can show both interactive content (such as the operating menu) and non-interactive content (such as an annotation).
  • the visualized content can, for example, be the same content as a larger main monitor of the surgeon (not located on the robot arm) or as others Show control displays that are not attached to the control unit.
  • independent content which can be situation-dependent, can preferably also be displayed by the touch display.
  • position means a geometric position in three-dimensional space, which is specified in particular using coordinates of a Cartesian coordinate system.
  • the position can be specified by the three coordinates X, Y and Z.
  • orientation indicates an orientation (e.g. position) in space.
  • orientation indicates an orientation with direction or Rotation specification in three-dimensional space.
  • the orientation can be specified using three angles.
  • location includes both a position and an orientation.
  • the position can be specified using six coordinates, three position coordinates X, Y and Z and three angular coordinates for orientation.
  • An operating input can, for example, be a control command associated with a selection of the operating menu, which is sent to the control unit so that it carries out the corresponding function directly or indirectly via, for example, a control unit of a subsystem.
  • a central control unit can control it indirectly via a sub-control unit of a visualization system, or it can control it indirectly via a sub-control unit of a navigation system and, for example, have a waypoint set.
  • the robot guidance system can be in the form of a (surgical) operating microscope with a microscope head connected to the robot arm as a robot head or in the form of a navigation system with a camera system connected to the robot arm, in particular with a laser system.
  • the microscope head can be actively controlled and moved and an operator can make operating inputs directly on the microscope head via the touch display, for example with regard to a zoom, an alignment and/or an illumination and/or a movement/a movement of the microscope head (change in position).
  • the view of the touch display and/or the view on the navigation monitor can be changed and adjusted in order to obtain a better overview or to be able to track instruments even better.
  • the robot arm of the robot can be configured in such a way that the robot head is adjustable both in its position and in its orientation, i.e. in its position (or has six degrees of freedom/6DOF (degree of freedom)).
  • the robot arm can have at least a first and a second robot arm segment, which are connected to one another via a joint and the robot head can be connected to the robot arm via a further joint and the robot arm can be connected to the robot base via an additional joint.
  • the joint of the first and second robot arm segments can have a rotational degree of freedom for rotation about an axis of rotation, wherein this axis of rotation can be arranged in a kinematic position of the robot arm, in particular in a horizontal direction (i.e. perpendicular to a top-bottom direction), in order to achieve a type Provide boom (similar to an excavator arm).
  • the robot can be designed in the form of an articulated arm robot.
  • the robot head is designed to be rigid and connected to the robot arm via a bearing or joint.
  • the robot arm can have at least three robot arm segments, each of which is connected to one another via a joint.
  • the robot (or the robot's control unit) can control the position and orientation of the robot head via multi-unit actuated kinematics.
  • the surgical microscope is preferably a digital microscope, which creates and digitally provides a digital microscope image using a sensor, such as a CMOS sensor.
  • the touch display can be arranged on a lateral side of the robot head (i.e. not a rear side in an extension of a longitudinal axis of the robot head).
  • the touch display can be arranged on the robot head in such a way that a normal to the display surface is essentially perpendicular to a longitudinal axis of the robot head, such as a visual axis of a surgical microscope.
  • the touch display can be arranged laterally (i.e. not on a rear side) in an area opposite the optical output.
  • the touch display of a microscope head can be arranged on a side facing away from the optical output, i.e. virtually opposite (one end face is adapted for the optical output, in particular has a lens of an optical system, the opposite end face has the touch display).
  • the at least one touch display is arranged, so to speak, “at the top” of the microscope (camera) head on a lateral and/or upper side, while the optical output is provided “at the bottom”.
  • An optional control button or an actuation button or an input means in the form of a joystick or a 3D mouse can be arranged at an axial position between the optical output (bottom) and the touch display (top), in particular directly below the touch display, as seen in the longitudinal axis direction of the robot head be provided.
  • the robot arm can also preferably be connected to the robot head via a joint between the optical output (bottom) and the touch display (top), viewed in the longitudinal axis direction of the robot head.
  • the touch display represents the “top” or most terminal element or component, which is provided laterally and/or at the front of the robot head.
  • the touch display can have a round outer contour or shape, in particular a circular outer contour or shape.
  • the robot head can have a cylindrical/cylindrical base body in the form of a microscope head, with one round end face forming the optical output for the digital microscope or the microscope camera and the opposite round end face having the circular touch display.
  • an additional input means for example in the form of a joystick or a 3D mouse, can be provided in an extension or at the same height opposite the connection of the robot arm. If the robot head is connected to the robot arm on one lateral side via a joint, in particular a swivel joint, then on the opposite lateral side, starting from the connection, an axis is perpendicular to an optical axis (you can also say perpendicular to a longitudinal axis). of the robot head) the input means is provided.
  • the robot guidance system can be adapted to display a menu structure for accessing various functionalities via the touch display.
  • Exemplary applications of the touch display are listed below in particular. Not only a single operating menu or a single display can be displayed on the touch display, but the surgeon is provided with a large number of operating menus to control various functions. In particular, you can switch from a top menu structure to several submenu structures and back.
  • the robot guidance system can be adapted to output a robot control menu as an operating menu via the touch display in order to control the robot via an operating input (a movement), in particular to control a robot movement in six degrees of freedom, for example in six translational ones Directions (each two opposite directions of a Cartesian coordinate system +X/-X, +Y/-Y, +Z/-Z) and/or six rotational ones Directions (clockwise or counterclockwise rotations around the respective axis).
  • the touch display can be adapted to display an (operating) menu structure for accessing the function, which is adapted to control robot movements, in particular six degrees of freedom.
  • the robot guidance system can be adapted to output a visualization control menu as an operating menu via the touch display in order to control/change settings of a visualization system, in particular a zoom, a focus and/or an illumination intensity (as settings).
  • the touch display can be adapted to display a menu structure for accessing the function: setting settings of a visualization system (e.g. a surgical microscope) such as zoom, focus and light intensity via, in particular, a touch bar/slider.
  • the robot guidance system can be adapted to switch between at least two different control menus, in particular between at least one robot control menu and a visualization control menu, in order to achieve at least two different functions of the robot guidance system control, in particular a movement of the robot as a first function and a visualization as a second function.
  • the robot guidance system can be adapted to output a visualization control menu as an operating menu via the touch display, which allows control of various light/imaging modes of the visualization system, in particular control of fluorescence for in particular ICG (indocyanine green), 5 -ALA (5-aminolevulinic acid).
  • a visualization control menu as an operating menu via the touch display, which allows control of various light/imaging modes of the visualization system, in particular control of fluorescence for in particular ICG (indocyanine green), 5 -ALA (5-aminolevulinic acid).
  • the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows waypoints and/or robot configurations and/or navigation positions in relation to the patient (or a patient position) to be saved and in particular provides a so-called “Hold and Drive” function, in which, by long pressing on one of the saved and displayed data, moves to the saved points or predefined positions.
  • a navigation control menu as an operating menu via the touch display, which allows waypoints and/or robot configurations and/or navigation positions in relation to the patient (or a patient position) to be saved and in particular provides a so-called “Hold and Drive” function, in which, by long pressing on one of the saved and displayed data, moves to the saved points or predefined positions.
  • the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows or provides control of navigation processes, in particular point digitization and verification for patient registration and calibration/activation of tools.
  • the robot guidance system can also be adapted to output an instrument control menu as an operating menu via the touch display, which allows control of instrument guidance functions such as driving the robot or the instrument as an end effector on a target trajectory or an on or off Switching off an instrument function provides.
  • the robot guidance system can also be adapted to output a media control menu as an operating menu via the touch display, which allows control of the recording of image recordings (e.g. as current snapshots) and/or video data of a visualization system.
  • a media control menu as an operating menu via the touch display, which allows control of the recording of image recordings (e.g. as current snapshots) and/or video data of a visualization system.
  • the surgeon can, for example, create a recording at an initial point in time using an operator input and have this recording displayed on the touch display or an external monitor at a later point in time, for example to make a before-and-after comparison or to call up information about the surgical site.
  • the robot guidance system can also be adapted to output a media control menu as an operating menu via the touch display, which allows control of the playback and management of the recorded media data, with the reproduced video in particular on other displays (in addition or alternatively to that touch display).
  • the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows or provides control of settings for the information that is displayed on the visualization monitor, in particular planned trajectories, Show or hide operation targets or other navigation information.
  • the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which provides control for switching between different monitor layouts of the main visualization monitor.
  • situation-dependent content can be shown based on information from the control unit/control device in order to save the user time when navigating through the operating menu.
  • situation-dependent content for example depending on a robot configuration or a current status of an operation plan
  • - Settings of a visualization system can be highlighted after the guidance system has been repositioned to allow quick adjustment of visualization parameters to the new position;
  • the instrument guidance settings can be highlighted;
  • a display mode of the touch display can be switched to a so-called "trackpad” mode, in which: o a mouse symbol on the main visualization screen, in particular a surgical monitor, is activated and thus allows the user to operate the visualization screen as a computer screen with a mouse/laptop - Trackpad (via the touch display) enabled; or o allows the user to scroll through the navigation views/slices (segmentations) on the main visualization screen, in particular the surgical monitor.
  • the touch display fixed to the robot head can have a sterile casing, which is preferably designed to be interchangeable in order to provide a sterile barrier to a sterile entry point.
  • the touch display can be covered with a medical (surgical) cloth with transparency, with connection points/coupling points in particular being provided for the surgical cloth.
  • an inertial measurement unit can also be provided on or in the robot head, in particular provided on or in the touch display or attached to the end effector in order to determine a position and / or orientation of the touch display or the robot head to detect, and the robot guidance system, in particular the control unit, be adapted to adapt an orientation of a visual output of the touch display based on the detected position and / or orientation, in particular to adapt an output (e.g. of the operating menu) so that it is always in consistent horizontal orientation.
  • IMU inertial measurement unit
  • an inertial measurement unit can optionally be connected to the touch display or the robot head or the end effector in order to be able to change the orientation of the visualized content in different positions and/or orientations, in particular extreme positions, of the guidance system.
  • IMU inertial measurement unit
  • a position and / or orientation of the touch display or the robot head can be recorded.
  • a position and/or orientation of the touch display or the robot head can preferably be recorded via the navigation camera of the navigation system and corresponding data processing.
  • control unit can be adapted to adapt a display based on the detected position of the touch display so that it is relative to a predetermined position in space, namely the position at which the head of an operator is located (for example, this position can be detected by a navigation camera ), is displayed optimally.
  • This can in particular include rotating the view of the touch display, so that the view is preferably displayed approximately horizontally relative to a floor of an operating room, and thus relative to the surgeon, as well as stretching or compressing the view in order to achieve the most neutral, natural view possible to provide the operator's recorded position (similar to arrows or labels on a road or a road marking, which are adapted (stretched) for a driver so that the driver can recognize the information as well as possible).
  • control unit or the touch display can be adapted to output such a projection onto a virtual surface via the touch display, the surface being perpendicular to a visual axis between the operator and the touch display so that the operator does not see a distorted representation (if the touch display is at an angle to a line of sight), but rather a representation similar to if he were looking vertically at the touch display.
  • the touch display can preferably have a radio connection module in order to (independently) establish a wireless data connection to the control unit, in particular via WLAN or Bluetooth.
  • the touch display can also be connected to the control unit via a data cable.
  • the touch display in order to control various functionalities of the guidance system for situation-dependent display of content, can be connected to the control unit (as a computer system) via a touch display control device by cable or wirelessly (with a radio connection module).
  • the touch display itself has an independent sub-control unit as a computer system to independently form an independent control complement, which can be integrated into the overall system and can be linked to the (central) control unit in terms of data technology.
  • the touch display can have a display diagonal or a display diameter of at least 4 cm and/or a maximum of 20 cm.
  • the size of the touch display can be between 4 cm and 20 cm.
  • the touch display can have a square, rectangular or round form factor. This size and shape can be based, for example, on the number of functions and the size of the connected robot effector. The size and shape help to advantageously integrate the touch display into the area of the end effector.
  • the robot head can have at least one (physical) actuation button (hardware button), preferably three actuation buttons, and the touch display can be arranged directly adjacent to the button and adapted to display the current functional status (/the current functionality) of the button.
  • the touch display can be arranged directly adjacent to the button and adapted to display the current functional status (/the current functionality) of the button.
  • the touch display has a color display to display color operating menus and/or information.
  • a touch display in addition to the touch display on the robot head, can be provided on the robot arm and/or on a robot base.
  • the robot guidance system can be designed as a robot guidance unit and all components can be integrated into this unit or a single module.
  • the robot guidance system can be designed to be mobile and be provided and moved independently in an operating room, for example in the form of a mobile surgical microscope, on whose microscope head (as a robot head and end effector) the touch display is arranged.
  • the tasks are solved with regard to a medical robot operating method, in particular for a robot guidance system according to the present disclosure, by the steps: outputting at least one visual operating menu via a touch display that is rigidly attached to a robot head of a robot; Capturing a touch-sensitive input as an operating input via the touch display; Sending the operating input to a control unit adapted to control at least the robot; Control based on the operating input of a function, in particular a movement of a robot, by the control unit.
  • this step can provide a flexible and central operating method by means of which the operator can carry out different functions, for example a movement of a robot or a setting of a visualization system.
  • the (operating) method can further comprise the steps:
  • Detecting a (change in) position and orientation of the robot head in particular by an inertial measuring unit (IMU) or by detected robot kinematics or by a navigation camera of a navigation system; Sending the captured position and orientation to the control unit; Calculating an orientation of the visual operating menu adapted to the position and orientation; and outputting the customized visual representation of the operating menu.
  • IMU inertial measuring unit
  • the surgeon can be provided with the best possible or best-adapted visual output and, in particular, he does not have to turn his head to read a label or information or to reposition himself in order to view the information on the display when looking at an oblique top view of the touch display. for example, to recognize a text well.
  • the tasks are solved by comprising instructions that can be executed by a computer cause this to carry out the procedural steps of the operating method according to the present disclosure.
  • the control unit of the robot guidance system can include such a computer-readable storage medium.
  • FIG. 1 is a schematic front view of a robot guidance system according to a preferred embodiment of the present disclosure
  • FIG. 2 shows a schematic view of a functional relationship between the touch display, control unit and IMU of a robot guidance system according to a further preferred embodiment
  • Figs. 3a and 3b show an exemplary view of an operating menu in a table-like arrangement and in a circular arrangement
  • FIG. 4 shows a schematic view of an exemplary submenu of a visualization control menu for setting a light intensity
  • 5 is a schematic view of an exemplary submenu of a media control menu for a recorded video management and playback function
  • 6 shows a schematic view of an operating menu with only a stop button as an interactive input
  • FIG. 7 shows a schematic front view of a robot head or end effector with three buttons and a touch display
  • FIG. 8 is a schematic front view of a robot guidance system according to another preferred embodiment of the present disclosure.
  • FIG. 9 to 11 show different views of a robot guidance system with a robot head with a touch display, which is arranged at the top of the microscope head on a side facing away from the optical output;
  • FIG. 12 shows a flowchart of an operating method according to a preferred embodiment.
  • Fig. 1 shows a schematic front view of a medical robot guidance system 1 (hereinafter referred to as guidance system) for a surgical procedure on a patient P.
  • the guidance system 1 has a robot 2 with a movable robot arm 4 and a robot head 6 connected at the end to the robot arm 4 on.
  • the guidance system 1 is designed in the form of a robot-guided surgical microscope.
  • the microscope head is provided as the robot head on the robot arm 4 with several robot arm segments. Therefore, the robot head or microscope head as a whole can also be referred to as the end effector 8 of the surgical microscope.
  • the guidance system 1 has a control unit 10.
  • the control unit 10 can be designed as a central control unit, for example as a computer system that can process and control different functions, or it can have a subsystem of a robot control unit in order to control the robot accordingly.
  • the guidance system 1 has a touch display 12 as an input and output unit. This is adapted to visually output different operating menus 14 and displays for different functions, and to record a touch-sensitive input as an operating input and to send this to the control unit 10 in order to both control the robot 2 and make settings on the visualization system.
  • the touch display for control is not attached to a static base of the guide system 1, but the touch display 12 is rigidly fixed directly to the robot head 6 or to the end effector 8 and moves with it.
  • the touch display 12 moves in the area of the procedure and the surgeon has a central visualization of different operating menus 14 and can flexibly control the different functions of different sub-systems via a single touch display.
  • the operator can select from at least one robot control menu and visualization control menu or switch between the individual control menus as operating menus 14.
  • the surgeon can, for example, guide the instrument or move the robot head 6 so that the end effector 8 is in a better position for the procedure.
  • the microscope head as an end effector can be moved manually or automatically via the operating input of the touch display 12 into a position that allows a better view.
  • Additional recordings can be output via an external (surgical) monitor 15, with media output being controllable via a further media control menu via the touch display 12.
  • a current image of the microscope can be output via the surgical monitor 15, with brightness or color contrast being adjustable via a media control menu.
  • the operator is provided with at least three control menus: robot control menu, visualization control menu and media control menu, which he can operate centrally in order to flexibly perform various functions and safe to control.
  • Fig. 2 shows a schematic functional view of an interaction between individual modules of a guidance system 1 according to a further, second preferred embodiment.
  • an inertial measuring unit (IMU) 16 is arranged directly on the touch display 12 in order to detect a movement (or a change in a movement via an acceleration) and, based on an initial position, a new position and orientation of the touch display 12 after a movement of the to determine the robot.
  • the IMU data is sent directly to a central control unit 12.
  • the central control unit 10 receives data from an end effector control unit 18 (as a sub-control unit).
  • the central control unit 12 has a mutual data connection with a touch display control unit (as a sub-control unit). This central control unit 12 then calculates a visual output based on this data, which is then output on the touch display 12.
  • the touch display is no longer arranged statically, but moves dynamically with the end effector 8, the orientation of the display changes relative to the operator. For example, if in Fig. 1 the robot arm 4 is pivoted upwards by 90°, the visual view of the Touch displays 12 can also be rotated 90 ° counterclockwise relative to the surgeon.
  • the control unit 12 calculates such an orientation, in the above example a rotation of the display relative to the touch display by 90° clockwise, so that the rotation and counter-rotation cancel each other out and an intuitive reading is possible Allow surgeon.
  • the control unit calculates such an orientation of the display that appears as consistent as possible to the operator and, to a certain extent, enables a consistent relationship between the display of the touch display relative to the operator.
  • the visual output when changing from a front view of the touch display 12 (i.e. vertical view) to an oblique view, the visual output can also be displayed correspondingly distorted (similar to a road marking in the form of a label, which is also displayed elongated in order to achieve this to provide the driver with the best possible view).
  • 3a and 3b are exemplary views of an operating menu shown by the touch display, with a table-shaped arrangement with rectangular, symbol-labeled (touch) buttons Z buttons being shown in FIG. 3 a and a circular arrangement of symbol-labeled (touch) buttons Z buttons shown in FIG. 3 b .
  • the user can, for example, select a sub-menu, which is shown in FIGS. 4 and 5 and explained below.
  • Fig. 4 shows a sub-menu of a lighting control menu when the symbol-labeled light bulb is selected in the main menu.
  • the user can adjust a brightness of white light as well as an intensity of UV radiation and IR radiation.
  • the menu jumps to the sub-menu of the video function shown in FIG. 5, in which video data is also managed Playback functions can be selected.
  • the video can be played on an external surgical monitor (not shown here).
  • FIG. 6 shows a schematic view of a (digital) stop button on the touch display 12 in order to stop this movement during a movement of the robot 2 or the robot arm 4 (kind of emergency button).
  • Fig. 7 shows a front view of an end effector of a robot guidance system 1 of a further preferred embodiment.
  • three physical pushbuttons/buttons/actuation buttons 22 are provided on the end effector 8 on a straight line.
  • a touch display 12 is attached to the end effector, which represents the function status above the corresponding actuation button 22. In this way, several functions can be assigned to the three actuation buttons 22 and visualized accordingly by the touch display.
  • control unit 12 can assign different functions to the operating buttons for different steps in the operation plan and have them output via the touch display.
  • the robot 2 has a stationary robot base 24 to which the robot arm 4 is movably connected.
  • the robot head 6 is in turn connected to the end of the robot arm 4 in the form of a (digital) microscope head as an end effector s, so that the robot arm 4 can adjust both the position and the orientation (i.e. the spatial position) of the microscope head in order to assume a suitable recording position and create a digital microscope image.
  • the optical axis of the microscope head is shown as a (vertical) dashed line, which passes through the optical system (not shown) and, as an extension, a CMOS sensor for a digital recording.
  • the robot arm 4 has several robot arm segments 26, each of which is connected to one another via a joint 28.
  • the robot head 6 with the optical system is also connected to the robot arm 4 via a further joint 28 and the robot arm 4 is connected to the robot base 24 via a joint 28.
  • the joint of the first and second robot arm segments 26 can have a rotational degree of freedom for rotation about a rotation axis have, wherein this axis of rotation can be arranged in a kinematic position of the robot arm 4 shown in FIG. 8, in particular in a horizontal direction (i.e. perpendicular to a top-bottom direction), in order to provide a type of boom.
  • the robot head 6 is rigid (or has a rigid robot head housing in which the optical system, the downstream CMOS sensor and other electronics are housed).
  • the robot 2 (or the control unit of the robot) can therefore control the position and orientation of the robot head 6 via multi-unit actuated kinematics and adjust the optical axis accordingly.
  • the touch display 12 is arranged on a lateral side of the robot head 6 (i.e. not on a rear side in an extension of a longitudinal axis of the robot head).
  • the touch display can be arranged on the robot head in such a way that a normal to the display surface is essentially perpendicular to a longitudinal axis of the robot head, such as a visual axis of a surgical microscope.
  • the touch display 12 is arranged so that it is at the top of the robot head 6 as seen in FIG. 8. While in Fig. 8 a lower side forms the optical opening for the optical system of the digital microscope, the touch display is arranged in an upper area.
  • the optical output is provided in a first, lower region of the robot head 6, while the touch display is provided on a second upper region of the robot head, the first and second regions forming terminal regions facing away from one another.
  • the touch display 12 is therefore arranged in such a way that during a usual operation, in which the surgical microscope or the microscope head looks down on the patient from above, a recording is created and the laterally arranged touch display is particularly easy to see and operate for a medical specialist.
  • the actuation buttons 22 are arranged below the touch display 12 as seen in FIG. 8, so that the touch display forms, so to speak, the top element. Seen along a longitudinal axis of the robot head 6, the following is provided one after the other in this order in the axial position: touch display 12 control button optical output.
  • the robot arm 4 is connected laterally to the robot head 6 via the joint 28 and the three dashed rotation indications are intended to show that the robot head can adjust an orientation around three axes or has three degrees of freedom of rotation.
  • the figures 9 to 12 show a medical robot guidance system 1 according to a further preferred embodiment in a side view, in a perspective top view and in a perspective isometric view.
  • the robot 2 is designed in the form of a robot-guided surgical microscope, the robot head 6 of which forms the end effector 8 as the microscope head and a position and orientation of the microscope head can be adjusted via the robot arm 4.
  • the optical output is provided on a lower side as seen in FIG. 9, the optical axis being shown in dashed lines.
  • the touch display 12 is arranged on the side opposite the optical output.
  • the touch display 12 is designed to be circular, with a center point of the circular touch display 12 lying essentially in the extension of the optical axis, so to speak concentric with it. You can also say that the normal to the display is parallel to the optical axis, especially on the optical axis (the optical system and the touch display are, so to speak, symmetrical to each other).
  • the touch display 12 forms a front, upper, flat surface and is offset from the rest of the microscope head (and even the robot arm 4) (i.e. forms a projection) in order to enable good operation. Seen in the direction of the longitudinal axis of the robot head or the optical axis, from top to bottom, first the touch display 12 is provided, then an input means 30 in the form of a 3D mouse or a 3D space mouse and then the optical output (with approximately the last lens of the optical system). The input means 30 is also arranged in extension to a longitudinal axis of a cylindrical arm with a swivel joint 28 to a robot arm segment 26 on an opposite side of the connection to the robot arm 4. A zero axis of the 3D mouse is concentric to an axis of the robot arm segment 26.
  • buttons 22 can be controlled using further actuating buttons 22.
  • the robot head 6 is connected to the robot arm 4 (or to the robot arm segment 26) by means of a swivel joint as a joint 28.
  • An orthogonal on the touch display 12 is also perpendicular to an axis of rotation, whereby here the orthogonal on the touch display 12 is parallel to the optical axis.
  • FIG. 12 shows a flowchart of an operating method according to a preferred embodiment.
  • an operating menu 14 is output by the touch display 12.
  • a position and an orientation (i.e. the position) of the touch display 12 are recorded.
  • the position can also be recorded via recorded (mechanical) robot kinematics or by a tracking camera/navigation camera of a navigation system.
  • the position of the touch display 12 is then passed on to the control unit 12 in substep S1.2. This then calculates an adapted orientation for the output in substep S1.3 and then outputs this adapted representation through the touch display 12 in substep S1.4.
  • a third step S3 the recorded operating input is then sent to the control unit 12.
  • step S4 a corresponding function, as displayed and selected on the touch display 12, is controlled.
  • this can be a control of the robot 2.
  • IMU Intertial Measurement Unit

Abstract

The invention relates to a medical robot guidance system (1) for a surgical procedure on a patient (P), comprising: a robot (2) with a movable robot arm (4) and a robot head (6) attached at the end of the robot arm (4), in particular comprising an end effector (8) on the robot head (6) or as a robot head (6); a control unit (10) customized to control and move at least the robot (2); at least one touch display (12) customized to visually output at least one operating menu (14), and to detect a touch-sensitive input as a user input and to transmit said user input to the control unit (10) in order to control the robot (2) in particular; wherein the at least one touch display (12) is rigidly fixed to the robot head (6) and moves along with the latter. The invention also relates to a robot operating method and a computer-readable storage medium according to the alternative independent claims.

Description

Medizinisches Roboter-Führungssystem mit integriertem Touchdisplay und Bedienungsverfahren Medical robot guidance system with integrated touch display and operating procedures
Beschreibung Description
Technisches Gebiet Technical area
Die vorliegende Offenbarung betrifft ein medizinisches, insbesondere chirurgisches, Roboter-Führungssystem für einen medizinischen Vorgang, insbesondere chirurgischen Eingriff, bei einem Patienten. Das Roboter-Führungssystem weist dafür einen Roboter mit einem an einer Roboterbasis beweglich angebundenen Roboterarm und einem an dem Roboterarm endständig angebundenen Roboterkopf auf. Insbesondere weist der Roboterkopf einen Endeffektor auf oder ein Endeffektor bildet selbst den Roboterkopf aus. Ferner weist das Roboter-Führungssystem eine (zentrale) Steuereinheit (insbesondere mit einem Prozessor und einer Speichereinheit) auf, die dafür angepasst ist, zumindest den Roboter, insbesondere den Roboterarm und den Roboterkopf (und damit insbesondere den Endeffektor) zu steuern und zu bewegen. Ferner weist das Roboter-Führungssystem zumindest ein Touchdisplay/ Touchscreen/ einen berührungsempfindlichen Bildschirm auf, das/der dafür angepasst ist, zumindest ein Bedienungsmenü (zur Steuerung) visuell auszugeben, und eine berührungsempfindliche Eingabe als Bedieneingabe zu erfassen und diese an die Steuereinheit zu senden, um insbesondere den Roboter zu steuern. Daneben betrifft die Offenbarung ein (Roboter-)Bedienungsverfahren und ein computerlesbares Speichermedium gemäß den Oberbegriffen der nebengeordneten Ansprüche. The present disclosure relates to a medical, in particular surgical, robot guidance system for a medical procedure, in particular a surgical procedure, on a patient. For this purpose, the robot guidance system has a robot with a robot arm that is movably connected to a robot base and a robot head that is connected at the end to the robot arm. In particular, the robot head has an end effector or an end effector itself forms the robot head. Furthermore, the robot guidance system has a (central) control unit (in particular with a processor and a memory unit) which is adapted to control and move at least the robot, in particular the robot arm and the robot head (and thus in particular the end effector). Furthermore, the robot guidance system has at least one touch display/touch screen/touch-sensitive screen, which is adapted to visually output at least one operating menu (for control), and to detect a touch-sensitive input as an operating input and to send this to the control unit, in particular to control the robot. In addition, the disclosure relates to a (robot) operating method and a computer-readable storage medium according to the preambles of the independent claims.
Hintergrund der Offenbarung Background of the revelation
Chirurgische Führungssysteme finden bei einem Eingriff, insbesondere einem minimalinvasiven Eingriff, zunehmend Verwendung. Durch die technologische Weiterentwicklung und eine voranschreitende Spezialisierung von verschiedenen (Subsystem mit entsprechender Einbindung, nimmt die Anzahl an Funktionen der medizinischen Systeme stark zu. Die fortscheitende Erweiterung der Führungssysteme um diese Vielzahl an unterschiedlichen Funktionalitäten erschwert zunehmend, dass dem Nutzer eine solche zentrale Bedienung bzw. Bedienungsmodalität zur Verfügung gestellt wird, welche es ihm erlaubt, den Überblick über die Funktionen und eine Kontrolle beizubehalten. Surgical guidance systems are increasingly being used during an operation, particularly a minimally invasive procedure. Due to technological development and increasing specialization of various subsystems with corresponding integration, the number of functions of medical systems is increasing significantly. The progressive expansion of the management systems to include this variety of different functionalities makes it increasingly difficult for the user to be provided with such a central operation or operating modality that allows him to maintain an overview of the functions and control.
Für eine Bedienung eines robotischen Führungssystems werden nach dem Stand der Technik aktuell Touchdisplays auf beispielsweise einem medizinischen Wagen, einem medizinischen Turm oder an einer Basis eines medizinischen (Operations- )Mikroskops vorgesehen, über das ein medizinisches Fachpersonal mittels einer Führung durch ein (Bedien-/Bedienungs-)Menü eine (Bedien-)Eingabe für eine entsprechende Steuerung tätigen kann. To operate a robotic guidance system, according to the state of the art, touch displays are currently provided on, for example, a medical cart, a medical tower or on a base of a medical (surgical) microscope, via which a medical specialist can be guided by means of a (operating/operating) Operating menu can make an (operating) input for a corresponding control.
Ein Problem hierbei ist jedoch, dass das Touchdisplay nicht zentral im Bereich des Eingriffs angeordnet ist, sondern entfernt zu diesem. Dieser Umstand erschwert einerseits eine Erreichbarkeit und andererseits eine Hygieneanforderung, da das Touchdisplay nicht steril vorgesehen ist. Aufgrund der Entfernung einerseits und der Sterilitätsanforderung andererseits kann ein den Eingriff leitender Operateur das Touchdisplay meist nicht selbst bedienen. One problem here, however, is that the touch display is not centrally located in the area of the procedure, but rather at a distance from it. This circumstance makes accessibility difficult on the one hand and hygiene requirements on the other, since the touch display is not designed to be sterile. Due to the distance on the one hand and the sterility requirement on the other, the surgeon conducting the procedure is usually unable to operate the touch display himself.
Die US 2005/0041282 A1 offenbart etwa ein Operationsmikroskop als Roboter- Führungssystem mit einem Touchdisplay, welches an einer Basis/ einem Wagen des Operationsmikroskops starr befestigt ist. Mittels dem berührungsempfindlichen Display können über unterschiedliche Bereiche des Displays unterschiedliche Funktionen gesteuert werden. Aufgrund dieser Konfiguration muss der Operateur jedoch einem weiteren medizinischen Fachpersonal eine Anweisung für eine Steuerung einer Funktion geben, dass dieses Fachpersonal dann die Steuerung ausführt. Zusammenfassung der Offenbarung The US 2005/0041282 A1 discloses, for example, a surgical microscope as a robot guidance system with a touch display, which is rigidly attached to a base/carriage of the surgical microscope. Using the touch-sensitive display, different functions can be controlled via different areas of the display. However, due to this configuration, the operator must give instructions to another medical specialist to control a function, so that this specialist then carries out the control. Summary of Revelation
Es ist daher die Aufgabe der vorliegenden Offenbarung, die Nachteile aus dem Stand der Technik zu vermeiden oder zumindest zu vermindern und insbesondere ein medizinisches Roboter-Führungssystem und ein Bedienungsverfahren zur Verfügung zu stellen, das einem Nutzer, wie einem medizinischen Fachpersonal, insbesondere einem Operateur, eine intuitive und übersichtliche Bedienung mit intuitiver Bedienoberfläche zur Verfügung stellt, die bei einem medizinischen Vorgang wie einem Eingriff ihm die volle Kontrolle über das eingesetzte System oder mehrere eingesetzte Systeme ermöglichen. Insbesondere soll die Bedienung unterschiedliche Bedienmodalitäten zentral zusammenführen und vorzugsweise an einem für den Operateur gut erreichbaren Bereich vorgesehen sein. It is therefore the object of the present disclosure to avoid or at least reduce the disadvantages of the prior art and in particular to provide a medical robot guidance system and an operating method that a user, such as a medical specialist, in particular a surgeon, provides intuitive and clear operation with an intuitive user interface, which allows full control over the system or several systems used during a medical process such as an intervention. In particular, the operation should bring together different operating modalities centrally and should preferably be provided in an area that is easily accessible to the surgeon.
Die Aufgaben der vorliegenden Offenbarung werden hinsichtlich eines gattungsgemäßen Roboter-Führungssystems erfindungsgemäß durch die Merkmale des Anspruchs 1 gelöst, hinsichtlich eines gattungsgemäßen Bedienungsverfahrens erfindungsgemäß durch die Merkmale des Anspruchs 13 gelöst, und hinsichtlich eines computerlesbaren Speichermediums erfindungsgemäß durch die Merkmale des Anspruchs 15 gelöst. The tasks of the present disclosure are solved according to the invention by the features of claim 1 with regard to a generic robot guidance system, solved according to the invention by the features of claim 13 with regard to a generic operating method, and solved according to the invention by the features of claim 15 with regard to a computer-readable storage medium.
Ein Grundgedanke der vorliegenden Offenbarung sieht also vor, eine Bedienmodalität, wie eine Steuerung des Roboters, im Bereich eines Roboterkopfs bzw. eines Endeffektors vorzusehen. Im Unterschied zum Stand der Technik wird das Touchdisplay als Ein- und Ausgabeeinheit nicht an einer separaten, entfernten Stelle vorgesehen, etwa an einem medizinischen Turm oder ähnlichem, sondern direkt an einem beweglichen Part des Roboters, nämlich an dem endständigen Roboterkopf und damit im Bereich des Endeffektors. A basic idea of the present disclosure therefore envisages providing an operating modality, such as controlling the robot, in the area of a robot head or an end effector. In contrast to the prior art, the touch display is not provided as an input and output unit in a separate, remote location, such as on a medical tower or similar, but directly on a movable part of the robot, namely on the terminal robot head and thus in the area of the End Effectors.
Mit anderen Worten ist das zumindest eine Touchdisplay an dem Roboterkopf, insbesondere an dem Endeffektor, starr befestigt/angebracht/fixiert und bewegt sich mit diesem mit. Statt ein statisches Touchdisplay an der Roboterbasis vorzusehen, etwa an einem Wagen eines robotergestützten Operationsmikroskops, wird gemäß der vorliegenden Offenbarung das Touchdisplay am Roboterkopf dynamisch mitbewegt. Da der Endeffektor an dem Roboterkopf angeordnet ist oder der Endeffektor selbst den Roboterkopf ausbildet, ist die Bedienmodalität in Form des Touchdisplays direkt in dem Bereich des Endeffektors angeordnet und für einen Operateur einfach und sicher zu erreichen. Über das dynamisch sich mitbewegende Touchdisplay kann der Operateur dann verschiedene Funktionen der Bedienmodalitäten gewissermaßen zentral steuern bzw. es wird ihm die Möglichkeit bereitgestellt, die Steuerung von zumindest einer Bewegung des Roboters und damit des Roboterkopfs zentral im Bereich des Endeffektors zu steuern. Insbesondere kann der Operateur über das Touchdisplay unterschiedliche Funktionen steuern, indem etwa ein zugehöriges Bedienmenü für die entsprechende Funktion angezeigt wird. In other words, the at least one touch display is rigidly attached/attached/fixed to the robot head, in particular to the end effector, and moves with it. Instead of providing a static touch display on the robot base, for example on a carriage of a robot-assisted surgical microscope, according to the present disclosure, the touch display on the robot head is moved dynamically. There the end effector is arranged on the robot head or the end effector itself forms the robot head, the operating modality in the form of the touch display is arranged directly in the area of the end effector and can be easily and safely accessed by a surgeon. Using the dynamically moving touch display, the surgeon can then control various functions of the operating modalities centrally, so to speak, or is provided with the option of controlling at least one movement of the robot and thus the robot head centrally in the area of the end effector. In particular, the surgeon can control different functions via the touch display, for example by displaying an associated operating menu for the corresponding function.
Mit noch anderen Worten beschreibt die Offenbarung ein Touchdisplay/ einen Touchscreen/ einen berührungsempfindlichen Bildschirm, das/der in ein robotergestütztes Führungssystem/ Roboter-Führungssystem für medizinische Eingriffe eingebettet ist. Das Touchdisplay ist dabei datentechnisch mit einer zentralen Steuereinheit (als Ausführungseinheit für eine Software) verbunden und ermöglicht eine flexible Steuerung verschiedener Funktionen, etwa in unsteriler und steriler Umgebung, sowie eine Visualisierung von Informationen. Das Roboter-Führungssystem kann beispielsweise sowohl eine visualisierungsbasierte Führung (beispielsweise ein Operationsmikroskop) als auch eine Führung von Instrumenten (beispielsweise eines Trokars) umfassen. In still other words, the disclosure describes a touch display/touchscreen/touch-sensitive screen embedded in a robot-assisted guidance system/robotic guidance system for medical procedures. The touch display is data-connected to a central control unit (as an execution unit for software) and enables flexible control of various functions, for example in non-sterile and sterile environments, as well as visualization of information. The robot guidance system can, for example, include both visualization-based guidance (e.g. a surgical microscope) and guidance of instruments (e.g. a trocar).
Mit noch weiter anderen Worten wird vorliegend ein eingebettetes Touchdisplay auf oder an einem robotischen Endeffektor (an oder als Roboterkopf) vorgeschlagen, das es einem Benutzer ermöglicht, sowohl in steriler als auch in unsteriler Umgebung (etwa über einen externen Monitor) flexibel Informationen zur Verfügung zu stellen und verschiedene Steuerungsoptionen anzubieten. Das Touchdisplay ist starr mit dem Roboter-Endeffektor verbunden und insbesondere so ausgerichtet, dass der Chirurg in den gängigsten chirurgischen Positionen (insbesondere Lagen) des Führungssystems einen guten Blickwinkel hat. Das Touchdisplay kann sowohl interaktive Inhalte (etwa das Bedienmenü) als auch nicht-interaktive Inhalte (etwa eine Annotation) zeigen. Die visualisierten Inhalte können beispielsweise dieselben Inhalte wie ein (nicht am Roboterarm angeordneter) größerer Hauptmonitor des Chirurgen oder wie andere Kontrolldisplays, die nicht am Steuergerät angebracht sind, anzeigen. Alternativ oder zusätzlich können vorzugsweise auch eigenständige Inhalte, die situationsabhängig sein können, durch das Touchdisplay dargestellt werden. In even further words, an embedded touch display on or on a robotic end effector (on or as a robot head) is proposed here, which enables a user to flexibly provide information in both a sterile and non-sterile environment (e.g. via an external monitor). and offer various control options. The touch display is rigidly connected to the robot end effector and is particularly aligned so that the surgeon has a good viewing angle in the most common surgical positions (especially positions) of the guidance system. The touch display can show both interactive content (such as the operating menu) and non-interactive content (such as an annotation). The visualized content can, for example, be the same content as a larger main monitor of the surgeon (not located on the robot arm) or as others Show control displays that are not attached to the control unit. Alternatively or additionally, independent content, which can be situation-dependent, can preferably also be displayed by the touch display.
Der Begriff „Position“ meint eine geometrische Position im dreidimensionalen Raum, der insbesondere mittels Koordinaten eines kartesischen Koordinatensystems angegeben wird. Insbesondere kann die Position durch die drei Koordinaten X, Y und Z angegeben werden. The term “position” means a geometric position in three-dimensional space, which is specified in particular using coordinates of a Cartesian coordinate system. In particular, the position can be specified by the three coordinates X, Y and Z.
Der Begriff „Orientierung“ wiederum gibt eine Ausrichtung (etwa an der Position) im Raum an. Man kann auch sagen, dass durch die Orientierung eine Ausrichtung angegeben wird mit Richtungs-bzw. Drehungsangabe im dreidimensionalen Raum. Insbesondere kann die Orientierung mittels drei Winkeln angegeben werden. The term “orientation” in turn indicates an orientation (e.g. position) in space. One can also say that the orientation indicates an orientation with direction or Rotation specification in three-dimensional space. In particular, the orientation can be specified using three angles.
Der Begriff „Lage“ umfasst sowohl eine Position als auch eine Orientierung. Insbesondere kann die Lage mittels sechs Koordinaten angegeben werden, drei Positionskoordinaten X, Y und Z sowie drei Winkelkoordinaten für die Orientierung. The term “location” includes both a position and an orientation. In particular, the position can be specified using six coordinates, three position coordinates X, Y and Z and three angular coordinates for orientation.
Eine Bedieneingabe kann beispielsweise ein zu einer Auswahl des Bedienungsmenüs zugehöriger Steuerbefehl sein, der an die Steuereinheit gesendet wird, sodass diese die entsprechende Funktion unmittelbar oder mittelbar über etwa eine Steuereinheit eines Subsystems ausführt. Beispielsweise kann eine zentrale Steuereinheit über eine Sub-Steuereinheit eines Visualisierungssystems dieses mittelbar steuern oder sie kann über eine Sub-Steuereinheit eines Navigationssystems dieses mittelbar steuern und beispielsweise einen Wegpunkt setzen lassen. An operating input can, for example, be a control command associated with a selection of the operating menu, which is sent to the control unit so that it carries out the corresponding function directly or indirectly via, for example, a control unit of a subsystem. For example, a central control unit can control it indirectly via a sub-control unit of a visualization system, or it can control it indirectly via a sub-control unit of a navigation system and, for example, have a waypoint set.
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beansprucht und werden insbesondere nachfolgend erläutert. Advantageous embodiments are claimed in the subclaims and are explained in particular below.
Gemäß einer Ausführungsform kann das Roboter-Führungssystem in Form eines (chirurgischen) Operationsmikroskops mit einem an dem Roboterarm angebundenen Mikroskopkopf als Roboterkopf oder in Form eines Navigationssystems mit einem an dem Roboterarm angebundenen Kamerasystem, insbesondere mit einem Lasersystem, ausgeführt sein. Der Mikroskopkopf kann aktiv gesteuert und verfahren werden und ein Operateur kann direkt an dem Mikroskopkopf über das Touchdisplay Bedieneingaben vornehmen, beispielsweise hinsichtlich eines Zooms, einer Ausrichtung und/oder einer Beleuchtung und/oder einer Bewegung/einem Verfahren des Mikroskopkopfs (Lageänderung). Im Falle eines Navigationssystems kann beispielsweise die Ansicht des Touchdisplays und/oder die Ansicht auf dem Navigationsmonitor geändert und angepasst werden, um einen besseren Überblick zu erhalten oder um Instrumente noch besser nachverfolgen zu können. According to one embodiment, the robot guidance system can be in the form of a (surgical) operating microscope with a microscope head connected to the robot arm as a robot head or in the form of a navigation system with a camera system connected to the robot arm, in particular with a laser system. be carried out. The microscope head can be actively controlled and moved and an operator can make operating inputs directly on the microscope head via the touch display, for example with regard to a zoom, an alignment and/or an illumination and/or a movement/a movement of the microscope head (change in position). In the case of a navigation system, for example, the view of the touch display and/or the view on the navigation monitor can be changed and adjusted in order to obtain a better overview or to be able to track instruments even better.
Insbesondere kann der Roboterarm des Roboters derart konfiguriert sein, dass der Roboterkopf sowohl in seiner Position als auch in seiner Orientierung, also in seiner Lage, einstellbar ist (bzw. sechs Freiheitsgrade/6DOF (degree of freedom) aufweist). Insbesondere kann der Roboterarm zumindest ein erstes und ein zweites Roboterarmsegment aufweisen, welche über ein Gelenk miteinander verbunden sind und der Roboterkopf über ein weiteres Gelenk mit dem Roboterarm sowie der Roboterarm über ein zusätzliches Gelenk mit der Roboterbasis verbunden sein. Insbesondere kann das Gelenk des ersten und zweiten Roboterarmsegments einen Rotationsfreiheitsgrad für eine Rotation um eine Drehachse aufweisen, wobei diese Drehachse in einer Kinematikstellung des Roboterarms insbesondere in einer horizontalen Richtung (also senkrecht zu einer oben-unten-Richtung) angeordnet sein kann, um eine Art Ausleger bereitzustellen (ähnlich eines Baggerarms). Insbesondere kann der Roboter in Form eines Knickarmroboters ausgebildet sein. In particular, the robot arm of the robot can be configured in such a way that the robot head is adjustable both in its position and in its orientation, i.e. in its position (or has six degrees of freedom/6DOF (degree of freedom)). In particular, the robot arm can have at least a first and a second robot arm segment, which are connected to one another via a joint and the robot head can be connected to the robot arm via a further joint and the robot arm can be connected to the robot base via an additional joint. In particular, the joint of the first and second robot arm segments can have a rotational degree of freedom for rotation about an axis of rotation, wherein this axis of rotation can be arranged in a kinematic position of the robot arm, in particular in a horizontal direction (i.e. perpendicular to a top-bottom direction), in order to achieve a type Provide boom (similar to an excavator arm). In particular, the robot can be designed in the form of an articulated arm robot.
Insbesondere ist der Roboterkopf starr ausgebildet und über ein Lager oder Gelenk an den Roboterarm angebunden. In particular, the robot head is designed to be rigid and connected to the robot arm via a bearing or joint.
Vorzugsweise kann der Roboterarm zumindest drei Roboterarm-segmente aufweisen, welche jeweils über ein Gelenk miteinander verbunden sind. Insbesondere kann der Roboter (bzw. die Steuereinheit des Roboters) über eine mehrgliedrig aktuierte Kinematik die Position und Orientierung des Roboterkopfs steuern. Vorzugsweise ist das Operationsmikroskop ein digitales Mikroskop, welches mittels eines Sensors, etwa eines CMOS-Sensors, eine digitale Mikroskopaufnahme erstellt und digital bereitstellt. Preferably, the robot arm can have at least three robot arm segments, each of which is connected to one another via a joint. In particular, the robot (or the robot's control unit) can control the position and orientation of the robot head via multi-unit actuated kinematics. The surgical microscope is preferably a digital microscope, which creates and digitally provides a digital microscope image using a sensor, such as a CMOS sensor.
Vorzugsweise kann das Touchdisplay an einer lateralen Seite des Roboterkopfs (also nicht einer Rückseite in Verlängerung einer Längsachse des Roboterkopfs) angeordnet sein. Insbesondere kann das Touchdisplay derart an dem Roboterkopf angeordnet sein, dass eine Normale auf die Displayfläche im Wesentlichen senkrecht zu einer Längsachse des Roboterkopfs, etwa einer Sichtachse eines Operationsmikroskops, steht. Preferably, the touch display can be arranged on a lateral side of the robot head (i.e. not a rear side in an extension of a longitudinal axis of the robot head). In particular, the touch display can be arranged on the robot head in such a way that a normal to the display surface is essentially perpendicular to a longitudinal axis of the robot head, such as a visual axis of a surgical microscope.
Insbesondere kann das Touchdisplay bei einer Ausführung eines Mikroskopkopfs als Roboterkopfs an einem dem optischen Ausgang gegenüberliegenden Bereich lateral (also nicht an einer Rückseite) angeordnet sein. Alternativ oder zusätzlich kann das Touchdisplay bei einem Mikroskopkopf an einer dem optischen Ausgang abgewandten Seite, also quasi gegenüberliegend, angeordnet sein (eine Stirnseite ist für den optischen Ausgang angepasst, weist insbesondere eine Linse eines optischen Systems auf, die gegenüberliegende Stirnseite hat das Touchdisplay). Man kann auch sagen, dass das zumindest eine Touchdisplay gewissermaßen „oben“ auf dem Mikroskop(kamera-)kopf an einer lateralen und/oder oberen Seite angeordnet ist, während „unten“ der optische Ausgang vorgesehen. Ein optionaler Bedienknopf bzw. eine Betätigungstaste oder ein Eingabemittel in Form eines Joysticks oder einer 3D- Maus kann in Längsachsenrichtung des Roboterkopfs gesehen an einer axialen Position zwischen dem optischen Ausgang (unten) und dem Touchdisplay (oben) angeordnet sein, insbesondere unmittelbar unterhalb des Touchdisplays vorgesehen sein. Auch kann vorzugsweise der Roboterarm in Längsachsenrichtung des Roboterkopfs gesehen zwischen dem optischen Ausgang (unten) und dem Touchdisplay (oben) über ein Gelenk an den Roboterkopf angebunden sein. Insbesondere stellt das Touchdisplay das „oberste“ oder endständigste Element oder Komponente dar, welche lateral und/oder stirnseitig an dem Roboterkopf vorgesehen ist. Vorzugsweise kann das Touchdisplay eine runde Außenkontur oder Form aufweisen, insbesondere eine kreisrunde Außenkontur oder Form. In particular, when a microscope head is designed as a robot head, the touch display can be arranged laterally (i.e. not on a rear side) in an area opposite the optical output. Alternatively or additionally, the touch display of a microscope head can be arranged on a side facing away from the optical output, i.e. virtually opposite (one end face is adapted for the optical output, in particular has a lens of an optical system, the opposite end face has the touch display). One can also say that the at least one touch display is arranged, so to speak, “at the top” of the microscope (camera) head on a lateral and/or upper side, while the optical output is provided “at the bottom”. An optional control button or an actuation button or an input means in the form of a joystick or a 3D mouse can be arranged at an axial position between the optical output (bottom) and the touch display (top), in particular directly below the touch display, as seen in the longitudinal axis direction of the robot head be provided. The robot arm can also preferably be connected to the robot head via a joint between the optical output (bottom) and the touch display (top), viewed in the longitudinal axis direction of the robot head. In particular, the touch display represents the “top” or most terminal element or component, which is provided laterally and/or at the front of the robot head. Preferably, the touch display can have a round outer contour or shape, in particular a circular outer contour or shape.
Gemäß einer Ausführungsform kann der Roboterkopf in Form eines Mikroskopkopfs einen zylinderförmigen/zylindrischen Grundkörper aufweisen, wobei die eine runde Stirnseite den optischen Ausgang für das digitale Mikroskop bzw. die Mikroskopkamera bildet und die gegenüberliegende runde Stirnseite das kreisrunde Touchdisplay aufweist. According to one embodiment, the robot head can have a cylindrical/cylindrical base body in the form of a microscope head, with one round end face forming the optical output for the digital microscope or the microscope camera and the opposite round end face having the circular touch display.
Insbesondere kann ein zusätzliches Eingabemittel, beispielsweise in Form eines Joysticks oder einer 3D-Maus, in Verlängerung oder auf gleicher Höhe gegenüberliegend an die Anbindung des Roboterarms vorgesehen sein. Ist der Roboterkopf an einer lateralen Seite über ein Gelenk, insbesondere ein Drehgelenk, an den Roboterarm angebunden, so ist auf der gegenüberliegenden lateralen Seite, ausgehend von der Anbindung in Verlängerung einer Achse senkrecht zu einer optischen Achse (man kann auch sagen senkrecht zu einer Längsachse des Roboterkopfs) das Eingabemittel vorgesehen. In particular, an additional input means, for example in the form of a joystick or a 3D mouse, can be provided in an extension or at the same height opposite the connection of the robot arm. If the robot head is connected to the robot arm on one lateral side via a joint, in particular a swivel joint, then on the opposite lateral side, starting from the connection, an axis is perpendicular to an optical axis (you can also say perpendicular to a longitudinal axis). of the robot head) the input means is provided.
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay eine Menüstruktur zum Zugriff auf verschiedene Funktionalitäten anzeigen zu lassen. Exemplarische Anwendungsfälle des Touch-Displays sind insbesondere nachstehend angeführt. Auf dem Touchdisplay kann also nicht nur ein einziges Bedienungsmenü oder eine einzige Anzeige angezeigt werden, sondern es wird dem Operateur eine Vielzahl an Bedienungsmenüs zur Verfügung gestellt, um verschiedene Funktionen zu steuern. Insbesondere kann von einer Obermenüstruktur in mehrere Untermenüstrukturen und zurück wechseln. In particular, the robot guidance system can be adapted to display a menu structure for accessing various functionalities via the touch display. Exemplary applications of the touch display are listed below in particular. Not only a single operating menu or a single display can be displayed on the touch display, but the surgeon is provided with a large number of operating menus to control various functions. In particular, you can switch from a top menu structure to several submenu structures and back.
Vorzugsweise kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Roboter-Steuerungs-Menü als Bedienungsmenü auszugeben, um über eine Bedieneingabe (eine Bewegung) den Roboter zu steuern, insbesondere um eine Roboterbewegung in sechs Freiheitsgraden zu steuern, beispielsweise in sechs translatorische Richtungen (jeweils zwei entgegengesetzte Richtungen eines kartesischen Koordinatensystems +X/-X, +Y/-Y, +Z/-Z) und/oder sechs rotatorische Richtungen (Drehungen im Uhrzeigersinn oder gegen Uhrzeigersinn um die jeweilige Achse). Mit anderen Worten kann das Touchdisplay angepasst sein, eine (Bedien)Menüstruktur zum Zugriff auf die Funktion anzuzeigen, die zur Steuerung von Roboterbewegungen insbesondere sechs Freiheitsgraden angepasst ist. Preferably, the robot guidance system can be adapted to output a robot control menu as an operating menu via the touch display in order to control the robot via an operating input (a movement), in particular to control a robot movement in six degrees of freedom, for example in six translational ones Directions (each two opposite directions of a Cartesian coordinate system +X/-X, +Y/-Y, +Z/-Z) and/or six rotational ones Directions (clockwise or counterclockwise rotations around the respective axis). In other words, the touch display can be adapted to display an (operating) menu structure for accessing the function, which is adapted to control robot movements, in particular six degrees of freedom.
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Visualisierungs-Steuerungs-Menü als Bedienungsmenü auszugeben, um Einstellungen eines Visualisierungssystems zu steuern /ändern, insbesondere einen Zoom, einen Fokus und/oder eine Beleuchtungsintensität (als Einstellungen). Mit anderen Worten kann das Touchdisplay angepasst sein, eine Menüstruktur zum Zugriff auf die Funktion anzuzeigen: Festlegen von Einstellungen eines Visualisierungssystems (etwa eines Operationsmikroskops) wie beispielsweise Zoom, Fokus und Lichtintensität über insbesondere eine Touch-Bar/einen Schieberegler. In particular, the robot guidance system can be adapted to output a visualization control menu as an operating menu via the touch display in order to control/change settings of a visualization system, in particular a zoom, a focus and/or an illumination intensity (as settings). In other words, the touch display can be adapted to display a menu structure for accessing the function: setting settings of a visualization system (e.g. a surgical microscope) such as zoom, focus and light intensity via, in particular, a touch bar/slider.
Gemäß einer weiteren Ausführungsform kann das Roboter-Führungssystem dafür angepasst sein, zwischen zumindest zwei verschiedenen Steuerungs-Menüs zu wechseln, insbesondere zwischen zumindest einem Roboter-Steuerungs-Menü und einem Visualisierungs-Steuerungs-Menü, um zumindest zwei verschiedene Funktionen des Roboter-Führungssystems zu steuern, insbesondere eine Bewegung des Roboters als eine erste Funktion und eine Visualisierung als eine zweite Funktion. According to a further embodiment, the robot guidance system can be adapted to switch between at least two different control menus, in particular between at least one robot control menu and a visualization control menu, in order to achieve at least two different functions of the robot guidance system control, in particular a movement of the robot as a first function and a visualization as a second function.
Insbesondere kann das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Visualisierungs-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von verschiedenen Licht-/Bildgebungsmodi des Visualisierungssystems erlaubt, insbesondere eine Steuerung von einer Fluoreszenz für insbesondere ICG (Indocyaningrün), 5-ALA (5-Aminolävulinsäure). In particular, the robot guidance system can be adapted to output a visualization control menu as an operating menu via the touch display, which allows control of various light/imaging modes of the visualization system, in particular control of fluorescence for in particular ICG (indocyanine green), 5 -ALA (5-aminolevulinic acid).
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das ein Speichern von Wegpunkten und/oder Roboterkonfigurationen und/oder Navigationspositionen in Bezug auf den Patienten (bzw. eine Patientenlage) erlaubt und insbesondere eine sogenannte „Hold and Drive" Funktion bereitstellt, in welcher durch ein langes Drücken auf eine der gespeicherten und angezeigten Daten ein Anfahren der gespeicherten Punkten oder vordefinierten Positionen erfolgt. In particular, the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows waypoints and/or robot configurations and/or navigation positions in relation to the patient (or a patient position) to be saved and in particular provides a so-called “Hold and Drive” function, in which, by long pressing on one of the saved and displayed data, moves to the saved points or predefined positions.
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Navigationsabläufen, insbesondere einer Punktdigitalisierung und -Verifizierung zur Patientenregistrierung und Kalibrierung/Aktivierung von Werkzeugen, erlaubt bzw. bereitstellt. In particular, the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows or provides control of navigation processes, in particular point digitization and verification for patient registration and calibration/activation of tools.
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Instrumenten-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Instrumentenführungsfunktionen wie beispielsweise ein Fahren des Roboters bzw. des Instruments als Endeffektor auf einer Zieltrajektorie erlaubt oder ein Ein- oder Ausschalten einer Instrumentenfunktion bereitstellt. In particular, the robot guidance system can also be adapted to output an instrument control menu as an operating menu via the touch display, which allows control of instrument guidance functions such as driving the robot or the instrument as an end effector on a target trajectory or an on or off Switching off an instrument function provides.
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Medien-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung der Aufzeichnung von Bildaufnahmen (etwa als aktuelle Schnappschüsse) und/oder Videodaten eines Visualisierungssystems erlaubt. Damit kann der Operateur beispielsweise durch eine Bedieneingabe eine Aufnahme zu einem ersten Zeitpunkt erstellen und zu einem späteren Zeitpunkt diese Aufnahme auf dem Touchdisplay oder einem externen Monitor ausgeben lassen, etwa um einen Vergleich Vorher-Nachher anzustellen oder um Informationen zu der Eingriffsstelle aufzurufen. In particular, the robot guidance system can also be adapted to output a media control menu as an operating menu via the touch display, which allows control of the recording of image recordings (e.g. as current snapshots) and/or video data of a visualization system. This means that the surgeon can, for example, create a recording at an initial point in time using an operator input and have this recording displayed on the touch display or an external monitor at a later point in time, for example to make a before-and-after comparison or to call up information about the surgical site.
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Medien-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung der Wiedergabe und Verwaltung der aufgezeichneten Mediendaten erlaubt, wobei das wiedergegebene Video insbesondere auf anderen Displays (zusätzlich oder alternativ zu dem Touchdisplay) gezeigt werden kann. Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung von Einstellungen für die Informationen, die auf dem Visualisierungsmonitor dargestellt werden, festzulegen erlaubt bzw. bereitstellt, insbesondere geplante Trajektorien, Operationsziele oder andere Navigationsinformationen zeigen und ausblenden lässt. In particular, the robot guidance system can also be adapted to output a media control menu as an operating menu via the touch display, which allows control of the playback and management of the recorded media data, with the reproduced video in particular on other displays (in addition or alternatively to that touch display). In particular, the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which allows or provides control of settings for the information that is displayed on the visualization monitor, in particular planned trajectories, Show or hide operation targets or other navigation information.
Insbesondere kann ferner das Roboter-Führungssystem dafür angepasst sein, über das Touchdisplay ein Navigations-Steuerungs-Menü als Bedienungsmenü auszugeben, das eine Steuerung einer Umschaltung zwischen verschiedenen Monitorlayouts des Hauptvisualisierungsmonitors bereitstellt. In particular, the robot guidance system can also be adapted to output a navigation control menu as an operating menu via the touch display, which provides control for switching between different monitor layouts of the main visualization monitor.
Insbesondere können zusätzlich situationsabhängige Inhalte auf Basis von Informationen aus der Steuereinheit/ dem Steuergerät gezeigt werden, um dem Benutzer Zeit zu sparen, durch das Bedienmenü zu navigieren. Insbesondere können folgende situationsabhängige Inhalte (beispielsweise abhängig von einer Roboterkonfiguration oder einem aktuellen Status eines Operationsplans) angezeigt werden, einzeln oder in auswählbarer Kombination miteinander: In particular, additional situation-dependent content can be shown based on information from the control unit/control device in order to save the user time when navigating through the operating menu. In particular, the following situation-dependent content (for example depending on a robot configuration or a current status of an operation plan) can be displayed, individually or in selectable combinations:
- Einstellungen eines Visualisierungssystems können hervorgehoben werden, nachdem das Führungssystem neu positioniert wurde, um eine schnelle Anpassung der Visualisierungsparameter an die neue Position zu ermöglichen; - Settings of a visualization system can be highlighted after the guidance system has been repositioned to allow quick adjustment of visualization parameters to the new position;
- Wenn eine Bewegung eines navigierten Instruments erkannt wird, können die Einstellungen der Instrumentenführung hervorgehoben werden; - When movement of a navigated instrument is detected, the instrument guidance settings can be highlighted;
- Visualisierung eines aktuellen Zustands/ einer aktuellen Funktion von Mehrzweck-Hardwaretasten, die sich in der Umgebung des Displays befinden; - Visualization of a current state/function of multi-purpose hardware buttons located in the vicinity of the display;
- Darstellung einer Sicherheits-Stopp-Taste auf dem Touchdisplay zum Unterbrechen automatisierter Roboterbewegungen; - Display of a safety stop button on the touch display to interrupt automated robot movements;
- Zeigen von Benachrichtigungen an den Benutzer (wie beispielsweise Informationen, Warnungen und Fehler) sowohl mit als auch ohne Aufforderung zur Benutzerrückmeldung; - Show notifications to the user (such as information, warnings and errors) both with and without prompting for user feedback;
- Visualisierung einer Entfernung zum Ziel für eine Instrumentenführung mit Tiefenverfolgung/ Tiefenangabe; - Rendering eines Bildes eines Visualisierungssystems zur (groben) Positionierung des Systems; - Visualization of a distance to the target for instrument guidance with depth tracking/depth indication; - Rendering of an image of a visualization system for (rough) positioning of the system;
- Insbesondere kann ein Anzeigemodus des Touchdisplays auf einen sogenannten "Trackpad"-Modus umgeschaltet werden, in welchem: o ein Maussymbol auf dem Hauptvisualisierungsbildschirm, insbesondere einem OP-Monitor, aktiviert und damit dem Benutzer die Betätigung des Visualisierungsbildschirms als Computerbildschirm mit einem Maus/Laptop- Trackpad (über das Touchdisplay) ermöglicht; oder o es dem Benutzer ermöglicht, durch die Navigationsansichten/Scheiben (Segmentierungen) auf dem Hauptvisualisierungsbildschirm, insbesondere dem OP-Monitor, zu blättern. - In particular, a display mode of the touch display can be switched to a so-called "trackpad" mode, in which: o a mouse symbol on the main visualization screen, in particular a surgical monitor, is activated and thus allows the user to operate the visualization screen as a computer screen with a mouse/laptop - Trackpad (via the touch display) enabled; or o allows the user to scroll through the navigation views/slices (segmentations) on the main visualization screen, in particular the surgical monitor.
Insbesondere kann das an dem Roboterkopf fixierte Touchdisplay eine sterile Ummantelung aufweisen, die vorzugsweise austauschbar gestaltet ist, um gegenüber einer sterilen E ingriffsstel le eine Sterilbarriere vorzusehen. Beispielsweise kann für eine Bedienung in einer sterilen Umgebung das Touchdisplay mit einem medizinischen (Operations-)Tuch mit Transparenz abgedeckt werden, wobei insbesondere Anbindungspunkte/Koppelpunkte für das Operationstuch vorgesehen sind. In particular, the touch display fixed to the robot head can have a sterile casing, which is preferably designed to be interchangeable in order to provide a sterile barrier to a sterile entry point. For example, for operation in a sterile environment, the touch display can be covered with a medical (surgical) cloth with transparency, with connection points/coupling points in particular being provided for the surgical cloth.
Gemäß einer weiteren Ausführungsform kann an oder in dem Roboterkopf ferner eine inertiale Messeinheit (inertial measurement unit; IMU) vorgesehen werden, insbesondere an oder in dem Touchdisplay vorgesehen oder an dem Endeffektor befestigt sein, um eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs zu erfassen, und das Roboter-Führungssystem, insbesondere die Steuereinheit, dafür angepasst sein, basierend auf der erfassten Position und/oder Orientierung eine Ausrichtung einer visuellen Ausgabe des Touchdisplays anzupassen, insbesondere eine Ausgabe (etwa des Bedienungsmenüs) so anzupassen, dass diese stets in gleichbleibender horizontaler Ausrichtung angezeigt wird. Mit anderen Worten kann optional eine Inertiale Messeinheit (IMU) an das Touchdisplay oder den Roboterkopf oder den Endeffektor angeschlossen werden, um die Ausrichtung der visualisierten Inhalte in unterschiedlichen Positionen und/oder Orientierungen, insbesondere Extrempositionen, des Führungssystems ändern zu können. Alternativ oder zusätzlich kann vorzugsweise über eine Roboterkinematik bzw. eine zeitaktuelle Konfiguration des Roboters mit seinen Roboterarmsegmenten und seinem Roboterkopf als Endeffektor oder mit angebundenem Endeffektor eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs erfasst werden. Ferner kann vorzugsweise eine Position und/oder Orientierung des Touchdisplays oder des Roboterkopfs über die Navigationskamera des Navigationssystems und entsprechende datentechnische Verarbeitung erfasst werden. Insbesondere kann die Steuereinheit dafür angepasst sein, auf Basis der erfassten Lage des Touchdisplays eine Anzeige so anzupassen, dass diese gegenüber einer vorbestimmen Position im Raum, nämlich der Position an welcher sich der Kopf eines Operateurs befindet (beispielsweise kann diese Position durch eine Navigationskamera erfasst werden), optimal angezeigt wird. Dies kann insbesondere eine Drehung der Ansicht des Touchdisplays umfassen, so dass die Ansicht vorzugsweise näherungsweise horizontal gegenüber einem Boden eines Operationssaals, und damit gegenüber dem Operateur angezeigt wird, als auch eine Streckung oder Stauchung der Ansicht, um eine möglichst neutrale, natürliche Ansicht in der erfassten Position des Operateurs bereitzustellen (ähnlich Pfeile oder Beschriftungen auf einer Fahrbahn bzw. einer Fahrbahnmarkierung, welche für einen Fahrer angepasst (gestreckt) sind, so dass dieser möglichst gut die Informationen erkennen kann). Insbesondere kann die Steuereinheit oder das Touchdisplay dafür angepasst sein, über das Touchdisplay eine solche Projektion auf eine virtuelle Fläche auszugeben, wobei die Fläche senkrecht auf einer Sichtachse zwischen dem Operateur und dem Touchdisplay liegt, dass der Operateur keine verzerrte Darstellung sieht (wenn das Touchdisplay schräg zu einer Sichtlinie steht), sondern eine solche Darstellung ähnlich als wenn er senkrecht auf das Touchdisplay schauen würde. According to a further embodiment, an inertial measurement unit (IMU) can also be provided on or in the robot head, in particular provided on or in the touch display or attached to the end effector in order to determine a position and / or orientation of the touch display or the robot head to detect, and the robot guidance system, in particular the control unit, be adapted to adapt an orientation of a visual output of the touch display based on the detected position and / or orientation, in particular to adapt an output (e.g. of the operating menu) so that it is always in consistent horizontal orientation. In other words, an inertial measurement unit (IMU) can optionally be connected to the touch display or the robot head or the end effector in order to be able to change the orientation of the visualized content in different positions and/or orientations, in particular extreme positions, of the guidance system. Alternatively or additionally, preferably via robot kinematics or a time-based Configuration of the robot with its robot arm segments and its robot head as an end effector or with a connected end effector, a position and / or orientation of the touch display or the robot head can be recorded. Furthermore, a position and/or orientation of the touch display or the robot head can preferably be recorded via the navigation camera of the navigation system and corresponding data processing. In particular, the control unit can be adapted to adapt a display based on the detected position of the touch display so that it is relative to a predetermined position in space, namely the position at which the head of an operator is located (for example, this position can be detected by a navigation camera ), is displayed optimally. This can in particular include rotating the view of the touch display, so that the view is preferably displayed approximately horizontally relative to a floor of an operating room, and thus relative to the surgeon, as well as stretching or compressing the view in order to achieve the most neutral, natural view possible to provide the operator's recorded position (similar to arrows or labels on a road or a road marking, which are adapted (stretched) for a driver so that the driver can recognize the information as well as possible). In particular, the control unit or the touch display can be adapted to output such a projection onto a virtual surface via the touch display, the surface being perpendicular to a visual axis between the operator and the touch display so that the operator does not see a distorted representation (if the touch display is at an angle to a line of sight), but rather a representation similar to if he were looking vertically at the touch display.
Vorzugsweise kann das Touchdisplay über ein Funkverbindungsmodul verfügen, um (eigenständig) eine kabellose Datenverbindung zu der Steuereinheit aufzubauen, insbesondere über WLAN oder Bluetooth. Gemäß einer alternativen Ausführungsform kann das Touchdisplay auch über ein Datenkabel an die Steuereinheit angebunden sein. Mit anderen Worten kann zur Steuerung verschiedener Funktionalitäten des Führungssystems zur situationsabhängigen Darstellung von Inhalten, das Touchdisplay über ein Touchdisplay-Steuergerät per Kabel oder drahtlos (mit Funkverbindungsmodul) mit der Steuereinheit (als Computersystem) verbunden werden. Insbesondere weist das Touchdisplay selbst eine eigenständige Sub-Steuereinheit als Computersystem auf, um autark eine eigenständige Steuer-Komplemente auszubilden, welche in das Gesamtsystem eingebunden werden kann und mit der (zentralen) Steuereinheit datentechnisch koppelbar ist. The touch display can preferably have a radio connection module in order to (independently) establish a wireless data connection to the control unit, in particular via WLAN or Bluetooth. According to an alternative embodiment, the touch display can also be connected to the control unit via a data cable. In other words, in order to control various functionalities of the guidance system for situation-dependent display of content, the touch display can be connected to the control unit (as a computer system) via a touch display control device by cable or wirelessly (with a radio connection module). In particular, the touch display itself has an independent sub-control unit as a computer system to independently form an independent control complement, which can be integrated into the overall system and can be linked to the (central) control unit in terms of data technology.
Weiter vorzugsweise kann das Touchdisplay eine Display-Diagonale oder einen Display-Durchmesser von mindestens 4 cm und/oder maximal 20 cm aufweisen. Mit anderen Worten kann die Größe des Touchdisplays zwischen 4 cm und 20 cm liegen. Insbesondere kann das Touchdisplay einen quadratischen, rechteckigen oder runden Formfaktor haben. Diese Größe und die Form kann sich beispielsweise an der Anzahl der Funktionen und der Größe des angeschlossenen Roboter-Effektors orientieren. Die Größe und Form hilft einer vorteilhaften Integration des Touchdisplays in den Bereich des Endeffektors. More preferably, the touch display can have a display diagonal or a display diameter of at least 4 cm and/or a maximum of 20 cm. In other words, the size of the touch display can be between 4 cm and 20 cm. In particular, the touch display can have a square, rectangular or round form factor. This size and shape can be based, for example, on the number of functions and the size of the connected robot effector. The size and shape help to advantageously integrate the touch display into the area of the end effector.
Gemäß einer Ausführungsform kann der Roboterkopf zumindest eine (physische) Betätigungstaste (Hardwaretaste), vorzugsweise drei Betätigungstasten, aufweisen und das Touchdisplay direkt benachbart zu der Taste angeordnet und dafür angepasst sein, den aktuellen Funktions-Status (/die aktuelle Funktionsweise) der Taste anzuzeigen. Damit wird eine Mehrzwecktaste oder eine Mehrfunktionentaste geschaffen, welche für unterschiedliche Bedienmenüs unterschiedliche Bedieneingaben erfassen kann. Dies kann auch insbesondere eine Sicherheit zu erhöhen, falls etwa eine Eingabe über das Touchdisplay ausfällt oder eine Eingabe aufgrund von verschmutzten OP-Handschuhen nicht genau erfolgen kann. According to one embodiment, the robot head can have at least one (physical) actuation button (hardware button), preferably three actuation buttons, and the touch display can be arranged directly adjacent to the button and adapted to display the current functional status (/the current functionality) of the button. This creates a multi-purpose key or a multi-function key which can record different operating inputs for different operating menus. This can also increase safety in particular if, for example, an entry via the touch display fails or an entry cannot be made accurately due to dirty surgical gloves.
Insbesondere hat das Touchdisplay ein Farb-Display, um farbliche Bedienmenüs und/oder Informationen anzuzeigen. In particular, the touch display has a color display to display color operating menus and/or information.
In einer weiteren Ausführungsform kann zusätzlich zu dem Touchdisplay am Roboterkopf ein Touchdisplay an dem Roboterarm und/oder an einer Roboterbasis vorgesehen sein. In a further embodiment, in addition to the touch display on the robot head, a touch display can be provided on the robot arm and/or on a robot base.
Insbesondere kann das Roboter-Führungssystem als Roboterführungseinheit ausgebildet sein und alle Komponenten in dieser Einheit bzw. einem einzigen Modul integriert sein. Insbesondere kann das Roboter-Führungssystem mobil ausgebildet sein und autark in einem Operationssaal vorgesehen und verschoben werden, etwa als ein mobiles Operationsmikroskop ausgebildet sein, an dessen Mikroskopkopf (als Roboterkopf und Endeffektor) das Touchdisplay angeordnet ist. In particular, the robot guidance system can be designed as a robot guidance unit and all components can be integrated into this unit or a single module. In particular, the robot guidance system can be designed to be mobile and be provided and moved independently in an operating room, for example in the form of a mobile surgical microscope, on whose microscope head (as a robot head and end effector) the touch display is arranged.
Die Aufgaben werden hinsichtlich eines medizinischen Roboter- Bedienungsverfahren, insbesondere für ein Roboter-Führungssystem gemäß der vorliegenden Offenbarung, durch die Schritte gelöst: Ausgeben zumindest eines visuellen Bedienmenüs über einen Touchdisplay, das an einem Roboterkopf eines Roboters starr befestigt ist; Erfassen einer berührungsempfindlichen Eingabe als Bedieneingabe über das Touchdisplay; Senden der Bedieneingabe an eine Steuereinheit, die dafür angepasst ist, zumindest den Roboter zu steuern; Steuern auf Basis der Bedieneingabe einer Funktion, insbesondere einer Bewegung eines Roboters, durch die Steuereinheit. Durch diesen Schritt können, wie vorstehend beschrieben, eine flexible und zentrale Bedienungsmethode bereitgestellt werden, mittels welcher der Operateur unterschiedliche Funktionen, beispielsweise eine Bewegung eines Roboters oder eine Einstellung eines Visualisierungssystems, vornehmen kann. The tasks are solved with regard to a medical robot operating method, in particular for a robot guidance system according to the present disclosure, by the steps: outputting at least one visual operating menu via a touch display that is rigidly attached to a robot head of a robot; Capturing a touch-sensitive input as an operating input via the touch display; Sending the operating input to a control unit adapted to control at least the robot; Control based on the operating input of a function, in particular a movement of a robot, by the control unit. As described above, this step can provide a flexible and central operating method by means of which the operator can carry out different functions, for example a movement of a robot or a setting of a visualization system.
Vorzugsweise kann das (Bedienungs-)Verfahren ferner die Schritte aufweisen:Preferably, the (operating) method can further comprise the steps:
Erfassen einer (Änderung einer) Position und Orientierung des Roboterkopfs, insbesondere durch eine inertiale Messeinheit (IMU) oder durch eine erfasste Roboterkinematik oder durch eine Navigationskamera eines Navigationssystems; Senden der erfassten Position und Orientierung an die Steuereinheit; Berechnen einer an die Position und Orientierung angepassten Ausrichtung des visuellen Bedienmenüs; und Ausgeben der angepassten visuellen Darstellung des Bedienmenüs. Auf diese Weise kann dem Operateur die bestmögliche bzw. bestangepasste visuelle Ausgabe bereitgestellt werden und er muss insbesondre nicht den Kopf verdrehen, um eine Beschriftung oder eine Information zu lesen oder sich neu positionieren, um bei einer schrägen Draufsicht auf das Touchdisplay die Informationen der Darstellung, etwa einen Text gut zu erkennen. Detecting a (change in) position and orientation of the robot head, in particular by an inertial measuring unit (IMU) or by detected robot kinematics or by a navigation camera of a navigation system; Sending the captured position and orientation to the control unit; Calculating an orientation of the visual operating menu adapted to the position and orientation; and outputting the customized visual representation of the operating menu. In this way, the surgeon can be provided with the best possible or best-adapted visual output and, in particular, he does not have to turn his head to read a label or information or to reposition himself in order to view the information on the display when looking at an oblique top view of the touch display. for example, to recognize a text well.
Hinsichtlich eines computerlesbaren Speichermediums werden die Aufgaben gelöst, indem dieses Befehle umfasst, die bei einer Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Bedienungsverfahrens gemäß der vorliegenden Offenbarung auszuführen. Insbesondere kann die Steuereinheit des Roboter-Führungssystems ein solches computerlesbares Speichermedium umfassen. With regard to a computer-readable storage medium, the tasks are solved by comprising instructions that can be executed by a computer cause this to carry out the procedural steps of the operating method according to the present disclosure. In particular, the control unit of the robot guidance system can include such a computer-readable storage medium.
Jegliche Offenbarung im Zusammenhang mit dem Roboter-Führungssystem gemäß der vorliegenden gilt auch für das Bedienungsverfahren der vorliegenden Offenbarung, wie auch umgekehrt. Any disclosure related to the robot guidance system according to the present disclosure also applies to the operating method of the present disclosure, as well as vice versa.
Kurzbeschreibung der Figuren Short description of the characters
Die vorliegende Erfindung wird nachfolgend anhand bevorzugter Ausführungsformen unter Bezugnahme auf die begleitenden Figuren näher erläutert. Es zeigen: The present invention is explained in more detail below using preferred embodiments with reference to the accompanying figures. Show it:
Fig. 1 eine schematische Frontansicht eines Roboter-Führungssystems gemäß einer bevorzugten Ausführungsform der vorliegenden Offenbarung; 1 is a schematic front view of a robot guidance system according to a preferred embodiment of the present disclosure;
Fig. 2 eine schematische Ansicht eines Funktionszusammenhangs von Touchdisplay, Steuereinheit und IMU eines Roboter-Führungssystems gemäß einer weiteren bevorzugten Ausführungsform; 2 shows a schematic view of a functional relationship between the touch display, control unit and IMU of a robot guidance system according to a further preferred embodiment;
Fign. 3a und 3b eine beispielhafte Ansicht eines Bedienmenüs in tabellenförmiger Anordnung und in kreisförmiger Anordnung; Figs. 3a and 3b show an exemplary view of an operating menu in a table-like arrangement and in a circular arrangement;
Fig. 4 eine schematische Ansicht eines beispielhaften Untermenüs eines Visualisierungs-Steuerungs-Menüs zur Einstellung einer Lichtintensität; 4 shows a schematic view of an exemplary submenu of a visualization control menu for setting a light intensity;
Fig. 5 eine schematische Ansicht eines beispielhaften Untermenüs eines Medien- Steuerungs-Menüs für eine Verwaltung und Wiedergabefunktion eines aufgezeichneten Videos; Fig. 6 eine schematische Ansicht eines Bedienmenüs mit lediglich einem Stop-Button als interaktive Eingabe; 5 is a schematic view of an exemplary submenu of a media control menu for a recorded video management and playback function; 6 shows a schematic view of an operating menu with only a stop button as an interactive input;
Fig. 7 eine schematische Frontansicht eines Roboterkopfs bzw. Endeffektors mit drei Tasten und einem Touchdisplay; 7 shows a schematic front view of a robot head or end effector with three buttons and a touch display;
Fig. 8 eine schematische Frontansicht eines Roboter-Führungssystems gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Offenbarung; 8 is a schematic front view of a robot guidance system according to another preferred embodiment of the present disclosure;
Fign 9 bis 11 verschiedene Ansichten eines Roboter-Führungssystems mit einem Roboterkopf mit einem Touchdisplay, welches an einer dem optischen Ausgang abgewandten Seite, oben am Mikroskopkopf angeordnet ist; und 9 to 11 show different views of a robot guidance system with a robot head with a touch display, which is arranged at the top of the microscope head on a side facing away from the optical output; and
Fig. 12 ein Flussdiagramm eines Bedienverfahrens gemäß einer bevorzugten Ausführungsform. 12 shows a flowchart of an operating method according to a preferred embodiment.
Die Figuren sind lediglich schematischer Natur und sollen nur dem Verständnis der Erfindung dienen. Gleiche Elemente sind mit denselben Bezugszeichen versehen. Die Merkmale der verschiedenen Ausführungsformen können untereinander ausgetauscht werden. The figures are only of a schematic nature and are only intended to aid understanding of the invention. The same elements are given the same reference numbers. The features of the different embodiments can be interchanged.
Detaillierte Beschreibung bevorzugter Ausführungsformen Detailed description of preferred embodiments
Fig. 1 zeigt eine schematische Frontansicht eines medizinisches Roboter- Führungssystem 1 (nachstehend nur Führungssystem genannt) für einen chirurgischen Eingriff bei einem Patienten P. Das Führungssystem 1 weist einen Roboter 2 mit einem beweglichen Roboterarm 4 und einem an dem Roboterarm 4 endständig angebundenen Roboterkopf 6 auf. In dieser Ausführungsform ist das Führungssystem 1 in Form eines robotergeführten Operationsmikroskops gestaltet. An dem Roboterarm 4 mit mehreren Roboterarm-Segmenten ist als Roboterkopf der Mikroskopkopf vorgesehen. Daher kann auch der Roboterkopf bzw. Mikroskopkopf insgesamt als Endeffektor 8 des Operationsmikroskops bezeichnet werden. Um den Roboter 2 und dessen Roboterarm 4 zu steuern und den Mikroskopkopf als Endeffektor 8 in einer Position und Orientierung einzustellen, weist das Führungssystem 1 eine Steuereinheit 10 auf. Die Steuereinheit 10 kann als zentrale Steuereinheit gestaltet sein, etwa als Computersystem, das unterschiedliche Funktionen bearbeiten und steuern kann, oder es kann ein Subsystem einer Roboter- Steuereinheit aufweisen, um den Roboter entsprechend anzusteuern. Fig. 1 shows a schematic front view of a medical robot guidance system 1 (hereinafter referred to as guidance system) for a surgical procedure on a patient P. The guidance system 1 has a robot 2 with a movable robot arm 4 and a robot head 6 connected at the end to the robot arm 4 on. In this embodiment, the guidance system 1 is designed in the form of a robot-guided surgical microscope. The microscope head is provided as the robot head on the robot arm 4 with several robot arm segments. Therefore, the robot head or microscope head as a whole can also be referred to as the end effector 8 of the surgical microscope. In order to control the robot 2 and its robot arm 4 and to set the microscope head as an end effector 8 in a position and orientation, the guidance system 1 has a control unit 10. The control unit 10 can be designed as a central control unit, for example as a computer system that can process and control different functions, or it can have a subsystem of a robot control unit in order to control the robot accordingly.
Ferner weist das Führungssystem 1 ein Touchdisplay 12 als Eingabe und Ausgabeeinheit auf. Dieses ist dafür angepasst unterschiedliche Bedienungsmenüs 14 und Anzeigen für unterschiedliche Funktionen visuell auszugeben, und eine berührungsempfindliche Eingabe als Bedieneingabe zu erfassen und diese an die Steuereinheit 10 zu senden, um sowohl den Roboter 2 zu steuern als auch Einstellungen am Visualisierungssystem vorzunehmen. Furthermore, the guidance system 1 has a touch display 12 as an input and output unit. This is adapted to visually output different operating menus 14 and displays for different functions, and to record a touch-sensitive input as an operating input and to send this to the control unit 10 in order to both control the robot 2 and make settings on the visualization system.
Im Unterschied zum Stand der Technik ist jedoch das Touchdisplay zur Steuerung nicht an einer statischen Basis des Führungssystems 1 befestigt, sondern das Touchdisplay 12 ist direkt an dem Roboterkopf 6 bzw. an dem Endeffektor 8 starr fixiert und bewegt sich mit diesem mit. In contrast to the prior art, however, the touch display for control is not attached to a static base of the guide system 1, but the touch display 12 is rigidly fixed directly to the robot head 6 or to the end effector 8 and moves with it.
Auf diese Weise bewegt sich das Touchdisplays 12 im Bereich des Eingriffs und der Operateur hat eine zentrale Visualisierung von unterschiedlichen Bedienungsmenüs 14 und kann flexible über ein einziges Touchdisplay die unterschiedlichen Funktionen von unterschiedlichen Sub-Systemen Steuern. In dieser Ausführungsform kann der Operateur aus zumindest einem Roboter-Steuerungs-Menü und Visualisierung- Steuerungs-Menü auswählen bzw. zwischen den einzelnen Steuerungs-Menüs als Bedienungsmenüs 14 wechseln. Über das Roboter-Steuerungs-Menü kann der Operateur etwa eine Instrumentenführung bewirken oder den Roboterkopf 6 so verfahren, dass sich der Endeffektor 8 in einer besseren Lage für den Eingriff befindet. Vorliegend kann der Mikroskopkopf als Endeffektor manuell oder automatisch über die Bedieneingabe des Touchdisplays 12 in eine solche Lage verfahren werden, die eine bessere Sicht zulässt. Über einen externen (OP-)Monitor 15 können weitere Aufnahmen ausgegeben werden, wobei eine Medienausgabe durch ein weiteres Medien-Steuerungs-Menü über das Touchdisplay 12 steuerbar ist. Beispielsweise kann eine zeitaktuelle Aufnahme des Mikroskops über den OP-Monitor 15 ausgegeben werden, wobei über ein Medien- Steuermenü eine Helligkeit oder ein Farb-Kontrast einstellbar ist. In this way, the touch display 12 moves in the area of the procedure and the surgeon has a central visualization of different operating menus 14 and can flexibly control the different functions of different sub-systems via a single touch display. In this embodiment, the operator can select from at least one robot control menu and visualization control menu or switch between the individual control menus as operating menus 14. Using the robot control menu, the surgeon can, for example, guide the instrument or move the robot head 6 so that the end effector 8 is in a better position for the procedure. In the present case, the microscope head as an end effector can be moved manually or automatically via the operating input of the touch display 12 into a position that allows a better view. Additional recordings can be output via an external (surgical) monitor 15, with media output being controllable via a further media control menu via the touch display 12. For example, a current image of the microscope can be output via the surgical monitor 15, with brightness or color contrast being adjustable via a media control menu.
Dem Operateur werden bei dem Roboter-Führungssystem 1 gemäß der ersten Ausführungsform also zumindest die drei Steuerungs-Menüs: Roboter-Steuerungs- Menü, Visualisierungs-Steuerungs-Menü und Medien-Steuerungs-Menü bereitgestellt, welche er zentral bedienen kann, um verschiedene Funktionen flexibel und sicher zu steuern. In the robot guidance system 1 according to the first embodiment, the operator is provided with at least three control menus: robot control menu, visualization control menu and media control menu, which he can operate centrally in order to flexibly perform various functions and safe to control.
Fig. 2 zeigt eine schematische Funktionsansicht einer Wechselwirkung zwischen einzelnen Modulen eines Führungssystems 1 gemäß einer weiteren, zweiten bevorzugten Ausführungsform. Hierbei ist eine inertiale Messeinheit (IMU) 16 direkt an dem Touchdisplay 12 angeordnet, um eine Bewegung (bzw. eine Änderung einer Bewegung über eine Beschleunigung) zu erfassen und auf Basis einer initialen Lage eine neue Position und Orientierung des Touchdisplays 12 nach einer Bewegung des Roboters zu bestimmen. Die Daten des IMU werden direkt an eine zentrale Steuereinheit 12 gesendet. Zudem empfängt die zentrale Steuereinheit 10 Daten einer Endeffektor-Steuereinheit 18 (als Substeuereinheit). Ferner steht die zentrale Steuereinheit 12 mit einer Touchdisplay-Steuereinheit (als Substeuereinheit) in wechselseitiger Datenverbindung. Diese zentrale Steuereinheit 12 berechnet dann auf Basis dieser Daten eine visuelle Ausgabe, welches auf dem Touchdisplay 12 dann ausgegeben wird. Fig. 2 shows a schematic functional view of an interaction between individual modules of a guidance system 1 according to a further, second preferred embodiment. Here, an inertial measuring unit (IMU) 16 is arranged directly on the touch display 12 in order to detect a movement (or a change in a movement via an acceleration) and, based on an initial position, a new position and orientation of the touch display 12 after a movement of the to determine the robot. The IMU data is sent directly to a central control unit 12. In addition, the central control unit 10 receives data from an end effector control unit 18 (as a sub-control unit). Furthermore, the central control unit 12 has a mutual data connection with a touch display control unit (as a sub-control unit). This central control unit 12 then calculates a visual output based on this data, which is then output on the touch display 12.
Insbesondere kann auf diese Weise eine für den Operateur günstigste Ansicht berechnet und entsprechend ausgegeben werden. Da nun im Gegensatz zum Stand der Technik das Touchdisplay nicht mehr statisch angeordnet ist, sondern sich dynamisch mit dem Endeffektor 8 mitbewegt, ändert sich relativ zu dem Operateur auf eine Ausrichtung der Anzeige. Wenn beispielsweise in Fig. 1 der Roboterarm 4 um 90° nach oben geschwenkt wird, so würde ohne Korrektur die visuelle Ansicht des Touchdisplays 12 auch um 90° gegen den Uhrzeiger relativ zum Operateur gedreht werden. In particular, in this way a view that is most favorable for the surgeon can be calculated and output accordingly. Since, in contrast to the prior art, the touch display is no longer arranged statically, but moves dynamically with the end effector 8, the orientation of the display changes relative to the operator. For example, if in Fig. 1 the robot arm 4 is pivoted upwards by 90°, the visual view of the Touch displays 12 can also be rotated 90 ° counterclockwise relative to the surgeon.
Um jedoch den Operateur weiterhin die visuelle Anzeige gut ablesen zu lassen, berechnet die Steuereinheit 12 eine solche Ausrichtung, bei obigem Beispiel eine Drehung der Anzeige gegenüber dem Touchdisplay um 90° im Uhrzeigersinn, sodass sich die Drehung und Gegendrehung aufheben und eine intuitive Ablese durch den Operateur zulassen. Mit anderen Worten berechnet die Steuereinheit bei einer Bewegung des Roboters 2 eine solche Ausrichtung der Anzeige, die dem Operateur möglichst gleichbleibend erscheint und gewissermaßen eine gleichbleibende Relation von Anzeige des Touchdisplays relativ gegenüber dem Operateur ermöglicht. However, in order to continue to allow the surgeon to read the visual display well, the control unit 12 calculates such an orientation, in the above example a rotation of the display relative to the touch display by 90° clockwise, so that the rotation and counter-rotation cancel each other out and an intuitive reading is possible Allow surgeon. In other words, when the robot 2 moves, the control unit calculates such an orientation of the display that appears as consistent as possible to the operator and, to a certain extent, enables a consistent relationship between the display of the touch display relative to the operator.
In einer Ausführungsform kann beispielsweise bei einer Änderung von einer Frontansicht auf das Touchdisplay 12 (also senkrechten Ansicht) hin zu einer schrägen Ansicht die visuelle Ausgabe auch entsprechend verzerrt dargestellt werden (ähnlich einer Straßenmarkierung in Form einer Beschriftung, die ebenfalls längsgestreckt dargestellt wird, um dem Fahrer eine möglichst gute Ansicht zu bieten). In one embodiment, for example, when changing from a front view of the touch display 12 (i.e. vertical view) to an oblique view, the visual output can also be displayed correspondingly distorted (similar to a road marking in the form of a label, which is also displayed elongated in order to achieve this to provide the driver with the best possible view).
Fig. 3a und Fig. 3b sind beispielhafte Ansichten eines durch das Touchdisplay dargestellten Bedienmenüs, wobei in Fig. 3a eine tabellenförmige Anordnung mit rechteckförmigen, symbolbeschrifteten (Touch-)ButtonsZKnöpfen gezeigt ist und in Fig. 3b eine kreisförmige Anordnung symbolbeschrifteter (Touch-)ButtonsZKnöpfen. Über diese kann der Nutzer beispielsweise ein Sub-Menü auswählen, welches in Fig. 4 und 5 abgebildet und nachstehend erläutert ist. 3a and 3b are exemplary views of an operating menu shown by the touch display, with a table-shaped arrangement with rectangular, symbol-labeled (touch) buttons Z buttons being shown in FIG. 3 a and a circular arrangement of symbol-labeled (touch) buttons Z buttons shown in FIG. 3 b . Using this, the user can, for example, select a sub-menu, which is shown in FIGS. 4 and 5 and explained below.
Fig. 4 zeigt ein Sub-Menü einer Beleuchtungs-Steuerungs-Menü bei Auswahl der symbolbeschrifteten Glühbirne im Hauptmenü. In dieser Ausführungsform kann der Nutzer eine Helligkeit eines Weißlichts einstellen, als auch eine Intensität einer UV- Strahlung und einer IR-Strahlung. Fig. 4 shows a sub-menu of a lighting control menu when the symbol-labeled light bulb is selected in the main menu. In this embodiment, the user can adjust a brightness of white light as well as an intensity of UV radiation and IR radiation.
Wenn in dem Hauptmenü aus Fig. 3a oder 3b das Videosymbol durch den Nutzer ausgewählt wurde, so springt das Menü in das in Fig. 5 gezeigte Sub-Menü der Videofunktion, in welcher eine Verwaltung von Videodaten als auch Wiedergabefunktionen ausgewählt werden können. Hierbei kann auf einem externen OP-Monitor (hier nicht dargestellt) das Video entsprechend abgespielt werden. If the video symbol was selected by the user in the main menu from FIG. 3a or 3b, the menu jumps to the sub-menu of the video function shown in FIG. 5, in which video data is also managed Playback functions can be selected. The video can be played on an external surgical monitor (not shown here).
Fig. 6 zeigt in einer schematischen Ansicht einen (digitalen) Stopp-Knopf auf dem Touchdisplay 12, um während einer Bewegung des Roboters 2 bzw. des Roboterarms 4 diese Bewegung zu stoppen (Art Notfallknopf). 6 shows a schematic view of a (digital) stop button on the touch display 12 in order to stop this movement during a movement of the robot 2 or the robot arm 4 (kind of emergency button).
Fig. 7 zeigt eine Frontansicht auf einen Endeffektor eines Roboter- Führungssystems 1 einer weiteren bevorzugten Ausführungsform. In dieser sind an dem Endeffektor 8 auf einer Geraden drei zueinander gleich beabstandete physische Drucktasten/ Taster/ Betätigungstasten 22 vorgesehen. Parallel zu der geradlinigen Anordnung der drei Betätigungstasten 22 und oberhalb derer ist ein Touchdisplay 12 an dem Endeffektor befestigt, welches jeweils oberhalb der entsprechenden Betätigungstaste 22 der Funktions-Status darstellt. Auf diese Weise können den drei betätigungstasten 22 mehrere Funktionen zugeordnet und durch das Touchdisplay entsprechend visualisiert werden. Fig. 7 shows a front view of an end effector of a robot guidance system 1 of a further preferred embodiment. In this, three physical pushbuttons/buttons/actuation buttons 22, equally spaced apart from one another, are provided on the end effector 8 on a straight line. Parallel to the rectilinear arrangement of the three actuation buttons 22 and above them, a touch display 12 is attached to the end effector, which represents the function status above the corresponding actuation button 22. In this way, several functions can be assigned to the three actuation buttons 22 and visualized accordingly by the touch display.
Beispielsweise kann die Steuereinheit 12 zu verschiedenen Schritten im Operationsplan den Betätigungstasten unterschiedliche Funktionen zuweisen und über das Touchdisplay ausgeben lassen. For example, the control unit 12 can assign different functions to the operating buttons for different steps in the operation plan and have them output via the touch display.
Fig. 8 zeigt in einer schematischen Frontansicht eine weitere Ausführungsform eines Führungssystems 1 . Der Roboter 2 weist eine ortsfeste Roboterbasis 24 auf, an den der Roboterarm 4 beweglich angebunden ist. Endständig an dem Roboterarm 4 ist wiederum der Roboterkopf 6 in Form eines (digitalen) Mikroskopkopfs als Endeffektor s angebunden, so dass der Roboterarm 4 sowohl die Position als auch die Orientierung (also die räumliche Lage) des Mikroskopkopfs einstellen kann, um eine geeignete Aufnahmelage einzunehmen und eine digitale Mikroskopaufnahme zu erstellen. Als (vertikale) gestrichelte Linie ist dabei die optische Achse des Mikroskopkopfs dargestellt, welche durch das optische System (nicht dargestellt) und in Verlängerung einen CMOS-Sensor für eine digitale Aufnahme geht. Durch die Einstellung von sowohl der Position (drei Freiheitsgrade) als auch der Orientierung (drei Freiheitsgrade) lassen sich somit (innerhalb der Roboterkinematik) sechs Freiheitsgrade/6DOF (degree of freedom) einstellen. 8 shows a further embodiment of a guide system 1 in a schematic front view. The robot 2 has a stationary robot base 24 to which the robot arm 4 is movably connected. The robot head 6 is in turn connected to the end of the robot arm 4 in the form of a (digital) microscope head as an end effector s, so that the robot arm 4 can adjust both the position and the orientation (i.e. the spatial position) of the microscope head in order to assume a suitable recording position and create a digital microscope image. The optical axis of the microscope head is shown as a (vertical) dashed line, which passes through the optical system (not shown) and, as an extension, a CMOS sensor for a digital recording. By adjusting both the position (three degrees of freedom) and the orientation (three degrees of freedom). This means that six degrees of freedom/6DOF (degree of freedom) can be set (within the robot kinematics).
Der Roboterarm 4 weist in dieser Ausführungsform mehrere Roboterarm- Segmente 26 auf, welche jeweils über ein Gelenk 28 miteinander verbunden sind. Der Roboterkopf 6 mit dem optischen System ist über ein weiteres Gelenk 28 ebenfalls mit dem Roboterarm 4 angebunden und der Roboterarm 4 über ein Gelenk 28 an die Roboterbasis 24. Insbesondere kann das Gelenk des ersten und zweiten Roboterarmsegments 26 einen Rotationsfreiheitsgrad für eine Rotation um eine Drehachse aufweisen, wobei diese Drehachse in einer in Fig. 8 dargestellten Kinematikstellung des Roboterarms 4 insbesondere in einer horizontalen Richtung (also senkrecht zu einer oben-unten-Richtung) angeordnet sein kann, um eine Art Ausleger bereitzustellen. In this embodiment, the robot arm 4 has several robot arm segments 26, each of which is connected to one another via a joint 28. The robot head 6 with the optical system is also connected to the robot arm 4 via a further joint 28 and the robot arm 4 is connected to the robot base 24 via a joint 28. In particular, the joint of the first and second robot arm segments 26 can have a rotational degree of freedom for rotation about a rotation axis have, wherein this axis of rotation can be arranged in a kinematic position of the robot arm 4 shown in FIG. 8, in particular in a horizontal direction (i.e. perpendicular to a top-bottom direction), in order to provide a type of boom.
Der Roboterkopf 6 ist starr ausgebildet (bzw. weist ein starres Roboterkopfgehäuse auf, in welchem das optische System, der nachgeschaltete CMOS-Sensor und etwa weitere Elektronik untergebracht ist). Der Roboter 2 kann also (bzw. die Steuereinheit des Roboters) über eine mehrgliedrig aktuierte Kinematik die Position und Orientierung des Roboterkopfs 6 steuern und die optische Achse entsprechend einstellen. The robot head 6 is rigid (or has a rigid robot head housing in which the optical system, the downstream CMOS sensor and other electronics are housed). The robot 2 (or the control unit of the robot) can therefore control the position and orientation of the robot head 6 via multi-unit actuated kinematics and adjust the optical axis accordingly.
Das Touchdisplay 12 ist in dieser Ausführungsform an einer lateralen Seite des Roboterkopfs 6 (also nicht einer Rückseite in Verlängerung einer Längsachse des Roboterkopfs) angeordnet. Insbesondere kann das Touchdisplay derart an dem Roboterkopf angeordnet sein, dass eine Normale auf die Displayfläche im Wesentlichen senkrecht zu einer Längsachse des Roboterkopfs, etwa einer Sichtachse eines Operationsmikroskops, steht. In this embodiment, the touch display 12 is arranged on a lateral side of the robot head 6 (i.e. not on a rear side in an extension of a longitudinal axis of the robot head). In particular, the touch display can be arranged on the robot head in such a way that a normal to the display surface is essentially perpendicular to a longitudinal axis of the robot head, such as a visual axis of a surgical microscope.
Das Touchdisplay 12 ist dabei so angeordnet, dass es in Fig. 8 gesehen oben an dem Roboterkopf 6 ist. Während in Fig. 8 gesehen eine untere Seite die optische Öffnung für das optische System des digitalen Mikroskops bildet, ist das Touchdisplay in einem oberen Bereich angeordnet. Man kann auch sagen, dass der optische Ausgang in einem ersten, unteren Bereich des Roboterkopfs 6 vorgesehen ist, während das Touchdisplay an einem zweiten oberen Bereich des Roboterkopfs vorgesehen ist, wobei der erste und zweite Bereich endständige, einander abgewandte Bereiche ausbilden. Das Touchdisplay 12 ist also so angeordnet, dass bei einer üblichen Operation, in welcher das Operationsmikroskop bzw. der Mikroskopkopf von oben auf den Patienten herabschauend eine Aufnahme erstellt und das seitlich angeordnete Touchdisplay für ein medizinisches Fachpersonal besonders gut sichtbar und bedienbar ist. Die Betätigungstasten 22 sind in Fig. 8 gesehen unterhalb des Touchdisplays 12 angeordnet, so dass das Touchdisplay gewissermaßen das oberste Element bildet. Entlang einer Längsachse der Roboterkopfs 6 gesehen ist also nacheinander in dieser Reihenfolge in axialer Position vorgesehen: Touchdisplay 12-Bedienknopf-optischer Ausgang. Der Roboterarm 4 ist über das Gelenk 28 seitlich an den Roboterkopf 6 angebunden und die drei gestrichelten Drehangaben sollen darstellen, dass der Roboterkopf eine Orientierung um drei Achsen einstellen kann, bzw. drei Freiheitsgrade einer Rotation hat. The touch display 12 is arranged so that it is at the top of the robot head 6 as seen in FIG. 8. While in Fig. 8 a lower side forms the optical opening for the optical system of the digital microscope, the touch display is arranged in an upper area. One can also say that the optical output is provided in a first, lower region of the robot head 6, while the touch display is provided on a second upper region of the robot head, the first and second regions forming terminal regions facing away from one another. The touch display 12 is therefore arranged in such a way that during a usual operation, in which the surgical microscope or the microscope head looks down on the patient from above, a recording is created and the laterally arranged touch display is particularly easy to see and operate for a medical specialist. The actuation buttons 22 are arranged below the touch display 12 as seen in FIG. 8, so that the touch display forms, so to speak, the top element. Seen along a longitudinal axis of the robot head 6, the following is provided one after the other in this order in the axial position: touch display 12 control button optical output. The robot arm 4 is connected laterally to the robot head 6 via the joint 28 and the three dashed rotation indications are intended to show that the robot head can adjust an orientation around three axes or has three degrees of freedom of rotation.
Die Fign. 9 bis 12 zeigen einmal in einer Seitenansicht, in einer perspektivischen Draufsicht und in einer perspektivischen isometrischen Ansicht ein medizinisches Roboter-Führungssystem 1 gemäß einer weiteren bevorzugten Ausführungsform. Der Roboter 2 ist in Form eines robotergeführten Operationsmikroskops gestaltet, dessen Roboterkopf 6 als Mikroskopkopf den Endeffektor 8 bildet und über den Roboterarm 4 eine Position und Orientierung des Mikroskopkopfs einstellbar ist. An einer in Fig. 9 gesehen unteren Seite ist der optische Ausgang vorgesehen wobei die optische Achse gestrichelt dargestellt ist. Auf der dem optischen Ausgang gegenüberliegenden Seite ist das Touchdisplay 12 angeordnet. In dieser Ausführungsform ist das Touchdisplay 12 kreisrund gestaltet, wobei ein Mittelpunkt des kreisrunden Touchdisplays 12 im Wesentlichen in Verlängerung der optischen Achse liegt, also gewissermaßen konzentrisch hierzu. Man kann auch sagen, dass die Normale auf das Display parallel zu der optischen Achse liegt, insbesondere auf der optischen Achse (optisches System und Touchdisplay sind gewissermaßen symmetrisch zueinander). The figures 9 to 12 show a medical robot guidance system 1 according to a further preferred embodiment in a side view, in a perspective top view and in a perspective isometric view. The robot 2 is designed in the form of a robot-guided surgical microscope, the robot head 6 of which forms the end effector 8 as the microscope head and a position and orientation of the microscope head can be adjusted via the robot arm 4. The optical output is provided on a lower side as seen in FIG. 9, the optical axis being shown in dashed lines. The touch display 12 is arranged on the side opposite the optical output. In this embodiment, the touch display 12 is designed to be circular, with a center point of the circular touch display 12 lying essentially in the extension of the optical axis, so to speak concentric with it. You can also say that the normal to the display is parallel to the optical axis, especially on the optical axis (the optical system and the touch display are, so to speak, symmetrical to each other).
Das Touchdisplay 12 bildet eine stirnseitige, obere, plane Fläche aus und ist gegenüber dem Rest des Mikroskopkopfs (und sogar auch des Roboterarms 4) abgesetzt (bildet also einen Vorsprung aus), um eine gute Bedienung zu ermöglichen. In Richtung der Längsachse des Roboterkopfs gesehen bzw. der optischen Achse ist von oben nach unten als nacheinander zuerst das Touchdisplay 12 vorgesehen, dann ein Eingabemittel 30 in Form einer 3D-Maus bzw. einer 3D-Spacemouse und dann der optische Ausgang (mit etwa der letzten Linse des optischen Systems). Auch ist das Eingabemittel 30 in Verlängerung zu einer Längsachse eines zylinderförmigen Arms mit einem Drehgelenk 28 zu einem Roboterarm-Segment 26 auf einer gegenüberliegenden Seite der Anbindung an den Roboterarm 4 angeordnet. Eine Nullachse der 3D-Maus liegt konzentrisch zu einer Achse des Roboterarm-Segments 26. The touch display 12 forms a front, upper, flat surface and is offset from the rest of the microscope head (and even the robot arm 4) (i.e. forms a projection) in order to enable good operation. Seen in the direction of the longitudinal axis of the robot head or the optical axis, from top to bottom, first the touch display 12 is provided, then an input means 30 in the form of a 3D mouse or a 3D space mouse and then the optical output (with approximately the last lens of the optical system). The input means 30 is also arranged in extension to a longitudinal axis of a cylindrical arm with a swivel joint 28 to a robot arm segment 26 on an opposite side of the connection to the robot arm 4. A zero axis of the 3D mouse is concentric to an axis of the robot arm segment 26.
Mittels weiterer Betätigungstasten 22 kann je nach Funktions-Status insbesondere auch eine Bewegung und/oder ein Zoom und/oder weitere Funktion gesteuert werden. Depending on the function status, in particular a movement and/or a zoom and/or other functions can be controlled using further actuating buttons 22.
Der Roboterkopf 6 ist an den Roboterarm 4 (bzw. an das Roboterarm-Segment 26) mittels eines Drehgelenks als Gelenk 28 angebunden. Eine Orthogonale auf das Touchdisplay 12 steht auch senkrecht auf eine Drehachse, wobei hier die Orthogonale auf das Touchdisplay 12 parallel zur optischen Achse ist. The robot head 6 is connected to the robot arm 4 (or to the robot arm segment 26) by means of a swivel joint as a joint 28. An orthogonal on the touch display 12 is also perpendicular to an axis of rotation, whereby here the orthogonal on the touch display 12 is parallel to the optical axis.
Fig. 12 zeigt in einem Flussdiagramm ein Bedienungsverfahren gemäß einer bevorzugten Ausführungsform. 12 shows a flowchart of an operating method according to a preferred embodiment.
In einem ersten Schritt S1 wird ein Bedienmenü14 durch das Touchdisplay 12 ausgegeben. In a first step S1, an operating menu 14 is output by the touch display 12.
Konkret wird in dieser Ausführungsform des Bedienverfahrens die Ausgabe des Bedienmenüs durch die nachstehenden Subschritte gelöst. In einem ersten Subschritt S1.1 eine Position und eine Orientierung (also die Lage) des Touchdisplays 12 (vorzugsweise auch mittelbar über den Roboterkopf 6), insbesondere durch eine inertiale Messeinheit (IMU) 16 erfasst. Alternativ kann die Lage auch über eine erfasste (mechanische) Roboterkinematik oder durch eine Trackingkamera/ Navigationskamera eines Navigationssystems erfasst werden. Specifically, in this embodiment of the operating method, the output of the operating menu is solved by the following substeps. In a first substep S1.1, a position and an orientation (i.e. the position) of the touch display 12 (preferably also indirectly via the robot head 6), in particular by an inertial measuring unit (IMU) 16, are recorded. Alternatively, the position can also be recorded via recorded (mechanical) robot kinematics or by a tracking camera/navigation camera of a navigation system.
Hiernach wird die Lage des Touchdisplays 12 im Subschritt S1 .2 an die Steuereinheit 12 weitergegeben. Diese berechnet dann in Subschritt S1 .3 eine angepasste Ausrichtung für die Ausgabe und gibt diese angepasste Darstellung dann in Subschritt S1.4 durch das Touchdisplay 12 aus. The position of the touch display 12 is then passed on to the control unit 12 in substep S1.2. This then calculates an adapted orientation for the output in substep S1.3 and then outputs this adapted representation through the touch display 12 in substep S1.4.
In einem darauffolgenden zweiten Schritt S2 erfolgt dann ein Erfassen einer Eingabe des Touchdisplays 12. In a subsequent second step S2, an input on the touch display 12 is then recorded.
In einem dritten Schritt S3 erfolgt dann die Sendung der erfassten Bedieneingabe an die Steuereinheit 12. In a third step S3, the recorded operating input is then sent to the control unit 12.
Schließlich wird dann in Schritt S4 eine entsprechende Funktion, wie sie auf dem Touchdisplay 12 angezeigt und angewählt wurde, gesteuert. Finally, in step S4, a corresponding function, as displayed and selected on the touch display 12, is controlled.
Insbesondere kann dies eine Steuerung des Roboters 2 sein. In particular, this can be a control of the robot 2.
Bezuqszeichenliste Reference character list
1 Medizinisches Roboter-Führungssystem 1 Medical Robot Guidance System
2 Roboter 2 robots
4 Roboterarm 4 robot arm
6 Roboterkopf 6 robot head
8 Endeffektor 8 end effector
10 Steuereinheit 10 control unit
12 Touchdisplay 12 touch display
14 Bedienungsmenü 14 Operating menu
15 Externer Monitor 15 External monitor
16 Intertiale Messeinheit (IMU) 16 Intertial Measurement Unit (IMU)
18 Endeffektor-Steuereinheit 18 End Effector Control Unit
20 Stop-Taste 20 stop button
22 Betätigungstaste 22 operation button
24 Roboterbasis 24 robot base
26 Roboterarm-Segment / Robterarm-Glied 26 robot arm segment / robot arm link
28 Gelenk 28 joint
30 Eingabemittel 30 input means
P Patient P patient
51 Schritt Ausgeben eines Bedienmenüs durch das Touchdisplay51 Step Outputting an operating menu via the touch display
51 .1 Schritt Erfassen Position und Orientierung durch IMU 51 .1 Step Detecting position and orientation through IMU
51 .2 Schritt Senden an Steuereinheit 51 .2 Step Send to Control Unit
51 .3 Schritt Berechnen angepasste Ausrichtung 51 .3 Step Calculate adjusted alignment
51 .4 Schritt Ausgeben der angepassten Darstellung 51 .4 Step Output the adjusted representation
52 Schritt Erfassen einer Eingabe des Touchdisplays 52 Step Capturing an input from the touch display
53 Schritt Senden Bedieneingabe an Steuereinheit 53 Step Send operating input to control unit
54 Schritt Steuern einer Funktion 54 step controlling a function

Claims

Ansprüche Expectations
1 . Medizinisches Roboter-Führungssystem (1 ) für einen chirurgischen Eingriff bei einem Patienten (P) mit: einem Roboter (2) mit einem beweglichen Roboterarm (4) und einem an dem Roboterarm (4) endständig angebundenen Roboterkopf (6), insbesondere mit einem Endeffektor (8) am Roboterkopf (6) oder als Roboterkopf (6); einer Steuereinheit (10), die dafür angepasst ist, zumindest den Roboter (2) zu steuern und zu bewegen; zumindest einem Touchdisplay (12), das dafür angepasst ist, zumindest ein Bedienungsmenü (14) visuell auszugeben und eine berührungsempfindliche Eingabe als Bedieneingabe zu erfassen und diese an die Steuereinheit (10) zu senden, um insbesondere den Roboter (2) zu steuern; dadurch gekennzeichnet, dass das zumindest eine Touchdisplay (12) an dem Roboterkopf (6) starr fixiert ist und sich mit diesem mitbewegt. 1 . Medical robot guidance system (1) for a surgical procedure on a patient (P), comprising: a robot (2) with a movable robot arm (4) and a robot head (6) connected at the end to the robot arm (4), in particular with an end effector (8) on the robot head (6) or as a robot head (6); a control unit (10) adapted to control and move at least the robot (2); at least one touch display (12), which is adapted to visually output at least one operating menu (14) and to detect a touch-sensitive input as an operating input and to send this to the control unit (10), in particular to control the robot (2); characterized in that the at least one touch display (12) is rigidly fixed to the robot head (6) and moves with it.
2. Medizinisches Roboter-Führungssystem (1 ) nach Anspruch 1 , dadurch gekennzeichnet, dass das Roboter-Führungssystem (1 ) in Form eines Operationsmikroskops mit einem an dem Roboterarm (4) angebundenen Mikroskopkopf als Roboterkopf (6) oder in Form eines Navigationssystems mit einem an dem Roboterarm (4) angebundenen Kamerasystem, insbesondere mit einem Lasersystem, ausgeführt ist. 2. Medical robot guidance system (1) according to claim 1, characterized in that the robot guidance system (1) is in the form of a surgical microscope with a microscope head connected to the robot arm (4) as a robot head (6) or in the form of a navigation system with a camera system connected to the robot arm (4), in particular with a laser system.
3. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Roboter-Führungssystem (1 ) dafür angepasst ist, über das Touchdisplay (12) ein Roboter-Steuerungs-Menü als Bedienungsmenü (14) auszugeben, um über eine Bedieneingabe den Roboter (2) zu steuern, insbesondere um eine Roboterbewegung in sechs Freiheitsgraden zu steuern. 3. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the robot guidance system (1) is adapted to output a robot control menu as an operating menu (14) via the touch display (12). to control the robot (2) via an operating input, in particular to control a robot movement in six degrees of freedom.
4. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Roboter-Führungssystem (1 ) dafür angepasst ist, über das Touchdisplay (12) ein Visualisierungs-Steuerungs-Menü als Bedienungsmenü (14) auszugeben, um Einstellungen eines Visualisierungssystems, vorzugsweise eines Operationsmikroskops, zu steuern, insbesondere einen Zoom, einen Fokus und/oder eine Beleuchtungsintensität. 4. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the robot guidance system (1) for this is adapted to output a visualization control menu as an operating menu (14) via the touch display (12) in order to control settings of a visualization system, preferably a surgical microscope, in particular a zoom, a focus and/or an illumination intensity.
5. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Roboter-Führungssystem (1 ) dafür angepasst ist, im Touchdisplay (12) zwischen zumindest zwei verschiedenen Steuerungs-Menüs zu wechseln, vorzugsweise zwischen dem Roboter-Steuerungs- Menü und dem Visualisierungs-Steuerungs-Menü, um zumindest zwei verschiedene Funktionen des Roboter-Führungssystems zu steuern, insbesondere eine Bewegung des Roboters (2) als eine erste Funktion und eine Visualisierung als eine zweite Funktion. 5. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the robot guidance system (1) is adapted to switch between at least two different control menus in the touch display (12), preferably between the robot Control menu and the visualization control menu to control at least two different functions of the robot guidance system, in particular a movement of the robot (2) as a first function and a visualization as a second function.
6. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das an dem Roboterkopf (6) fixierte Touchdisplay (12) eine sterile Ummantelung aufweist, die vorzugsweise austauschbar gestaltet ist, um gegenüber einer sterilen Eingriffsstelle eine Sterilbarriere vorzusehen. 6. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the touch display (12) fixed to the robot head (6) has a sterile casing, which is preferably designed to be interchangeable in order to provide a sterile barrier to a sterile surgical site .
7. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass an oder in dem Roboterkopf (6) ferner eine inertiale Messeinheit vorgesehen ist, insbesondere an oder in dem Touchdisplay (12) vorgesehen oder an dem Endeffektor (8) befestigt ist, um eine Position und/oder Orientierung des Touchdisplays (12) zu erfassen, und das Roboter-Führungssystem (1), insbesondere die Steuereinheit (10), dafür angepasst ist, basierend auf der erfassten Position und/oder Orientierung eine Ausrichtung einer visuellen Ausgabe des Touchdisplays (12) anzupassen, insbesondere eine Ausgabe so anzupassen, dass diese stets in gleichbleibender horizontaler Ausrichtung angezeigt wird. 7. Medical robot guidance system (1) according to one of the preceding claims, characterized in that an inertial measuring unit is further provided on or in the robot head (6), in particular provided on or in the touch display (12) or on the end effector (8 ) is attached to detect a position and/or orientation of the touch display (12), and the robot guidance system (1), in particular the control unit (10), is adapted to an orientation based on the detected position and/or orientation to adapt a visual output of the touch display (12), in particular to adapt an output so that it is always displayed in a constant horizontal orientation.
8. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Touchdisplay (12) über ein Funkverbindungsmodul verfügt, um eine kabellose Datenverbindung zu der Steuereinheit aufzubauen, insbesondere über WLAN oder Bluetooth. 8. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the touch display (12) has a radio connection module in order to establish a wireless data connection to the control unit, in particular via WLAN or Bluetooth.
9. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Touchdisplay (12) eine Display- Diagonale oder einen Display-Durchmesser von mindestens 4 cm und/oder maximal 20 cm aufweist. 9. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the touch display (12) has a display diagonal or a display diameter of at least 4 cm and / or a maximum of 20 cm.
10. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Roboterkopf (6) zumindest eine Betätigungstaste (22), vorzugsweise drei Betätigungstasten (22), aufweist und das Touchdisplay (12) direkt benachbart zu der Betätigungstaste (22) angeordnet und dafür angepasst ist, den aktuellen Funktions-Status der Betätigungstaste (22) anzuzeigen. 10. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the robot head (6) has at least one actuation button (22), preferably three actuation buttons (22), and the touch display (12) is directly adjacent to the actuation button (22) is arranged and adapted to display the current functional status of the actuation button (22).
11 . Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Roboter-Führungssystem (1 ) in Form eines Operationsmikroskops mit einem an dem Roboterarm (4) angebundenen Mikroskopkopf als Roboterkopf (6) ausgebildet ist, wobei ein optischer Ausgang eine Seite des Mikroskopkopfs bildet und gegenüberliegend zu dieser Seite das Touchdisplay (12) stirnseitig angeordnet ist, insbesondere eine Orthogonale auf das Touchdisplay (12) parallel zu einer optischen Achse ist. 11. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the robot guidance system (1) is designed in the form of a surgical microscope with a microscope head connected to the robot arm (4) as a robot head (6), with an optical output forms one side of the microscope head and the touch display (12) is arranged on the front side opposite this side, in particular an orthogonal on the touch display (12) is parallel to an optical axis.
12. Medizinisches Roboter-Führungssystem (1 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Touchdisplay (12) eine runde Form, insbesondere eine kreisrunde Form, hat und vorzugsweise bei Ausbildung des Roboters (2) als robotergeführtes Operationsmikroskop ein Mittelpunkt des kreisrunden Touchdisplays (12) in Verlängerung einer optischen Achse liegt. 12. Medical robot guidance system (1) according to one of the preceding claims, characterized in that the touch display (12) has a round shape, in particular a circular shape, and preferably when the robot (2) is designed as a robot-guided surgical microscope, a center of the circular Touch displays (12) lie in the extension of an optical axis.
13. Medizinisches Roboter-Bedienungsverfahren, insbesondere für ein medizinisches Roboter-Führungssystem (1) nach einem der vorstehenden Ansprüche, gekennzeichnet durch die Schritte: 13. Medical robot operating method, in particular for a medical robot guidance system (1) according to one of the preceding claims, characterized by the steps:
Ausgeben (S1 ) zumindest eines visuellen Bedienungsmenüs (14) als visuelle Darstellung über ein Touchdisplay (12), das an einem Roboterkopf (6) eines Roboters (2) starr befestigt ist; Erfassen (S2) einer berührungsempfindlichen Eingabe als Bedieneingabe über das Touchdisplay (12); Outputting (S1) at least one visual operating menu (14) as a visual representation via a touch display (12) which is rigidly attached to a robot head (6) of a robot (2); Detecting (S2) a touch-sensitive input as an operating input via the touch display (12);
Senden (S3) der Bedieneingabe an eine Steuereinheit (10), die dafür angepasst ist, zumindest den Roboter (2) zu steuern; Sending (S3) the operating input to a control unit (10) which is adapted to control at least the robot (2);
Steuern (S4), auf Basis der Bedieneingabe, einer Funktion, insbesondere einer Bewegung eines Roboters (2), durch die Steuereinheit (10). Controlling (S4), based on the operating input, a function, in particular a movement of a robot (2), by the control unit (10).
14. Medizinisches Roboter-Bedienungsverfahren nach Anspruch 11 , dadurch gekennzeichnet, dass das Verfahren ferner die Schritte aufweist: 14. Medical robot operating method according to claim 11, characterized in that the method further comprises the steps:
Erfassen (S1.1 ) einer Position und/oder Orientierung des Roboterkopfs (6) durch eine inertiale Messeinheit; Detecting (S1.1) a position and/or orientation of the robot head (6) by an inertial measuring unit;
Senden (S1.2) der erfassten Position und/oder Orientierung an die Steuereinheit;Sending (S1.2) the detected position and/or orientation to the control unit;
Berechnen (S1 .3) einer an die Position und/oder Orientierung angepassten Ausrichtung der visuellen Darstellung, insbesondere des visuellen Bedienungsmenüs (14); Calculating (S1.3) an alignment of the visual representation, in particular of the visual operating menu (14), adapted to the position and/or orientation;
Ausgeben (S1.4) der angepassten visuellen Darstellung, insbesondere der angepassten visuellen Darstellung des Bedienungsmenüs (14). Outputting (S1.4) the adapted visual representation, in particular the adapted visual representation of the operating menu (14).
15. Computerlesbares Speichermedium, das Befehle umfasst, die bei einer Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Roboter-Bedienungsverfahrens gemäß einem der Ansprüche 11 oder 12 auszuführen. 15. Computer-readable storage medium comprising instructions which, when executed by a computer, cause the computer to carry out the method steps of the robot operating method according to one of claims 11 or 12.
PCT/EP2023/071615 2022-08-04 2023-08-03 Medical robot guidance system having an integrated touch display, and operating method WO2024028467A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022119613.5 2022-08-04
DE102022119613.5A DE102022119613A1 (en) 2022-08-04 2022-08-04 Medical robot guidance system with integrated touch display and operating procedures

Publications (1)

Publication Number Publication Date
WO2024028467A1 true WO2024028467A1 (en) 2024-02-08

Family

ID=87571920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/071615 WO2024028467A1 (en) 2022-08-04 2023-08-03 Medical robot guidance system having an integrated touch display, and operating method

Country Status (2)

Country Link
DE (1) DE102022119613A1 (en)
WO (1) WO2024028467A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041282A1 (en) 2003-08-21 2005-02-24 Frank Rudolph Operating menu for a surgical microscope
US20160081753A1 (en) * 2014-09-18 2016-03-24 KB Medical SA Robot-Mounted User Interface For Interacting With Operation Room Equipment
US20210085424A1 (en) * 2017-07-27 2021-03-25 Intuitive Surgical Operations, Inc. Light displays in a medical device
US20210369366A1 (en) * 2020-05-29 2021-12-02 Canon U.S.A., Inc. Robotic endoscope controller with detachable monitor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005018431A1 (en) 2005-04-21 2006-10-26 Leica Microsystems (Schweiz) Ag surgical microscope
EP3989236A1 (en) 2020-10-23 2022-04-27 Leica Instruments (Singapore) Pte. Ltd. System for a microscope system and corresponding method and computer program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041282A1 (en) 2003-08-21 2005-02-24 Frank Rudolph Operating menu for a surgical microscope
US20160081753A1 (en) * 2014-09-18 2016-03-24 KB Medical SA Robot-Mounted User Interface For Interacting With Operation Room Equipment
US20210085424A1 (en) * 2017-07-27 2021-03-25 Intuitive Surgical Operations, Inc. Light displays in a medical device
US20210369366A1 (en) * 2020-05-29 2021-12-02 Canon U.S.A., Inc. Robotic endoscope controller with detachable monitor

Also Published As

Publication number Publication date
DE102022119613A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
DE102008016146B4 (en) Operation assistance system for guiding a surgical auxiliary instrument
DE102018206406B3 (en) Microscopy system and method for operating a microscopy system
EP3175770B1 (en) Observation device, in particular medical observation apparatus, with a control unit and use of an input module
EP2328501B1 (en) Medical work station and operating device for manually moving a robot arm of a medical work station
EP3305232B1 (en) Control device and control method for operating a medical device
EP1240418A1 (en) Method for reliably and automatically following an endoscope and for tracking a surgical instrument with an electrically driven and controlled endoscope guide system (efs) for performing minimally invasive surgery
EP3753520A1 (en) Medical handling device for controlling a handling device
EP3639782A1 (en) Control arrangement for controlling a movement of a robot arm and treatment device comprising a control arrangement
EP3363358A2 (en) Device for determining and retrieving a reference point during a surgical operation
DE102013108115A1 (en) Method and device for defining a working area of a robot
WO2019149400A1 (en) Method for the position planning of a capturing system of a medical imaging device, and medical imaging device
DE102014210046A1 (en) Surgical microscope system
DE102019114817B4 (en) Imaging system and method of observation
WO2015043784A1 (en) Remote control and method for controlling a device with at least one degree of freedom of movement
WO2024028467A1 (en) Medical robot guidance system having an integrated touch display, and operating method
DE102015216573A1 (en) Digital operation microscope system
WO2022162217A1 (en) Surgical assistance system having surgical microscope and camera, and representation method
DE102018206405B3 (en) Microscopy system and method for operating a microscopy system
EP3753521A1 (en) Medical handling device for controlling a handling device
DE4204601B4 (en) Device for detecting position information with an optical observation unit and method for determining position information
DE102020114416A1 (en) System for monitoring a surgical light arrangement
DE102004052753A1 (en) Electromagnetic navigation system for coordination of minimal invasive operation, comprising two exterior sensor elements
WO2024018011A1 (en) Control device and system, and system having a medical operation instrument, a data capture device and a data processing apparatus
EP1537830B1 (en) Method and device for viewing an object with a microscope
DE102016213050A1 (en) Motion control of an X-ray machine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23754715

Country of ref document: EP

Kind code of ref document: A1