WO2014064025A1 - Manuell betätigte robotersteuerung und verfahren zum steuern eines robotersystems - Google Patents
Manuell betätigte robotersteuerung und verfahren zum steuern eines robotersystems Download PDFInfo
- Publication number
- WO2014064025A1 WO2014064025A1 PCT/EP2013/071916 EP2013071916W WO2014064025A1 WO 2014064025 A1 WO2014064025 A1 WO 2014064025A1 EP 2013071916 W EP2013071916 W EP 2013071916W WO 2014064025 A1 WO2014064025 A1 WO 2014064025A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- control
- hand
- robot
- user
- dominant
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, master-slave control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
Definitions
- the invention relates to a device for controlling a robot system according to the preamble of patent claim 1, a use of such
- Known robot systems comprise an input device, such as an input device. a joystick or a
- Image capture system that is manually operated by a user.
- the user entered control information is entered from the input device in
- control commands implemented, which are executed by one or more robots.
- the known input devices have various sensors which detect the user's control specifications and convert them into corresponding control signals.
- the control signals are then further processed in control loops, which finally generate control signals with which the actuators of a robot or a tool mounted on the robot are controlled, so that the
- Robot or the tool executes the user-specified specifications.
- a first control function such as a movement of the robot head in a first plane
- a second control function such as a movement of the robot head in a second plane
- an operation attached to the robot Perform tool for example, robotic systems are known from the prior art which have an input device with two joysticks, which the user can operate with his left or right hand. The deflection of the joysticks is detected by means of a sensor, typically by means of potentiometers, and the Robot controlled accordingly. The robot control takes place
- a robotic system comprising a manually operable input device having sensor means for detecting first-hand and second-hand control inputs.
- the device further has a first control unit ("MASTER ARM”) which performs position control in response to first-hand control commands, and a second control unit (“DRIVE
- Robot system with a manually operable input device having a sensor (joystick) for detecting control inputs of a first hand and a second hand.
- the joysticks can be configured differently for left-handed or right-handed users. So z. B. the Movement axes of the joysticks are adjusted according to the preference of the user.
- Control of the robot system or a component of the robot system allows.
- Patent claims 1, 7 and 9 specified features. Further embodiments of the invention will become apparent from the dependent claims.
- an apparatus for controlling a robot system with a manually operable input device, which has a sensor system for detecting control specifications of at least a first hand and a second hand.
- the device according to the invention further comprises a controller, which converts the control specifications into corresponding control signals, with which one or more actuators of the robot system are controlled.
- the controller comprises according to the invention at least two control units, wherein a first control unit performs a position control in response to the control instructions of the first hand, and a second control unit in
- Speed control performs.
- means are provided for recognizing a dominant hand and a non-dominant hand of a user, the controller generating information generated by the means
- Dominant hand control defaults automatically position control, and automatically performs speed control in response to non-dominant hand control defaults.
- robots that are controlled via pure velocity control are relative difficult to handle. Only very experienced and experienced users are able to deal with such robots and, for example, by tapping a joystick several times to approach the desired target position after the target position has been approached roughly.
- Position controls are much simpler and more intuitive to use. The user can control a desired target point usually much faster and more accurate using the position control, without having to practice long.
- a "robot system” is understood in particular to mean a technical system with one or more robots, which may also comprise one or more robot-operated tools and / or one or more additional machines
- surgery may include one or more robots, each equipped with a surgical instrument or other tool, and an electrically adjustable operating table.
- Robot as used herein means any machine having one or more Jointed arms or other movable elements understood by means of one or more actuators, such as Electric motors, are movable.
- Suitable input devices for controlling a robot system may e.g. be: joysticks, mice, keyboards, control panels, touch panels,
- Touchscreens and / or camera-based image processing systems as well as all other known input devices that can detect control inputs of a user and generate corresponding control signals.
- speed control is understood to mean a control or regulation that is executed by the user
- Control specification such as a hand movement or a deflection of a
- a "position control” is understood to mean a control or regulation which is executed by the user
- the position of the hand or manually operated input device determines the position of the controlled object.
- the control input of the user is converted with a predetermined scaling factor into a corresponding movement of the controlled object.
- the input device may have different or the same input means for the first and second hand of the user.
- the user may use either a joystick or an image acquisition system, or e.g. operate a joystick with one hand and an image capture system with the other hand.
- the user could operate an image acquisition system with one hand and a mouse or other input means with the other hand.
- the number of degrees of freedom of the user-operated input means may be the same or different.
- the vehicle preferably also tax specifications of more than two hands process.
- the vehicle preferably also tax specifications of more than two hands process.
- Input device at least one image acquisition system that the
- the same actuators one or more robots and / or one or more tools and / or one or more other machines may be provided.
- the first and second control units may be designed to control one or more actuators of one or more objects.
- the first control unit is adapted to adjust the position of a robot head or a tool carried by the robot, and the other control unit to actuate the tool.
- controlled object and / or actuator is preferably adjustable.
- Robot head and the control of the other hand to be translated into a movement of a tool.
- the movements of both hands may be translated into corresponding coarse or fine movements of a robot head or the same component.
- different tax specifications of the same hand or the same body part such.
- As up / down and left / right movements different components and / or actuate actuators.
- the respective assignment between a control specification and the action performed by the system may preferably be set by the user, e.g. By entering data into an input mask of control software, by appropriate selection on a control panel, or by performing special gestures recognized by an image capture system and interpreted as corresponding commands, among many other possibilities.
- the one control unit can control the one control unit to control the one control unit.
- Position control and the other control unit perform a speed control or position control. If both control units a
- Performing position control is the scaling factor with which a manual executed control input is converted into a corresponding movement of the controlled object, preferably different sizes for both control units.
- the user can thus carry out a coarse control with one hand and a fine control with the other hand.
- the scaling factor of the individual control units is preferably adjustable.
- the first and second control signals generated by the input device, or signals generated therefrom preferably become one
- control device comprises means for recognizing a dominant hand and / or non-dominant hand. If the user is, for example, right-handed person, then the inventive
- Control device recognize the right hand as a dominant hand and the left hand as a non-dominant hand.
- the means for recognizing the dominant or non-dominant hand for example, a device for
- Face detection include one taken by the camera
- the handedness of the user can be automatically detected.
- the imaging system could recognize certain gestures that the user must perform to indicate to the system the dominant or non-dominant hand.
- the user's dominant or non-dominant hand could also be marked, for example by means of a ring or a colored marker, to indicate to the system the dominant or non-dominant hand.
- Another way of recognizing the dominant or non-dominant hand comprises an input device, such as an input panel or a software input mask, from which the user can input his dominant or non-dominant hand.
- the control instructions executed by the dominant hand and the non-dominant hand are then entered by means of the input device in FIG converted corresponding signals and forwarded by signal technology to the first and second control unit.
- Control signals representing the control of the dominant hand supplied to a first control unit and processed by the latter.
- the control signals representing the control instructions of the non-dominant hand are preferably supplied to and processed by a second control unit.
- the said assignment is preferably maintained, even if different users with different handedness use the robot system.
- the first control unit always processes the control commands of the dominant hand
- the second control unit processes the control instructions of the non-dominant hand.
- the first control unit preferably performs a position control, and the second control unit a speed or position control.
- B a switching device that automatically exchanges the output signals of the input device or the input signals of the control units when the handedness of the user changes.
- the control signal which represents the control commands of the dominant hand, thus always comes to the input of the same control unit (eg the first control unit), and the control signal, which represents the control instructions of the non-dominant hand, to the input of the other control unit (eg the second control control unit).
- the user with his dominant hand, thus becomes e.g. always a fine control (using position control) and his non-dominant hand z.
- Coarse control by means of speed control or position control, regardless of whether he is right-handed or left-handed.
- a controllable by means of the control device according to the invention preferably comprises at least one joint.
- the tool may be, for example, a gripping, holding, cutting, sawing, grinding, joining, joining or other tool, in particular from the group of surgical instruments. According to a preferred embodiment of the invention is the
- Control device designed so that by means of the dominant hand of the user, a tool is operated (i.e., positioned and possibly also operated) and controlled by means of the non-dominant hand, another object of the robot system, by means of a speed control to the with the
- a doctor may operate a surgical instrument with his dominant hand, and with his non-dominant hand, manipulate the robotic arm to which the instrument is attached, or he may control a second robotic arm, operating table, or other device that supports the patient's body or a body part, such as a knee, can adjust in its position.
- the combination of position control and speed control makes it possible to carry out a surgical procedure particularly accurately and intuitively.
- the input device according to the invention is preferably designed such that in addition to hand movements or manual gestures and movements of other body parts, such. B. the arms, legs, the head, the eyes and / or the mouth can be detected.
- the control device is in this case designed so that the movements of the or the other body parts in
- FIG. 1 shows a robot system according to a first embodiment of the invention
- Fig. 2 is an image capture system and various of a user
- Fig. 3 is an image capture system and various of a user
- Fig. 4 is an image capture system and various of a user
- FIG. 6 shows a robot controller for a robot according to FIG. 1
- FIG. 7 shows a robot system with two robots for surgical use
- FIG. 8 shows a robot controller for a robot system according to FIG. 7;
- FIG. 9B shows a scalpel as an example of a robot-controlled surgical
- Fig. 10 is a schematic representation of a human tissue
- Fig. 1 a robot controller according to another embodiment. Embodiments of the invention
- Fig. 1 shows a robot system, both for industrial purposes as well as in the field of medicine, for. B. as a surgical robot, in particular for minimally invasive surgery, can be used.
- the robot system comprises a robot 1 with e.g. two articulated arms 50 which are connected to each other via one or more joints 4.
- the individual joints are in each case driven by means of a motor, here an electric motor (not shown), and can, depending on the design, effect a pivoting and / or rolling movement of the arms 50.
- the number of joints 4 determines the degree of freedom of the
- the robot arm has a fixed end 52 which is fixed to a base 3, and a freely movable end, which may also be referred to as a robot head 51.
- a tool 5 is fixed, which is adapted to the particular application of the robot 1.
- a grinding, drilling, screwing, milling, chip or welding tool can be provided.
- the robot head 51 for example, with a
- Endoscope a laparoscopic instrument, a cutting, gripping, holding, connecting, sewing or other surgical tool or instrument, in particular for minimally invasive surgery, be equipped.
- the robot system 1 illustrated in FIG. 1 is controlled by means of an input device 2, which here comprises an operating console 7 with two joysticks 8, 9.
- the two joysticks 8, 9 can be operated manually by a user with both hands.
- the deflection of the joysticks 8, 9 is sensory detected and converted into corresponding electrical signals.
- the output signals of the control console 7 are transmitted to an integrated in the base 3 electronics with a robot controller 6, which receives the control signals received from the control panel 7 into corresponding control signals for the individual actuators of Robot 1 converts, so that the robot arm in the user
- the tool 5 attached to the robot head 51 can thus be controlled to any point within the reach of the robot arm.
- the tool 5 itself can be operated by means of the control panel 7.
- the user may perform a tilting, pivoting, or rotating movement to bring the end effector 46 into a desired position, or to perform a desired action, such as a stroke. Cutting, irradiating, gripping, sewing, etc.
- the control panel 7 is designed here for both left and right-handed.
- the assignment, which is provided for the dominant or non-dominant hand, of the two joysticks 8, 9 can preferably be set freely, in order to enable the operation of the input device 2 for both left-handed and right-handed users.
- 9 different control or regulation modes are executed when operating the joysticks 8, wherein z.
- a fine positioning by position control and a co-positioning of the joystick 8 operated by the non-dominant hand 13 can be performed by the joystick 9 operated by the dominant hand 12, as will be explained in more detail later.
- the robot arm 1 is coarsely positioned
- the dominant-hand-operated joystick 9 the end effector 5 is finely positioned.
- the assignment of the control specifications executed by the user and the respective reaction of the robot system can be fixed, but is preferably freely adjustable.
- it can be set that the left joystick 8 controls the robot arm, and the right joystick 9 controls the end effector 46.
- both joysticks 8, 9 could control the robot arm and / or the end effector 46.
- the robotic arm of both Joystick is controlled, the robot arm could be roughly positioned, for example, with the left joystick 8 and finely positioned with the right joystick.
- the reference point of the control need not necessarily be the robot head 51 or the end effector 46.
- individual actuators of the robot system can be individually controlled.
- Fig. 2 shows an alternative input device 2 for a robot system.
- the input device 2 comprises an image capture system with a camera, in particular a 3D camera 10, and an electronics 11 with image processing software.
- the camera 10 continuously records images processed by the image processing software.
- Image processing software is capable of holding the user's hands 12, 13, the face or body parts, or hand-operated objects or devices, e.g. a pointer, a pair of scissors, a knife, etc. to recognize and in
- Fig. 2 the left and right hand 13 and 12 of a user are shown schematically, which are detected by the camera 10. To control the
- Robot system the user can basically movements in all three
- the user may also perform certain gestures to control or configure the robotic system.
- Both static (e.g., hand gestures) and dynamic gestures (e.g., hand waving) may be detected by the input device 2, and as such
- the user moves his left hand 13 from a point A to a point B and simultaneously pivots the hand 13 backwards, as indicated by an arrow 49.
- This movement is detected by the image processing software and converted into corresponding control signals.
- the position and / or position of the end effector 46 are influenced accordingly.
- individual actuators of the robot arm 1 or of the tool 5 could also be controlled separately.
- control specification is preferably freely configurable.
- a suitable software with an input mask or another input unit is preferably provided.
- the right hand 12 of the user leads in the example shown one
- Cutting movement by the index finger and middle finger of the hand 12 are moved similar to a paper cut (see arrow 47).
- the user moves his hand 12 in the cutting direction 48 forward (from point C to point D), for example, to perform a cut in an operation.
- the cutting movement 47 and forward movement 48 are again detected by the electronics 1 1 and converted into corresponding control signals which are supplied to the robot controller 6 and further processed by this.
- the robot controller 6 finally generates one or more actuating signals 11-13 (see FIG. 6 or FIG. 8) with which certain actuators of the robot system are controlled in such a way that the surgical device attached to the robot head 51
- Instrument follows the user's control preferences and performs a desired cut.
- the robotic system could also be used with a hand-operated object, a user-actuated mechanism, or other body parts, such as a keyboard. the feet, are controlled.
- the image acquisition system 10, 11 would have to recognize the respective control means and convert the movement carried out by the user into corresponding signals.
- the image acquisition system 10, 1 1 is preferably designed not only for the detection of movements, but also of gestures. This will make it possible To control or configure robotic system also by means of certain gestures.
- the gesture database may be included in electronics 11, for example.
- the electronics 1 1 with the image recognition software can be part of
- Input device 2 but it can also be elsewhere, e.g. implemented in a separate microcontroller or together with the
- Robot controller 6 may be combined in a single control unit.
- FIG. 3 shows an image acquisition system 10, 11 as an input device 2 for controlling a robot system.
- the robot system may be controlled by means of various objects that the user holds in at least one of his two hands 12, 13.
- the user holds in his non-dominant hand 13, a pin 43, which with a
- Mark is provided in the dominant hand 12 and a pair of scissors 42.
- the marking of the pin 43 and the scissors 42 can from the
- Image acquisition system 10, 1 1 well recognized and their movement can be tracked accordingly well.
- the user's control specifications can therefore be translated very quickly and accurately into corresponding control movements.
- User-made cutting motions may occur, for example, in FIG.
- Control signals are preferably designed such that the control inputs executed by one hand (eg 12) are controlled by means of a position control into corresponding movements of the robot system and the control commands executed by the other hand (eg 13) by means of a speed control be implemented in appropriate movements of the robot system.
- the robot controller 6 will be explained later with reference to FIGS. 6 and 8 by way of example.
- Fig. 4 shows another scenario of manual control of a
- Robot system The hand movements and / or gestures of the right and left hands 12, 13 including the input means 42, 43 are again recorded by means of an image acquisition system 10, 1 1 and converted into corresponding control signals.
- the robot controller 6 processes the control signals and, based on the movements of the hands 12, 13 and / or the input means 42, 43, finally generates one or more control signals 11 - 13 (see, eg, FIG. 6 or FIG certain actuators of the robot system like that
- a certain speed which depends on the extent of the hand movement.
- a rotational movement of the hand 13 can likewise be converted into a corresponding speed of the controlled object, as shown by an arrow 44.
- the control specifications of the dominant hand 12 are implemented by a position control. That is, a spatial movement of the dominant hand 12 is the robot system in a corresponding movement of the controlled object, the location of the input means (eg, the hand or a hand-operated object) correlating with the location of the controlled object.
- the controlled object follows, as it were, the movement of the hand or the control. To stop the controlled object, the hand 12 only has to be left in a fixed position.
- Fig. 5 shows a specific embodiment of the invention, in which the
- Input device 2 can automatically distinguish the dominant hand 12 from the user's non-dominant hand 13. For example, if the user is right-handed, the input device 2 would recognize the right hand 12 as the dominant hand, and the left hand 13 as the non-dominant hand.
- the transmitter 1 1 may include, for example, a software for face recognition, with which the user can be identified. If the handedness (right-handedness or left-handedness or even dual-handedness) of the individual user is stored in a database, the handedness of the identified person can be easily determined.
- the user could also be prompted to perform a particular gesture with his dominant hand 12 and / or his non-dominant hand 13 or the respective hand when prompted in the
- the user's dominant hand 12 is identified by a mark, such as a mark. a ring 41, marked.
- a color mark or any other mark such as e.g. a glove may be provided which can be recognized by the image acquisition system 10, 11. If the user has one object or another
- Operated input means 42, 43 of course, the object or the input means 42, 43 may be marked.
- the robot system can be controlled manually. The actions carried out by the hands 12, 13 are performed by the
- Input device 2 detects and transmit the corresponding control signals S1, S2 to a robot controller 6, as shown by way of example in Fig. 6.
- the robot controller 6 comprises a first control unit 19, which controls the control signals S1 of the non-dominant hand (eg, left hand 13), and a second control unit 20, which controls the control signals S2 of the dominant hand (eg, right hand 12). processed.
- the controller according to the invention further comprises a unit 45 which always applies the control signals S2 of the dominant hand 12 to the input 14 of the second control unit 20, and the control signals S1 of the non-dominant hand 13 to the input 15 of the first control unit 19 automatically. If the non-dominant hand 13 generates, for example, the signal S1 and the dominant hand 12 the signal S2, the two signals are simply looped through to the corresponding inputs 14, 15 of the control units 19, 20. On the other hand, for example, Due to the assignment of the hands in the detection system 2, the dominant hand 12, the signal S1 and the non-dominant hand 13, the signal S2, the
- the switching unit 45 may be e.g. Have switch or run as software.
- the unit 45 may, for. In the robot controller 6, in the input device 2, or in another location, e.g. in an external computer, integrated.
- the first control unit 19 is used in the embodiment shown in FIG. 6 for carrying out a speed control and comprises two
- the second control unit 20 serves for
- control units 19, 20 Performing a position control and includes the control members 16, 17 and 18, wherein the control members 17 and 18 of both control units 19, 20 can be shared.
- Control members 16-18 may optionally be implemented in hardware and / or software.
- the control signals (S1) generated by the non-dominant hand 13 are first fed to a control member 17, which generates a corresponding speed setting v.
- the speed default v is then fed to a further control element 18 which, based on this, generates one or more control variables 11 to 13 with which one or more
- Actuators of the robot system e.g. one or more joints 4, the
- Robot head 51 and / or the end effector 46 to be controlled.
- Manipulated variables 11 to 13 can be, for example, currents with which
- Electric motors in particular those of the joints 4, are energized.
- control signal (S2) of the dominant hand 12 is first fed to a control element 16, which generates a position specification x.
- the position specification x is then from the control member 17 in a
- Speed default v converted and finally supplied to the control member 18, which in turn generates all the control variables 11 to 13, which are necessary to move the robot system in accordance with the control of the user.
- the position default x thus causes the controlled object to be purposefully accelerated and then accurately retarded so that the controlled object (e.g., one or more joints 4, the robot head 51, and / or the end effector 46) will accurately perform the control corresponding to the control command.
- the controlled object e.g., one or more joints 4, the robot head 51, and / or the end effector 46
- the first control device 19 is used here for coarse positioning, by means of which e.g. a robot arm or an end effector 5 can be moved to a desired position. Since the control unit 19 generates speed specifications, accurate positioning of the controlled object is not possible. For this purpose, an object can be controlled faster by means of the speed control, which improves the dynamics of the robot 1.
- Position control performed by the second control unit 20, on the other hand, enables fine positioning of the controlled object.
- the respective control signals S1 or S2 coming from the input 15 and those coming from the control member 16 become
- each movable or actuatable element of the robot 1 can be controlled individually by the user by means of the control 6. If the robot head 51 or the tool 5 of the
- the robot controller 6 autonomously and simultaneously generate the necessary specifications for the joints 4 of the robot 1, so that the robot head 51 or the tool 5 anaff the desired position without the user of each joint 4 must individually control.
- Fig. 7 shows a robot system with two robots 1 a, 1 b, each having a plurality of arms 50 a, 50 b and a plurality of joints 4 a, 4 b.
- the robot system is designed here as a surgical robot system, in particular for carrying out minimally invasive surgical interventions.
- the robots 1 a, 1 b are therefore special
- surgical instruments e.g. Endoscopes, trocars, tweezers, forceps, suturing devices, scalpels, spreaders, scissors or depending on the purpose of other tools 5a, 5b equipped with which a patient 22 can be treated or moved.
- the robot system further comprises an electric motor adjustable
- An operating table 21 having one or more actuators to which movable elements of the operating table 21, e.g. Back, foot or armrests, can be moved.
- movable elements of the operating table 21 e.g. Back, foot or armrests
- the operating table 21 is connected to a control unit 23 and can be controlled by the latter at corresponding control specifications of the user. So the user can operate the operating table 21 z. B. adjust over the input device 2 and thus adjustable elements of the operating table 21 or the entire operating table 21 in height, tilt, tilt, rotate, etc.
- the robot controller 6 for this robot system can be integrated in a control unit 23, for example.
- individual control units 19, 20 may also be distributed, such as e.g. in the base of the robot 1 a, 1 b.
- the robot system could also be constructed from at least two full-value robots 1 a and 1 b, which each contain a complete robot control 6, as shown in FIG. 6 or FIG. 8.
- Input device 2 provide a choice to couple the controller 6 either with the robot 1 a or with the robot 1 b.
- a particular hand gesture may be associated with the command to activate robots 1 a and 1 b alternately.
- one or the other robot can be controlled with the input device 2.
- each individual robot 1 a, 1 b with its own
- Input device 2 and robot controller 6 are connected.
- the robot system could be operated by several users simultaneously, each robot z. B. can be controlled by another user.
- Fig. 8 shows an alternative robot controller 6, in particular for a
- Robot system with multiple robots 1 a, 1 b is designed, as shown by way of example in Fig. 7.
- the robot controller 6 in turn comprises a first
- z. B. the first control unit 19 and an output signal 114, with the other devices can be controlled, such as the operating table 21st
- control unit 19 performs a speed control and the control unit 20 performs a position control.
- control unit 19 performs a speed control and the control unit 20 performs a position control.
- both control units 19, 20 a could both control units 19, 20 a
- the control unit 19 preferably processes the control signals generated by the non-dominant hand 13 and the control unit 20 processes the control signals generated by the dominant hand 12.
- the control signals S1 of the non-dominant hand 13 are supplied via the input 15 to a control member 17, which in turn a corresponding
- Speed default v e.g. for the robot 1 a or one or more of its actuators 4a, generated, which is then converted by the control member 18a into corresponding control signals 11 1 -114.
- the control signals S2 of the dominant hand 12 are processed by the second control unit 20 and there via the
- Input 14 is supplied to an actuator 16, the thereof a corresponding
- Position specification x generated.
- the latter is from the control member 17 in a
- Velocity preset v converted which in turn is converted by the control member 18b in corresponding control signals 121 -123, with which the robot 1 b or one or more of its actuators 4b is controlled.
- the robot 1 a is thus speed-controlled and the robot 1 b position-controlled.
- the operating table 21 is here also speed-controlled, but could also be position-controlled.
- a single control member 17 is used here. Alternatively, in each case a separate control member 17 may be provided.
- the robotic system may further provide a means for selecting the assignment of the controlled action to the respective hand and / or Change tax specification.
- the robot 1 a with the dominant or the non-dominant hand, and the robot 1 b can be controlled with the other hand.
- the robot system may also include means by which the type of control, in particular
- Position control or speed control can be selected for each hand.
- the user may for example be asked to perform a specific gesture by hand or make a specific input to the system.
- the selection can, for example, via a
- each hinge 4a, 4b individually to control or directly the two tools 5a, 5b. If the tools 5 a, 5 b are controlled directly, the robot controller 6 automatically generates the control signals necessary for controlling the joints 4 a, 4 b, by using a suitable control signal
- Movement path of the robot arms 1 a and 1 b for moving the tools 5a and 5b is determined and moves the robot arms 1 a and 1 b accordingly independently.
- the robots 1 a, 1 b or their joints 4a, 4b including the robot head 51 can be controlled, but the tools 5a, 5b themselves.
- FIG. 9A shows a typical surgical instrument - here a pot Scissors - which can be used in a robotic robotic system.
- FIG. 9B shows a scalpel known from the prior art.
- the various tools 5 each have multiple joints
- both tools 5 each have three joints whose axes A1 to A3 are perpendicular to each other.
- the end effectors 46 can therefore perform various pivotal movements in space as well as rotational movements about the longitudinal axis A3.
- the potty scissors 47 of FIG. 9A comprise two scissor blades 53a, 53b which can be moved up and down along the arrows.
- the scalpel 50 shown in Fig. 9B can also be pivoted in space and rotated about its longitudinal axis A3.
- the two tools 5 shown in FIGS. 9A and 9B are representative of any other tools with which the robots 1, 1 a, 1 b can be equipped depending on the intended use.
- the joints of the tools 5 can be moved individually, for example, by means of at least one electric motor-operated drive (for example cable drive) integrated in the tool 5.
- the inventive robot controller 6 (according to FIG. 6 and / or FIG. 8) can be used analogously to the control of the robot joints 4, 4 a, 4 b.
- the joint A2 of the scalpel 50 of the position control 20 may be subject.
- the joint A1 could be subject to a velocity control 19.
- the finger movement 47 of the hand 12 can be detected via the input device 2. If the input of the hand 12 is subject to the position control, then the scissor blades 53a, 53b of the Pott's scissors 47 would be exactly position controlled. That of the
- the opening angle of the two scissor blades 48a, 48b would be e.g. exactly the respective finger position of the hand 12 follow. Thus, a cut could be made with a cut length determined by the user.
- Fig. 10 shows a piece of human tissue 36, e.g. with the aid of the surgery robot system of Fig. 7 is to be cut.
- the cut is to take place within predetermined boundary lines 25.
- the equipped with a scalpel robot 1 the equipped with a scalpel robot 1
- Position control 20 to generate exact control specifications. Thereby, the position of the two cutting edges 53a, 53b of the scissors can be specified exactly. Too far or too little opening or closing movement of the scissors can be prevented.
- the speed control 19 can, as already explained above, be used to control the robot arm 1 and / or its joints 4.
- the user can control the instrument by means of coarse control only relatively inaccurate, the position at which the instrument comes to a halt, be relatively inaccurate and z. B. between the points 26 and 27 are. If necessary, the user can correct the starting point by means of the dominant hand and then use position control to make a straight cut 31 or 32 until it reaches the permitted range limits 25 (see points 28 and 29, respectively). Depending on the starting point 26 or 27, the cut within the range limits 25 can be made of different lengths. Therefore, according to the invention, the cutting movement is performed in position-controlled manner in order to precisely control the cutting length. That Joint A2 of the tool 5 is subject to position control. After the cut, the cut can be continued from position 28 or 29. There, the instrument 5 must be realigned.
- Tool 5 are compensated by means of the speed control 19. This continues in the further course of the cutting work. Starting from position 28, for example, by means of coarse positioning, the tool 5 is new
- the user with his pronouncementen hand 13 supports the cutting process by either the Operating table 21 or a robot, with which the body or the operated body part, such as the knee of the patient 22, is moved.
- Tissue piece 36 or the associated body part of the patient 22 can thus be tracked in the direction of the instrument 5.
- Tissue piece 36 or the associated body part of the patient 22 can thus be tracked in the direction of the instrument 5.
- the associated body part of the patient 22 e.g. be moved rotationally / translationally, so that even curved cuts along the cutting guide 24 can be performed. That the position-controlled cutting movement of the instrument 5 overlaps with the velocity-controlled tracking of the object 36.
- the user can then, e.g. remain in place and in the case of scissors e.g. merely perform on / off cutting movements while the object 36 is aligned with the scissors according to the desired cutting setting 24.
- Controls 6 and the actuators of the robot 1, 1 a, 1 b and the tools 5, 5 a, 5 b are created, so that it would be possible in principle, with a
- Input device 2 to control all actuators of the robot system including the tools at the same time.
- the controller 6a are provided to operate the robot 1 a and control 6b the robot 1 b.
- the input device 2 can distinguish hand and arm movements from each other. As shown in FIG. 5, a movement 54 of the arm 55 can be independent of another
- Hand movement or hand gesture can be recognized as waving. Accordingly, to control the robot system the individual joint drives 4, 4a, 4b, 51 different body parts of the user can be assigned.
- the robot arm 1 a acts on behalf of the left arm of the user, the robot arm 1 b for the right arm of the user, as well as the left
- End user 5a for the left hand of the user and the right end effector 5b for the right hand of the user are generated from the hand or arm gestures detected by the input device 2. In this way, the user is given the opportunity to use the robot system almost like his own two arms or hands.
- the user can simultaneously with the non-dominant hand one
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
Die Erfindung betrifft eine Vorrichtung (2, 6) zur manuellen Steuerung eines Robotersystems, mit einer Eingabevorrichtung (2), die mittels wenigstens zweier Hände bedienbar ist und eine Sensorik (7, 10) zum Erfassen von Steuervorgaben einer ersten Hand (12) und Steuervorgaben einer zweiten Hand (13) aufweist. Gemäß der Erfindung umfasst die Steuervorrichtung (2, 6) eine erste Steuereinheit (19), die in Abhängigkeit von den Steuervorgaben der ersten Hand (12) eine Positionssteuerung durchführt, und eine zweite Steuereinheit (20), die in Abhängigkeit von den Steuervorgaben der zweiten Hand (13) eine Geschwindigkeitssteuerung oder eine Positionssteuerung durchführt.
Description
Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines
Robotersystems
Die Erfindung betrifft eine Vorrichtung zum Steuern eines Robotersystems gemäß dem Oberbegriff des Patentanspruchs 1 , eine Verwendung einer solchen
Vorrichtung gemäß dem Oberbegriff des Patentanspruchs 7 sowie ein Verfahren zum Steuern eines Robotersystems gemäß dem Oberbegriff des Patentanspruchs 9. Bekannte Robotersysteme, auf die im Folgenden Bezug genommen wird, umfassen ein Eingabegerät, wie z.B. einen Joystick oder ein
Bilderfassungssystem, das von einem Benutzer manuell bedient wird. Die vom Benutzer eingegebenen Steuervorgaben werden vom Eingabegerät in
entsprechende Steuerbefehle umgesetzt, welche von einem oder mehreren Robotern ausgeführt werden. Die bekannten Eingabevorrichtungen verfügen je nach Ausführung über verschiedene Sensoren, die die Steuervorgaben des Benutzers detektieren und in entsprechende Steuersignale umwandeln. Die Steuersignale werden dann in Steuer- oder Regelkreisen weiter verarbeitet, die schließlich Stellsignale erzeugen, mit denen die Aktuatoren eines Roboters oder eines am Roboter montierten Werkzeugs angesteuert werden, so dass der
Roboter bzw. das Werkzeug die vom Benutzer gewünschten Vorgaben ausführt.
Aufgrund der Komplexität vieler Robotersysteme werden die Roboter oftmals mit zwei Händen gleichzeitig bedient. Dabei muss der Benutzer mit einer ersten Hand eine erste Steuerfunktion, wie z.B. eine Bewegung des Roboterkopfes in einer ersten Ebene, und mit einer zweiten Hand eine zweite Steuerfunktion, wie z.B. eine Bewegung des Roboterkopfes in einer zweiten Ebene, oder eine Betätigung eines am Roboter befestigten Werkzeugs ausführen. Aus dem Stand der Technik sind beispielsweise Robotersysteme bekannt, die eine Eingabevorrichtung mit zwei Joysticks aufweisen, die der Benutzer mit seiner linken bzw. rechten Hand bedienen kann. Die Auslenkung der Joysticks wird dabei mittels einer Sensorik, typischerweise mittels Potentiometern, erfasst, und der
Roboter entsprechend angesteuert. Die Robotersteuerung erfolgt dabei
geschwindigkeitsgesteuert bzw. -geregelt. D.h. eine bestimmte Auslenkung des Joysticks wird umgesetzt in eine bestimmte Geschwindigkeit, mit welcher der Roboter in der jeweiligen Raumkoordinate verfahren wird. In einer bestimmten Joystickposition bewegt sich der Roboter somit mit einer bestimmten
Geschwindigkeit. Wenn der Benutzer den Roboter anhalten möchte, muss er die Auslenkung des Joysticks wieder zurücknehmen und den Joystick in die Nulllage versetzen. Mit einem solchen System kann eine bestimmte Position mit dem Roboter aber nur relativ grob angefahren werden. Für die Feinsteuerung eines Roboters, wie sie insbesondere für hochpräzise Anwendungen z.B. im Bereich der roboterunterstützen Chirurgie erforderlich ist, ist die Methode der
Geschwindigkeitssteuerung jedoch stark gewöhnungsbedürftig und erfordert eine aufwendige Einarbeitungszeit. Ein wichtiger Grund hierfür liegt unter anderem darin, dass der Roboter auch noch dann weiter verfährt, während der Benutzer den Joystick in die Nulllage zurückstellt, bis tatsächlich die Nulllage erreicht wurde. Der Benutzer müsste also das Verhalten des Roboters in allen Betriebszuständen erlernen und manuell ausregeln. Die Regelgüte des Menschen ist jedoch derjenigen von Maschinen weit unterlegen. Die US 2010/0332087 A1 offenbart eine Vorrichtung zum Steuern eines
Robotersystems mit einer manuell bedienbaren Eingabevorrichtung, die eine Sensorik zum Erfassen von Steuervorgaben einer ersten Hand und einer zweiten Hand aufweist. Die Vorrichtung besitzt ferner eine erste Steuereinheit („MASTER ARM"), die in Abhängigkeit von den Steuervorgaben einer ersten Hand eine Positionssteuerung durchführt, und eine zweite Steuereinheit („DRIVE
CONTROLLER"), die in Abhängigkeit von den Steuervorgaben der zweiten Hand eine Geschwindigkeitssteuerung durchführt. Die bekannte Vorrichtung
berücksichtigt aber nicht die Händigkeit eines Benutzers. Aus der US 2008/0255704 A1 ist eine Vorrichtung zum Steuern eines
Robotersystems mit einer manuell bedienbaren Eingabevorrichtung bekannt, die eine Sensorik (Joysticks) zum Erfassen von Steuervorgaben einer ersten Hand und einer zweiten Hand aufweist. Die Joysticks können dabei für Links- oder Rechtshänder unterschiedlich konfiguriert werden. So können z. B. die
Bewegungsachsen der Joysticks je nach Präferenz des Benutzers eingestellt werden.
Aus der DE 198 09 382 A1 , der US 201 1 /0296353 A1 und der US 201 1 /01 18752 A1 ergeben sich weitere Steuervorrichtung für Roboter.
Es ist daher die Aufgabe der vorliegenden Erfindung, eine Vorrichtung zum
Steuern eines Robotersystems zu schaffen, die manuell sowohl von Links- als auch von Rechtshändern bedienbar ist und die eine wesentlich genauere
Steuerung des Robotersystems bzw. einer Komponente des Robotersystems ermöglicht.
Gelöst wird diese Aufgabe gemäß der Erfindung durch die in den
Patenansprüchen 1 , 7 und 9 angegebenen Merkmale. Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Gemäß der Erfindung wird eine Vorrichtung zum Steuern eines Robotersystems vorgeschlagen, mit einer manuell bedienbaren Eingabevorrichtung, die eine Sensorik zum Erfassen von Steuervorgaben wenigstens einer ersten Hand und einer zweiten Hand aufweist. Die erfindungsgemäße Vorrichtung umfasst ferner eine Steuerung, die die Steuervorgaben in entsprechende Stellsignale wandelt, mit denen ein oder mehrere Aktuatoren des Robotersystems angesteuert werden. Die Steuerung umfasst gemäß der Erfindung wenigstens zwei Steuereinheiten, wobei eine erste Steuereinheit in Abhängigkeit von den Steuervorgaben der ersten Hand eine Positionssteuerung durchführt, und eine zweite Steuereinheit in
Abhängigkeit von den Steuervorgaben der zweiten Hand eine
Geschwindigkeitssteuerung durchführt. Außerdem sind Mittel zum Erkennen einer dominanten Hand und einer nicht-dominanten Hand eines Benutzers vorgesehen, wobei die Steuerung eine von den Mitteln erzeugte Information über die
Händigkeit des Benutzers berücksichtigt, indem sie in Reaktion auf
Steuervorgaben der dominanten Hand automatisch eine Positionssteuerung, und in Reaktion auf Steuervorgaben der nicht-dominanten Hand automatisch eine Geschwindigkeitssteuerung durchführt. Wie eingangs beschrieben wurde, sind Roboter, die über eine reine Geschwindigkeitssteuerung gesteuert werden, relativ
schwer handhabbar. Nur sehr erfahrene und geübte Nutzer sind in der Lage, mit solchen Robotern umzugehen und sich z.B. durch mehrmaliges kurzzeitiges Auslenken eines Joysticks an die gewünschte Zielposition heranzutasten, nachdem die Zielposition zuvor grob angefahren wurde. Positionssteuerungen sind dagegen wesentlich einfacher und intuitiver zu bedienen. Der Benutzer kann mit Hilfe der Positionssteuerung einen gewünschten Zielpunkt in der Regel wesentlich schneller und genauer ansteuern, ohne dafür lange geübt haben zu müssen. Die Handhabung eines Robotersystems mit wenigstens einer
Positionssteuerung ist somit wesentlich einfacher und genauer.
Unter einem„Robotersystem" wird im Rahmen dieses Dokuments insbesondere ein technisches System mit einem oder mehreren Robotern verstanden, das ferner ein oder mehrere roboterbetätigte Werkzeuge und/oder eine oder mehrere weitere Maschinen umfassen kann. Ein Robotersystem, das für den Einsatz in der minimal invasiven Chirurgie ausgerüstet ist, kann z. B. einen oder mehrere Roboter, die jeweils mit einem chirurgischen Instrument oder einem anderen Werkzeug bestückt sind, sowie einen elektrisch verstellbaren Operationstisch umfassen. Unter einem„Roboter" wird im Rahmen dieses Dokuments jede Maschine mit einem oder mehreren Gelenkarmen oder anderen beweglichen Elementen verstanden, die mittels eines oder mehrerer Aktuatoren, wie z.B. Elektromotoren, bewegbar sind. Geeignete Eingabevorrichtungen zur Steuerung eines Robotersystems können z.B. sein: Joysticks, Mäuse, Tastaturen, Steuerpanels, Touchpanels,
Touchscreens und/oder kamerabasierte Bildverarbeitungssysteme, sowie sämtliche andere bekannte Eingabevorrichtungen, die Steuervorgaben eines Benutzers erfassen und entsprechende Steuersignale erzeugen können.
Unter einer„Geschwindigkeitssteuerung" wird im Rahmen dieses Dokuments eine Steuerung oder Regelung verstanden, die eine vom Benutzer ausgeführte
Steuervorgabe, wie z.B. eine Handbewegung oder eine Auslenkung eines
Joysticks, in eine Bewegung des gesteuerten Objekts mit entsprechender
Geschwindigkeit umsetzt. Unter einer„Positionssteuerung" wird dagegen eine Steuerung oder Regelung verstanden, die eine vom Benutzer ausgeführte
Steuervorgabe in eine entsprechende Positionsänderung des gesteuerten Objekts umsetzt. Die Position der Hand bzw. der manuell bedienten Eingabevorrichtung bestimmt dabei die Position des gesteuerten Objekts. Die Steuervorgabe des Benutzers wird mit einem vorgegebenen Skalierungsfaktor in eine entsprechende Bewegung des gesteuerten Objekts umgesetzt.
Gemäß der Erfindung kann die Eingabevorrichtung unterschiedliche oder gleiche Eingabemittel für die erste und zweite Hand des Benutzers aufweisen. So kann der Benutzer beispielsweise mit beiden Händen jeweils einen Joystick oder ein Bilderfassungssystem, oder z.B. mit einer Hand einen Joystick und mit der anderen Hand ein Bilderfassungssystem bedienen. In einem anderen Beispiel könnte der Benutzer mit einer Hand ein Bilderfassungssystem und mit der anderen Hand eine Maus bzw. ein anderes Eingabemittel bedienen. Die Zahl der Freiheitsgrade der vom Benutzer bedienten Eingabemittel kann gleich oder unterschiedlich sein. Die erfindungsgemäße Eingabevorrichtung kann
vorzugsweise auch Steuervorgaben von mehr als zwei Händen verarbeiten. Gemäß einer bevorzugten Ausführungsform der Erfindung umfasst die
Eingabevorrichtung wenigstens ein Bilderfassungssystem, das die
Handbewegungen eines Benutzers und/oder manuelle Gesten und/oder
Bewegungen anderer Körperteile, wie z. B. der Arme oder Füße, in entsprechende Steuersignale umsetzt. Ein solches System ist z.B. in US201 1/296353A1 beschrieben und kann erfindungsgemäß genutzt werden. Dieses System weist eine Kamera auf, die innerhalb eines Bilderfassungsbereiches verschiedene Gesten eines Benutzers erfassen kann. Die erfassten Gesten können z. B. mit einer Datenbank abgeglichen werden, in der verschiedene bekannte Gesten abgespeichert sind. Bei Übereinstimmung der erfassten Geste mit der bekannten Geste wird ein der bekannten Geste zugewiesener Steuerbefehl ausgelöst. Der Einsatz eines derartigen Systems zur Ansteuerung eines Roboters ist z.B. in KR 10-201 1 -0003146 offenbart.
Mittels der erfindungsgemäßen Vorrichtung können grundsätzlich beliebige Komponenten eines Robotersystems - im Folgenden Objekte - gesteuert werden, wie z. B. Roboter beliebiger Bauform, roboterbetätigte Werkzeuge, aber auch beliebige andere Maschinen, oder einzelne Teile eines Objekts. Die erste und zweite Steuereinheit können beispielsweise zur Steuerung desselben bzw.
derselben Aktuatoren eines oder mehrerer Roboter und/oder eines oder mehrerer Werkzeuge und/oder einer oder mehrerer anderer Maschinen vorgesehen sein. Alternativ können die erste und zweite Steuereinheit zur Steuerung eines oder mehrerer Aktuatoren eines oder mehrerer Objekte ausgelegt sein. So kann z.B. die erste Steuereinheit dazu ausgelegt sein, die Position eines Roboterkopfes bzw. eines vom Roboter getragenen Werkzeugs zu verstellen, und die andere Steuereinheit zum Betätigen des Werkzeugs.
Die Zuordnung einer vom Benutzer ausgeführten Steuervorgabe zu dem
gesteuerten Objekt und/oder Aktuator ist vorzugsweise einstellbar. So können die Steuervorgaben der einen Hand z. B. in eine bestimmte Bewegung des
Roboterkopfes, und die Steuervorgaben der anderen Hand in eine Bewegung eines Werkzeugs umgesetzt werden. In einem anderen Beispiel können die Bewegungen beider Hände in entsprechende Grob- oder Feinbewegungen eines Roboterkopfes bzw. derselben Komponente umgesetzt werden. Darüber hinaus kann auch vorgesehen sein, dass verschiedene Steuervorgaben derselben Hand bzw. desselben Körperteils, wie z. B. Auf/Ab- und Links/Rechts-Bewegungen, unterschiedliche Komponenten und/oder Aktuatoren ansteuern. Die jeweilige Zuordnung zwischen einer Steuervorgabe und der vom System ausgeführten Aktion kann vorzugsweise vom Benutzer eingestellt werden, z. B. durch Eingabe von Daten in eine Eingabemaske einer Steuerungssoftware, durch entsprechende Auswahl an einem Bedienpanel oder durch Ausführen spezieller Gesten, die von einem Bilderfassungssystem erkannt und als entsprechende Befehle interpretiert werden, neben vielen weiteren Möglichkeiten.
Wie vorstehend erwähnt wurde, kann die eine Steuereinheit eine
Positionssteuerung und die andere Steuereinheit eine Geschwindigkeitssteuerung oder Positionssteuerung durchführen. Sofern beide Steuereinheiten eine
Positionssteuerung durchführen, ist der Skalierungsfaktor, mit dem eine manuell
ausgeführte Steuervorgabe in eine entsprechende Bewegung des gesteuerten Objekts umgesetzt wird, für beide Steuereinheiten vorzugsweise unterschiedlich groß. Der Benutzer kann somit mit einer Hand eine Grobsteuerung und mit der anderen Hand eine Feinsteuerung vornehmen. Der Skalierungsfaktor der einzelnen Steuereinheiten ist vorzugsweise einstellbar.
Wenn beide Steuereinheiten zur Steuerung desselben bzw. derselben Aktuatoren vorgesehen sind, werden das von der Eingabevorrichtung generierte erste und zweite Steuersignal, oder daraus erzeugte Signale, vorzugsweise zu einem
Ausgangs- bzw. Stellsignal überlagert, mittels dessen der bzw. die gewünschten Aktuatoren angesteuert werden.
Gemäß einer Ausführungsform der Erfindung umfasst die Steuervorrichtung Mittel zum Erkennen einer dominanten Hand und/oder nicht-dominanten Hand. Ist der Benutzer beispielsweise Rechtshänder, so würde die erfindungsgemäße
Steuervorrichtung die rechte Hand als dominante Hand und die linke Hand als nicht-dominante Hand erkennen. Die Mittel zum Erkennen der dominanten bzw. nicht-dominanten Hand können beispielsweise eine Vorrichtung zur
Gesichtserkennung umfassen, die einen von der Kamera aufgenommenen
Benutzer mit gespeicherten Daten vergleicht und somit identifizieren kann. Wenn die gespeicherten Daten ferner Informationen über die Händigkeit
(Rechtshändigkeit, Linkshändigkeit oder auch Beidhändigkeit) enthalten, kann die Händigkeit des Benutzers automatisch erkannt werden. Das Bilderfassungssystem könnte alternativ bestimmte Gesten erkennen, die der Benutzer ausführen muss, um dem System die dominante bzw. nicht-dominante Hand anzuzeigen. Die dominante oder nicht-dominante Hand des Benutzers könnte beispielsweise auch markiert sein, beispielsweise mittels eines Rings oder einer farblichen Markierung, um dem System die dominante bzw. nicht-dominante Hand anzuzeigen. Eine andere Möglichkeit zur Erkennung der dominanten bzw. nicht-dominanten Hand umfasst eine Eingabevorrichtung, wie z.B. ein Eingabepanel oder eine Software- Eingabemaske, an der der Benutzer seine dominante oder nicht-dominante Hand eingeben kann. Die von der dominanten Hand und der nicht-dominanten Hand ausgeführten Steuervorgaben werden dann mittels der Eingabevorrichtung in
entsprechende Signale umgewandelt und signaltechnisch an die erste bzw. zweite Steuereinheit weitergeleitet.
Gemäß einer bevorzugten Ausführungsform der Erfindung werden die
Steuersignale, welche die Steuervorgaben der dominanten Hand repräsentieren, einer ersten Steuereinheit zugeführt und von dieser verarbeitet. Die Steuersignale, die die Steuervorgaben der nicht-dominanten Hand repräsentieren, werden vorzugsweise einer zweiten Steuereinheit zugeführt und von dieser verarbeitet. Die genannte Zuordnung wird vorzugsweise beibehalten, auch wenn verschiedene Benutzer mit unterschiedlicher Händigkeit das Robotersystem nutzen. Die erste Steuereinheit verarbeitet somit immer die Steuervorgaben der dominanten Hand, und die zweite Steuereinheit die Steuervorgaben der nicht-dominanten Hand. Die erste Steuereinheit führt vorzugsweise eine Positionssteuerung aus, und die zweite Steuereinheit eine Geschwindigkeits- oder Positionssteuerung.
Um die Zuordnung der dominanten/nicht-dominanten Hand zu jeweils einer bestimmten Steuereinheit zu gewährleisten, sind geeignete Mittel vorgesehen, wie z. B: eine Schalteinrichtung, die die Ausganssignale der Eingabevorrichtung oder die Eingangssignale der Steuereinheiten automatisch tauscht, wenn sich die Händigkeit des Benutzers ändert. Das Steuersignal, welches die Steuervorgaben der dominanten Hand repräsentiert, gelangt somit immer auf den Eingang derselben Steuereinheit (z.B. der ersten Steuereinheit), und das Steuersignal, welches die Steuervorgaben der nicht-dominanten Hand repräsentiert, auf den Eingang der anderen Steuereinheit (z.B. der zweiten Steuereinheit). Der Benutzer wird mit seiner dominanten Hand somit z.B. immer eine Feinsteuerung (mittels Positionssteuerung) und mit seiner nicht-dominanten Hand z. B. eine
Grobsteuerung (mittels Geschwindigkeitssteuerung oder Positionssteuerung) durchführen, unabhängig davon, ob er Rechtshänder oder Linkshänder ist. Ein mittels der erfindungsgemäßen Steuervorrichtung steuerbares Werkzeug umfasst vorzugsweise wenigstens ein Gelenk. Das Werkzeug kann z.B. ein Greif-, Halte-, Schneid-, Säge-, Schleif-, Verbinde-, Füge- oder ein anderes Werkzeug, insbesondere aus der Gruppe der chirurgischen Instrumente sein.
Gemäß einer bevorzugten Ausführungsform der Erfindung ist die
Steuervorrichtung so ausgelegt, dass mittels der dominanten Hand des Benutzers ein Werkzeug betätigt wird (d.h. positioniert und gegebenenfalls auch bedient) und mittels der nicht-dominanten Hand ein anderes Objekt des Robotersystems, mittels einer Geschwindigkeitssteuerung gesteuert wird, um den mit dem
Werkzeug durchgeführten Arbeitsvorgang zu unterstützen. So kann beispielsweise ein Arzt mit seiner dominanten Hand ein chirurgisches Instrument bedienen und mit seiner nicht-dominanten Hand den Roboterarm, an dem das Instrument befestigt ist, oder er kann einen zweiten Roboterarm, einen Operationstisch oder eine andere Vorrichtung steuern, die den Körper des Patienten bzw. ein Körperteil, wie z.B. ein Knie, in seiner Position verstellen kann. Durch die Kombination von Positionssteuerung und Geschwindigkeitssteuerung ist es möglich, einen chirurgischen Eingriff besonders genau und intuitiv durchzuführen. Die erfindungsgemäße Eingabevorrichtung ist vorzugsweise derart ausgelegt, dass neben Handbewegungen oder manuellen Gesten auch Bewegungen anderer Körperteile, wie z. B. der Arme, Beine, des Kopfes, der Augen und/oder des Mundes erkannt werden können. Die Steuervorrichtung ist in diesem Fall so ausgelegt, das die Bewegungen des bzw. der anderen Körperteile in
entsprechende Aktionen des Robotersystems umgesetzt werden. Einzelnen Objekten oder Aktuatoren des Robotersystems können prinzipiell beliebige
Steuervorgaben beliebiger Körperteile des Benutzers zugewiesen werden.
In der Steuer- und Regelungstechnik wird typischerweise begrifflich getrennt zwischen einer Steuerung (= offener Regelkreis) und einer Regelung (=
geschlossener Regelkreis). In diesem Dokument wird, abweichend davon, für beide Begriffe sowie deren grammatikalische Abwandlungen, sofern nicht explizit anders angegeben, nur von Steuern bzw. Steuerung gesprochen. D.h., die
Begriffe Steuerung und Regelung werden synonym verwendet. Dem Fachmann ist klar, dass er die jeweiligen Steuervorrichtungen als Steuerung oder Regelung ausführen kann.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 ein Robotersystem gemäß einer ersten Ausführungsform der Erfindung;
Fig. 2 ein Bilderfassungssystem und verschiedene von einem Benutzer
ausgeführte Steuervorgaben;
Fig. 3 ein Bilderfassungssystem und verschiedene von einem Benutzer
ausgeführte Steuervorgaben;
Fig. 4 ein Bilderfassungssystem und verschiedene von einem Benutzer
ausgeführte Steuervorgaben; Fig. 5 ein Bilderfassungssystem und eine Möglichkeit zur Kennzeichnung einer dominanten oder nicht-dominanten Hand;
Fig. 6 eine Robotersteuerung für einen Roboter gemäß Fig. 1 ; Fig. 7 ein Robotersystem mit zwei Robotern für den chirurgischen Einsatz;
Fig. 8 eine Robotersteuerung für ein Robotersystem gemäß Fig. 7;
Fig.9A eine Pott'sche Schere als Beispiel für ein robotergesteuertes
chirurgisches Instrument;
Fig. 9B ein Skalpell als Beispiel für ein robotergesteuertes chirurgisches
Instrument; Fig. 10 eine schematische Darstellung eines menschlichen Gewebes, das
mittels eines robotergesteuerten chirurgischen Instrumentes geschnitten werden soll; und
Fig. 1 1 eine Robotersteuerung gemäß einer weiteren Ausführungsform.
Ausführungsformen der Erfindung
Fig. 1 zeigt ein Robotersystem, das sowohl für industrielle Zwecke als auch als im Bereich der Medizin, z. B. als Chirurgieroboter, insbesondere für die minimal invasive Chirurgie, eingesetzt werden kann. Das Robotersystem umfasst einen Roboter 1 mit z.B. zwei Gelenkarmen 50, die jeweils über ein oder mehrere Gelenke 4 miteinander verbunden sind. Die einzelnen Gelenke werden jeweils mittels eines Motors, hier eines Elektromotors (nicht gezeigt), angetrieben und können je nach Ausführung eine Schwenk- und/oder Rollbeweg der Arme 50 bewirken. Die Anzahl der Gelenke 4 bestimmt dabei den Freiheitsgrad des
Roboterarms.
Der Roboterarm hat ein fest montiertes Ende 52, das an einer Basis 3 befestigt ist, und ein frei bewegliches Ende, das auch als Roboterkopf 51 bezeichnet werden kann. An dem Roboterkopf 51 ist ein Werkzeug 5 befestigt, das auf den jeweiligen Einsatzzweck des Roboters 1 abgestimmt ist. Für industrielle Anwendungen kann beispielsweise ein Schleif-, Bohr-, Schraub-, Fräs-, Span- oder Schweißwerkzeug, neben vielen anderen Möglichkeiten, vorgesehen sein. Für den chirurgischen Einsatz des Roboters kann der Roboterkopf 51 beispielsweise mit einem
Endoskop, einem laparoskopischen Instrument, einem Schneid-, Greif-, Halte-, Verbinde-, Näh- oder einem anderen chirurgischen Werkzeug bzw. Instrument, insbesondere für die minimal invasive Chirurgie, bestückt sein. Der eigentliche Endeffektor des Werkzeugs 5, wie z.B. ein Skalpell, eine Schere, eine Nadel, ein Schaber, eine Feile, ein Greifer, etc., ist mit dem Bezugszeichen 46 bezeichnet.
Das in Fig. 1 dargestellte Robotersystem 1 wird mittels einer Eingabevorrichtung 2 gesteuert, die hier eine Bedienkonsole 7 mit zwei Joysticks 8, 9 umfasst. Die beiden Joysticks 8, 9 können von einem Benutzer manuell mit beiden Händen bedient werden. Die Auslenkung der Joysticks 8, 9 wird jeweils sensorisch erfasst und in entsprechende elektrische Signale umgesetzt. Die Ausgangssignale der Bedienkonsole 7 werden an eine in der Basis 3 integrierte Elektronik mit einer Robotersteuerung 6 übertragen, die die von der Bedienkonsole 7 empfangenen Steuersignale in entsprechende Stellsignale für die einzelnen Aktuatoren des
Roboters 1 umsetzt, so dass sich der Roboterarm in der vom Benutzer
vorgegebenen Weise bewegt. Das am Roboterkopf 51 befestigte Werkzeug 5 kann somit innerhalb der Reichweite des Roboterarms an jeden beliebigen Punkt gesteuert werden.
Darüber hinaus kann mittels der Bedienkonsole 7 auch das Werkzeug 5 selbst bedient werden. Sofern das Werkzeug 5 ein oder mehrere Gelenke aufweist, kann der Benutzer beispielsweise eine Kipp-, Schwenk- oder Drehbewegung ausführen, um den Endeffektor 46 in eine gewünschte Position zu bringen, oder um eine gewünschte Aktion, wie z.B. Schneiden, Bestrahlen, Greifen, Nähen, etc.
durchzuführen.
Die Bedienkonsole 7 ist hier sowohl für Links- als auch für Rechtshänder ausgelegt. Die Zuweisung, welcher der beiden Joysticks 8, 9 für die dominante bzw. nicht-dominante Hand vorgesehen ist, kann vorzugsweise frei eingestellt werden, um die Bedienung der Eingabevorrichtung 2 sowohl für Links- als auch für Rechtshänder zu ermöglichen.
In Abhängigkeit von dieser Zuweisung, werden bei Betätigung der Joysticks 8, 9 unterschiedliche Steuerungs- oder Regelungsmodi ausgeführt, wobei z. B. von dem mit der dominanten Hand 12 bedienten Joystick 9 eine Feinpositionierung per Positionssteuerung und von dem mit der nicht-dominanten Hand 13 bedienten Joystick 8 eine Grobpositionierung per Geschwindigkeitssteuerung durchgeführt werden kann, wie später noch näher erläutert werden wird. Dadurch könnte z. B. mit dem von der nicht-dominanten Hand betätigten Joystick 8 der Roboterarm 1 grobpositioniert, und mit dem von der dominanten Hand betätigten Joystick 9 der Endeffektor 5 feinpositioniert werden.
Die Zuordnung der vom Benutzer ausgeführten Steuervorgaben und der jeweiligen Reaktion des Robotersystems kann fest vorgegeben sein, ist aber vorzugsweise frei einstellbar. So kann beispielsweise eingestellt werden, dass der linke Joystick 8 den Roboterarm, und der rechte Joystick 9 den Endeffektor 46 steuert. Alternativ könnten auch beide Joysticks 8, 9 den Roboterarm und/oder den Endeffektor 46 steuern. Für den Fall, dass der Roboterarm von beiden
Joysticks gesteuert wird, könnte der Roboterarm z.B. mit dem linken Joystick 8 grob positioniert und mit dem rechten Joystick 9 fein positioniert werden. Der Bezugspunkt der Steuerung muss nicht unbedingt der Roboterkopf 51 oder der Endeffektor 46 sein. Gemäß einer speziellen Ausführungsform der Erfindung können beispielsweise auch einzelne Aktuatoren des Robotersystems individuell angesteuert werden.
Fig. 2 zeigt eine alternative Eingabevorrichtung 2 für ein Robotersystem. Die Eingabevorrichtung 2 umfasst in diesem Fall ein Bilderfassungssystem mit einer Kamera, insbesondere einer 3D-Kamera 10, und eine Elektronik 1 1 mit einer Bildverarbeitungssoftware. Während des Betriebs zeichnet die Kamera 10 laufend Bilder auf, die von der Bildverarbeitungssoftware verarbeitet werden. Die
Bildverarbeitungssoftware ist in der Lage, die Hände 12, 13, das Gesicht oder Körperteile des Benutzers, oder von Hand bediente Objekte oder Vorrichtungen, wie z.B. einen Zeigestab, eine Schere, ein Messer, etc. zu erkennen und in
Reaktion auf die vom Benutzer ausgeführten Steuervorgaben entsprechende Steuersignale zu erzeugen. In Fig. 2 sind die linke und rechte Hand 13 bzw. 12 eines Benutzers schematisch dargestellt, die von der Kamera 10 erfasst werden. Zur Steuerung des
Robotersystems kann der Benutzer prinzipiell Bewegungen in allen drei
kartesischen Raumkoordinaten (x, y, z) als auch rotatorische Bewegungen um jede Raumachse durchführen. Darüber hinaus kann der Benutzer auch bestimmte Gesten ausführen, um das Robotersystem zu steuern oder zu konfigurieren.
Sowohl statische (z.B. Handzeichen) also auch dynamische Gesten (z.B. Winken der Hand) können von der Eingabevorrichtung 2 erfasst und als solche
interpretiert werden. Im dargestellten Beispiel bewegt der Benutzer seine linke Hand 13 von einem Punkt A zu einem Punkt B und schwenkt die Hand 13 dabei gleichzeitig nach hinten, wie durch einen Pfeil 49 angedeutet ist. Diese Bewegung wird von der Bildverarbeitungssoftware erkannt und in entsprechende Steuersignale umgesetzt. Je nach Konfiguration des Rotorsystems kann mit einer solchen Bewegung zum
Beispiel die Position und/oder Lage des Endeffektors 46 entsprechend beeinflusst werden. Es könnten aber auch einzelne Aktuatoren des Roboterarms 1 oder des Werkzeugs 5 separat angesteuert werden. So könnte beispielsweise durch die translatorische Bewegung der Hand 13 von Punkt A nach Punkt B ein erstes Gelenk 4 des Roboterarms oder des Werkzeugs 5, und durch die Kippbewegung der Hand 13 ein zweites Gelenk 4 des Roboterarms oder des Werkzeugs 5 betätigt werden. Die resultierende Aktion des Robotersystems auf eine
Steuervorgabe ist, wie erwähnt, vorzugsweise frei konfigurierbar. Hierzu ist vorzugsweise eine geeignete Software mit einer Eingabemaske oder eine andere Eingabeeinheit vorgesehen.
Die rechte Hand 12 des Benutzers führt im dargestellten Beispiel eine
Schneidbewegung aus, indem der Zeigefinger und Mittelfinger der Hand 12 ähnlich wie bei einem Scherenschnitt bewegt werden (siehe Pfeil 47). Außerdem bewegt der Benutzer seine Hand 12 in Schnittrichtung 48 nach vorne (von Punkt C nach Punkt D), um beispielsweise einen Schnitt bei einer Operation auszuführen. Die Schneidbewegung 47 und Vorwärtsbewegung 48 werden wiederum von der Elektronik 1 1 erkannt und in entsprechende Steuersignale umgesetzt, die der Robotersteuerung 6 zugeführt und von dieser weiter verarbeitet werden. Die Robotersteuerung 6 erzeugt schließlich ein oder mehrere Stellsignale 11 -13 (siehe Fig. 6 oder Fig. 8), mit denen bestimmte Aktuatoren des Robotersystems so angesteuert werden, dass das am Roboterkopf 51 befestigte chirurgische
Instrument den Steuervorgaben des Benutzers folgt und einen gewünschten Schnitt ausführt.
Wie erwähnt, könnte das Robotersystem beispielsweise auch mit einem von Hand betätigten Objekt, einem vom Benutzer betätigten Mechanismus oder mittels anderer Körperteile, wie z.B. der Füße, gesteuert werden. Das
Bilderfassungssystem 10, 1 1 müsste in diesem Fall die jeweiligen Steuermittel erkennen und die vom Benutzer ausgeführte Bewegung in entsprechende Signale umzusetzen.
Das Bilderfassungssystem 10, 1 1 ist vorzugsweise nicht bloß zur Erkennung von Bewegungen, sondern auch von Gesten ausgelegt. Dadurch wird es möglich, das
Robotersystem auch mittels bestimmter Gesten zu steuern oder zu konfigurieren. Zur Erkennung einer Geste können die von der Eingabevorrichtung 2 erfassten Gesten z. B. mit den in einer Datenbank (nicht gezeigt) abgelegten Gesten abgeglichen werden. Bei Übereinstimmung einer erfassten Geste mit einer in der Datenbank gespeicherten Geste kann ein der Geste zugewiesener Steuerbefehl ausgeführt werden.
Die Gesten-Datenbank kann beispielsweise in der Elektronik 1 1 enthalten sein. Die Elektronik 1 1 mit der Bilderkennungssoftware kann Teil der
Eingabevorrichtung 2 sein, sie kann aber auch an anderer Stelle, z.B. in einem separaten Mikrokontroller implementiert oder zusammen mit der
Robotersteuerung 6 in einer einzigen Steuereinheit kombiniert sein.
Fig. 3 zeigt ein Bilderfassungssystem 10, 1 1 als Eingabevorrichtung 2 zur Steuerung eines Robotersystems. In diesem Ausführungsbeispiel kann das Robotersystem mittels verschiedener Gegenstände gesteuert werden, die der Benutzer in mindestens einer seiner beiden Hände 12, 13 hält. In Fig. 3 hält der Benutzer in seiner nicht-dominanten Hand 13 einen Stift 43, der mit einer
Markierung versehen ist, und in der dominanten Hand 12 eine Schere 42. Die Markierung des Stifts 43 als auch die Schere 42 können vom
Bilderfassungssystem 10, 1 1 gut erkannt und deren Bewegung entsprechend gut verfolgt werden kann. Die Steuervorgaben des Benutzers können daher sehr schnell und präzise in entsprechende Steuerbewegungen umgesetzt werden. Vom Benutzer durchgeführte Schneidbewegungen können zum Beispiel in
entsprechende Schneidaktionen eines chirurgischen Instruments übertragen werden. Dem Fachmann ist klar, dass anstelle eines Stifts 43 oder einer Schere 42 beliebige andere Gegenstände oder Eingabemittel von Hand geführt werden können. Die Robotersteuerung 6, die die von der Eingabevorrichtung ausgegebenen
Steuersignale verarbeitet, ist vorzugsweise so ausgelegt, dass die von der einen Hand (z. B. 12) ausgeführten Steuervorgaben mittels einer Positionssteuerung in entsprechende Bewegungen des Robotersystems und die von der anderen Hand (z. B. 13) ausgeführten Steuervorgaben mittels einer Geschwindigkeitssteuerung
in entsprechende Bewegungen des Robotersystems umgesetzt werden.
Wahlweise könnte aber auch für beide Hände eine Positionssteuerung
vorgesehen sein. Die Robotersteuerung 6 wird später noch anhand der Figuren 6 und 8 beispielhaft erläutert.
Fig. 4 zeigt ein weiteres Szenario einer manuellen Steuerung eines
Robotersystems. Dabei werden die Handbewegungen und / oder Gesten der rechten und linken Hand 12, 13 einschließlich der Eingabemittel 42, 43 wiederum mittels eines Bilderfassungssystems 10, 1 1 aufgezeichnet und in entsprechende Steuersignale umgesetzt. Die Robotersteuerung 6 verarbeitet die Steuersignale und erzeugt schließlich basierend auf den Bewegungen der Hände 12, 13 und / oder der Eingabemittel 42, 43 ein oder mehrere Stellsignale 11 -13 (siehe z. B. Fig. 6 oder Fig. 8), mit denen bestimmte Aktuatoren des Robotersystems so
angesteuert werden, dass das am Roboterkopf 51 befestigte Werkzeug 5 den Steuervorgaben des Benutzers folgt und eine gewünschte Aktion ausführt.
Im vorliegenden Beispiel wird in Abhängigkeit von den Steuervorgaben der nichtdominanten Hand 13 eine Geschwindigkeitssteuerung und in Abhängigkeit von den Steuervorgaben der dominanten Hand 12 eine Positionssteuerung
durchgeführt. Eine bestimmte Bewegung der nicht-dominanten Hand 13, ausgehend von einer Startposition bzw. neutralen Position, bewirkt dabei eine Bewegung des gesteuerten Objekts mit einer bestimmten Geschwindigkeit, die vom Ausmaß der Handbewegung abhängt. Je nach Konfiguration kann somit z. B. die Geschwindigkeit eines bestimmten Gelenks 4, des Roboterkopfes 51 , eines Werkzeugs 5 oder einer anderen Komponente eines Robotersystems vom
Benutzer gesteuert werden. Um das gesteuerte Objekt anzuhalten, muss die Hand wieder in die neutrale Position zurück bewegt werden. Neben einer linearen Bewegung kann gleichermaßen auch eine Drehbewegung der Hand 13 in eine entsprechende Geschwindigkeit des gesteuerten Objekts umgesetzt werden, wie durch einen Pfeil 44 dargestellt ist.
Im Unterschied dazu werden die Steuervorgaben der dominanten Hand 12 durch eine Positionssteuerung umgesetzt. D.h., eine räumliche Bewegung der dominanten Hand 12 wird vom Robotersystem in eine entsprechende Bewegung
des gesteuerten Objekts umgesetzt, wobei der Ort des Eingabemittels (z. B. der Hand oder eines von Hand betätigten Gegenstands) mit dem Ort des gesteuerten Objekts korreliert. Das gesteuerte Objekt folgt dabei quasi der Handbewegung bzw. Steuervorgabe. Um das gesteuerte Objekt anzuhalten, muss die Hand 12 lediglich an einer festen Position belassen werden.
Fig. 5 zeigt eine spezielle Ausführungsform der Erfindung, bei der die
Eingabevorrichtung 2 die dominante Hand 12 von der nicht-dominanten Hand 13 des Benutzers automatisch unterscheiden kann. Ist der Benutzer beispielsweise Rechtshänder, so würde die Eingabevorrichtung 2 die rechte Hand 12 als dominante Hand, und die linke Hand 13 als nicht-dominante Hand erkennen. Zur automatischen Erkennung der Händigkeit kann die Auswerteelektronik 1 1 beispielsweise eine Software zur Gesichtserkennung umfassen, mit der der Benutzer identifiziert werden kann. Wenn in einer Datenbank auch die Händigkeit (Rechtshändigkeit bzw. Linkshändigkeit oder auch Beidhändigkeit) der einzelnen Benutzer gespeichert ist, kann die Händigkeit der identifizierten Person einfach ermittelt werden.
Alternativ könnte der Benutzer auch dazu aufgefordert werden, mit seiner dominanten Hand 12 und/oder seiner nicht-dominanten Hand 13 eine bestimmte Geste auszuführen oder die jeweilige Hand bei Aufforderung in den
Aufnahmebereich des Bilderfassungssystems 10 zu halten. Wahlweise könnte der Benutzer auch Daten in eine an einem Bildschirm angezeigte Eingabemaske eingeben, neben vielen anderen Möglichkeiten.
Im vorliegenden Ausführungsbeispiel ist die dominante Hand 12 des Benutzers durch eine Markierung, wie z.B. einen Ring 41 , markiert. Wahlweise könnte aber auch eine Farbmarkierung oder eine beliebige andere Markierung wie z.B. ein Handschuh vorgesehen sein, die von dem Bilderfassungssystem 10, 1 1 erkannt werden kann. Wenn der Benutzer einen Gegenstand oder ein anderes
Eingabemittel 42, 43 bedient, kann natürlich auch der Gegenstand bzw. das Eingabemittel 42, 43 markiert sein.
Nach der Erkennung bzw. Zuweisung der dominanten und/oder nicht-dominanten Hand 12, 13 des Benutzers kann das Robotersystem manuell gesteuert werden. Die von den Händen 12, 13 ausgeführten Aktionen werden dabei von der
Eingabevorrichtung 2 erfasst und die entsprechenden Steuersignale S1 , S2 an eine Robotersteuerung 6 übertragen, wie sie beispielhaft in Fig. 6 dargestellt ist. Die Robotersteuerung 6 umfasst eine erste Steuereinheit 19, die die Steuersignale S1 der nicht-dominanten Hand (z. B. linke Hand 13), und eine zweite Steuereinheit 20, die die Steuersignale S2 der dominanten Hand (z. B. rechte Hand 12) verarbeitet.
Die erfindungsgemäße Steuerung umfasst ferner eine Einheit 45, welche die Steuersignale S2 der dominanten Hand 12 immer auf den Eingang 14 der zweiten Steuereinheit 20, und die Steuersignale S1 der nicht-dominanten Hand 13 automatisch auf den Eingang 15 der ersten Steuereinheit 19 legt. Wenn die nicht- dominante Hand 13 beispielsweise das Signal S1 und die dominante Hand 12 das Signal S2 generiert, werden die beiden Signale einfach auf die entsprechenden Eingänge 14, 15 der Steuereinheiten 19, 20 durchgeschleift. Erzeugt dagegen z.B. aufgrund der Zuordnung der Hände im Erfassungssystem 2 die dominante Hand 12 das Signal S1 und die nicht-dominante Hand 13 das Signal S2, wird die
Belegung der Eingänge 14, 15 der Steuereinheiten 19, 20 vorzugsweise
automatisch vertauscht. Die Schalteinheit 45 kann z.B. Schalter aufweisen oder als Software ausgeführt sein. Die Einheit 45 kann z. B. in der Robotersteuerung 6, in der Eingabevorrichtung 2, oder in einem anderen Ort, wie z.B. in einem externen Computer, integriert sein.
Die erste Steuereinheit 19 dient in dem in Fig. 6 dargestellten Ausführungsbeispiel zur Durchführung einer Geschwindigkeitssteuerung und umfasst zwei
Steuerglieder 17 und 18. Die zweite Steuereinheit 20 dient dagegen zur
Durchführung einer Positionssteuerung und umfasst die Steuerglieder 16, 17 und 18, wobei die Steuerglieder 17 und 18 von beiden Steuereinheiten 19, 20 gemeinsam genutzt werden können. Die Steuereinheiten 19, 20 bzw.
Steuerglieder 16 - 18 können wahlweise in Hardware und / oder Software ausgeführt sein.
In der ersten Steuereinheit 19 werden die von der nicht-dominanten Hand 13 erzeugten Steuersignale (S1 ) zunächst einem Steuerglied 17 zugeführt, das eine entsprechende Geschwindigkeitsvorgabe v erzeugt. Die Geschwindigkeitsvorgabe v wird dann einem weiteren Steuerglied 18 zugeführt, das, basierend darauf, eine oder mehrere Stellgrößen 11 bis 13 erzeugt, mit denen ein oder mehrere
Aktuatoren des Robotersystems, z.B. ein oder mehrere Gelenke 4, der
Roboterkopf 51 und / oder der Endeffektor 46, angesteuert werden. Die
Stellgrößen 11 bis 13 können beispielsweise Ströme sein, mit denen
Elektromotoren, insbesondere die der Gelenke 4, bestromt werden.
In der zweiten Steuereinheit 20 wird das Steuersignal (S2) der dominanten Hand 12 zunächst einem Steuerglied 16 zugeführt, das eine Positionsvorgabe x generiert. Die Positionsvorgabe x wird dann vom Steuerglied 17 in eine
Geschwindigkeitsvorgabe v gewandelt und schließlich dem Steuerglied 18 zugeführt, das wiederum sämtliche Steuergrößen 11 bis 13 generiert, die notwendig sind, das Robotersystem gemäß der Steuervorgabe des Benutzers zu bewegen. Die Positionsvorgabe x bewirkt somit, dass das gesteuerte Objekt zielgerichtet beschleunigt und dann punktgenau verzögert wird, so dass das gesteuerte Objekt (z.B. ein oder mehrere Gelenke 4, der Roboterkopf 51 und / oder der Endeffektor 46) exakt die der Steuervorgabe entsprechende Bewegung ausführt. Hierzu kann z.B. in der Steuereinheit 20 ein Positions-, Geschwindigkeits- und / oder
Beschleunigungsprofil implementiert sein, das unterschiedliche Signal- Verstärkungsfaktoren enthalten kann. Die erste Steuervorrichtung 19 wird hier zur Grobpositionierung genutzt, mittels derer z.B. ein Roboterarm oder ein Endeffektor 5 in eine gewünschte Position bewegt werden kann. Da die Steuereinheit 19 Geschwindigkeitsvorgaben erzeugt, ist eine genaue Positionierung des gesteuerten Objekts nicht möglich. Dafür lässt sich ein Objekt mittels der Geschwindigkeitssteuerung schneller ansteuern, wodurch die Dynamik des Roboters 1 verbessert wird. Mittels der
Positionssteuerung, die von der zweiten Steuereinheit 20 durchgeführt wird, ist dagegen eine Feinpositionierung des gesteuerten Objekts möglich.
Wenn der Benutzer mit beiden Händen denselben bzw. dieselben Aktuatoren gleichzeitig ansteuert, werden die jeweiligen, vom Eingang 15 kommenden Steuersignale S1 oder S2, und die vom Steuerglied 16 kommende
Positionsvorgabe x im Steuerglied 17 überlagert und ein überlagertes Signal v generiert, das wiederum dem Steuerglied 18 zugeführt wird. Auf diese Weise kann ein anzusteuerndes Objekt synchron grob- und feinpositioniert werden.
Prinzipiell kann jedes bewegliche oder zu betätigende Element des Roboters 1 mittels der Steuerung 6 individuell durch den Benutzer angesteuert werden. Wird mit der Robotersteuerung 6 der Roboterkopf 51 oder das Werkzeug 5 vom
Benutzer direkt angesteuert, so kann in einer vorteilhaften Ausgestaltung der Erfindung die Robotersteuerung 6 die notwendigen Vorgaben für die Gelenke 4 des Roboters 1 autonom und gleichzeitig generieren, so dass der Roboterkopf 51 oder das Werkzeug 5 die gewünschte Position anfährt, ohne dass der Benutzer jedes Gelenk 4 einzeln ansteuern muss.
Fig. 7 zeigt ein Robotersystem mit zwei Robotern 1 a, 1 b, die jeweils mehrere Arme 50a, 50b und mehrere Gelenke 4a, 4b aufweisen. Andere Bauformen sind natürlich ebenfalls denkbar. Das Robotersystem ist hier als ein Chirurgie- Robotersystem ausgebildet, insbesondere zur Durchführung von minimalinvasiven chirurgischen Eingriffen. Die Roboter 1 a, 1 b sind daher mit speziellen
chirurgischen Instrumenten, wie z.B. Endoskopen, Trokaren, Pinzetten, Zangen, Nahtgeräten, Skalpellen, Spreizern, Scheren oder je nach Einsatzzweck auch anderen Werkzeugen 5a, 5b ausgestattet, mit denen ein Patient 22 behandelt oder bewegt werden kann.
Das Robotersystem umfasst ferner einen elektromotorisch verstellbaren
Operationstisch 21 , der einen oder mehrere Aktuatoren aufweist, mit denen bewegliche Elemente des OP-Tisches 21 , wie z.B. Rücken-, Fußteile oder Armstützen, bewegt werden können. Durch entsprechende Ansteuerung des Operationstisches ist es möglich, die Lage des Patienten bzw. einzelner
Körperteile des Patienten zu verändern und somit die Operation zu unterstützen.
Der Operationstisch 21 ist mit einer Steuereinheit 23 verbunden und kann von dieser bei entsprechenden Steuervorgaben des Benutzers angesteuert werden. So kann der Benutzer den Operationstisch 21 z. B. über die Eingabevorrichtung 2 verstellen und damit bewegliche Elemente des Operationstischs 21 oder den gesamten Operationstisch 21 in der Höhe verstellen, kippen, neigen, drehen, etc.
Die Robotersteuerung 6 für dieses Robotersystem kann beispielsweise in einer Steuereinheit 23 integriert sein. Wahlweise können auch einzelne Steuereinheiten 19, 20 verteilt angeordnet sein, wie z.B. in der Basis der Roboter 1 a, 1 b. Alternativ könnte das Robotersystem aber auch aus mindestens zwei vollwertigen Robotern 1 a und 1 b aufgebaut werden, die jeweils eine komplette Robotersteuerung 6, wie in Fig. 6 oder Fig. 8 gezeigt, enthalten.
Die Steuerung der Roboter 1 a und 1 b kann nun analog zu den obigen
Ausführungen erfolgen, wozu beide Roboter an die Steuerung 6 (gemäß Fig. 6) angeschlossen werden. D.h. das Steuerglied 18 kann Steuersignale sowohl für Roboter 1 a als auch für Roboter 1 b generieren. Um mit der Eingabevorrichtung 2 abwechselnd den einen oder den anderen Roboter anzusteuern, kann die
Eingabevorrichtung 2 eine Auswahlmöglichkeit vorsehen, um die Steuerung 6 entweder mit dem Roboter 1 a oder mit dem Roboter 1 b zu koppeln.
Beispielsweise kann eine bestimmte Handgeste mit dem Befehl verknüpft sein, die Roboter 1 a und 1 b abwechselnd zu aktivieren. Je nachdem, welcher Roboter aktiv ist, kann mit der Eingabevorrichtung 2 der eine oder der andere Roboter angesteuert werden.
Alternativ kann jeder einzelne Roboter 1 a, 1 b mit einer eigenen
Eingabevorrichtung 2 und Robotersteuerung 6 verbunden werden. In diesem Fall könnte das Robotersystem von mehreren Benutzern gleichzeitig bedient werden, wobei jeder Roboter z. B. von einem anderen Benutzer gesteuert werden kann.
Fig. 8 zeigt eine alternative Robotersteuerung 6, die insbesondere für ein
Robotersystem mit mehreren Robotern 1 a, 1 b ausgelegt ist, wie es beispielhaft in Fig. 7 dargestellt ist. Die Robotersteuerung 6 umfasst wiederum eine erste
Steuereinheit 19 und eine zweite Steuereinheit 20, die die an den zugehörigen
Eingängen 15 bzw. 14 empfangenen Steuersignale S1 , S2 separat verarbeiten und in entsprechende Ausgangssignale 11 1 bis 113 bzw. 121 bis I23 umsetzen, mit denen der erste Roboter 1 a bzw. der zweite Roboter 1 b angesteuert werden. Darüber hinaus generiert z. B. die erste Steuereinheit 19 auch ein Ausgangssignal 114, mit dem weitere Einrichtungen angesteuert werden können, wie z.B. der Operationstisch 21 .
Im dargestellten Ausführungsbeispiel von Fig. 8 führt die Steuereinheit 19 eine Geschwindigkeitssteuerung und die Steuereinheit 20 eine Positionssteuerung durch. Wahlweise könnten aber auch beide Steuereinheiten 19, 20 eine
Positionssteuerung ausführen. Die Steuereinheit 19 verarbeitet vorzugsweise die von der nicht-dominanten Hand 13 erzeugten Steuersignale, und die Steuereinheit 20 die von der dominanten Hand 12 erzeugten Steuersignale. Die Steuersignale S1 der nicht-dominanten Hand 13 werden über den Eingang 15 einem Steuerglied 17 zugeführt, das wiederum eine entsprechende
Geschwindigkeitsvorgabe v, z.B. für den Roboter 1 a bzw. ein oder mehrere seiner Aktuatoren 4a, generiert, die dann mittels des Steuerglieds 18a in entsprechende Stellsignale 11 1 -114 umgesetzt wird. Die Steuersignale S2 der dominanten Hand 12 werden von der zweiten Steuereinheit 20 verarbeitet und dort über den
Eingang 14 einem Stellglied 16 zugeführt, das daraus eine entsprechende
Positionsvorgabe x erzeugt. Letztere wird vom Steuerglied 17 in eine
Geschwindigkeitsvorgabe v gewandelt, die wiederum mittels des Steuerglieds 18b in entsprechende Stellsignale 121 -123 gewandelt wird, mit denen der Roboter 1 b bzw. ein oder mehrere seiner Aktuatoren 4b angesteuert wird. Der Roboter 1 a wird somit geschwindigkeitsgesteuert und der Roboter 1 b positionsgesteuert. Der Operationstisch 21 wird hier ebenfalls geschwindigkeitsgesteuert, könnte aber auch positionsgesteuert werden. Für beide Steuereinheiten 19, 20 wird hier ein einziges Steuerglied 17 genutzt. Alternativ kann auch jeweils ein separates Steuerglied 17 vorgesehen sein.
Das Robotersystem kann ferner eine Auswahlmöglichkeit vorsehen, um die Zuordnung der gesteuerten Aktion zu der jeweiligen Hand und/oder
Steuervorgabe zu verändern. Dadurch kann je nach Wunsch z.B. der Roboter 1 a mit der dominanten oder der nicht-dominanten Hand, und der Roboter 1 b mit der jeweils anderen Hand gesteuert werden. Darüber hinaus kann das Robotersystem auch Mittel umfassen, mit denen die Art der Steuerung, insbesondere
Positionssteuerung oder Geschwindigkeitssteuerung, für jede Hand ausgewählt werden kann. Hierzu kann der Benutzer beispielsweise aufgefordert werden, eine bestimmte Geste mit der Hand auszuführen oder eine bestimmte Eingabe am System vorzunehmen. Die Auswahl kann beispielsweise auch über eine
Eingabemaske an einem Computer erfolgen.
Wie bereits schon bei der vorhergehenden Ausführung der Erfindung erläutert, ist es auch bei dieser Ausführung möglich, jedes Gelenk 4a, 4b einzeln anzusteuern oder direkt die beiden Werkzeuge 5a, 5b. Werden die Werkzeuge 5a, 5b direkt angesteuert, generiert die Robotersteuerung 6 die zur Ansteuerung der Gelenke 4a, 4b notwendigen Stellsignale automatisch, indem eine geeignete
Bewegungsbahn der Roboterarme 1 a und 1 b zum Verfahren der Werkzeuge 5a bzw. 5b ermittelt wird und verfährt die Roboterarme 1 a und 1 b dementsprechend selbstständig. In einer Weiterbildung der Erfindung können nicht nur die Roboter 1 a, 1 b bzw. deren Gelenke 4a, 4b einschließlich des Roboterkopfes 51 gesteuert werden, sondern die Werkzeuge 5a, 5b selbst. Hierzu zeigt Fig. 9A ein typisches chirurgisches Instrument - hier eine Pott'sche Schere - das bei einem Chirurgie- Robotersystem zum Einsatz kommen kann. Fig. 9B zeigt dagegen ein aus dem Stand der Technik bekanntes Skalpell.
Die verschiedenen Werkzeuge 5 haben jeweils mehrere Gelenke mit
Gelenkachsen A1 bis A3, um die der jeweilige Endeffektor 46 gedreht bzw.
geschwenkt werden kann. Im dargestellten Fall haben beide Werkzeuge 5 jeweils drei Gelenke, deren Achsen A1 bis A3 jeweils rechtwinklig aufeinander stehen. Die Endeffektoren 46 können daher verschiedene Schwenkbewegungen im Raum als auch rotatorische Bewegungen um die Längsachse A3 ausführen.
Die Pott'sche Schere 47 von Fig. 9A umfasst zwei Scherenblätter 53a, 53b, die entlang der Pfeile auf- und zubewegt werden können. Das in Fig. 9B dargestellte Skalpell 50 kann ebenfalls im Raum geschwenkt und um seine Längsachse A3 rotiert werden. Die beiden in den Fig. 9A und 9B gezeigten Werkzeuge 5 stehen stellvertretend für beliebige andere Werkzeuge, mit denen die Roboter 1 , 1 a, 1 b je nach Einsatzzweck bestückt werden können.
Die Gelenke der Werkzeuge 5 können beispielsweise mittels mindestens eines im Werkzeug 5 integrierten, elektromotorisch betätigten Antriebs (z.B. Seilantrieb) individuell bewegt werden. Zur Ansteuerung jeder dieser elektromotorischen Werkzeugantriebe kann analog zur Steuerung der Robotergelenke 4, 4a, 4b die erfindungsgemäße Robotersteuerung 6 (gemäß Fig. 6 und / oder Fig. 8) genutzt werden.
Um z.B. einen sehr genau geführten Schnitt mit dem Skalpell 50 durchzuführen, kann das Gelenk A2 des Skalpells 50 der Positionssteuerung 20 unterliegen.
Hingegen kann es genügen, das Skalpell 50 über das Gelenk A1 nur grob auszurichten, so dass das Gelenk A1 einer Geschwindigkeitssteuerung 19 unterliegen könnte. Ferner kann beispielsweise die Fingerbewegung 47 der Hand 12 (siehe Fig. 2) über die Eingabevorrichtung 2 erfasst werden. Ist die Eingabe der Hand 12 der Positionssteuerung unterworfen, so würden die Scherenblätter 53a, 53b der Pott'schen Schere 47 exakt positionsgesteuert werden. D.h. der
Öffnungswinkel der beiden Scherenblätter 48a, 48b würde z.B. genau der jeweiligen Fingerstellung der Hand 12 folgen. Somit könnte ein Schnitt mit einer exakt vom Benutzer bestimmten Schnittlänge ausgeführt werden.
Fig. 10 zeigt ein Stück eines menschlichen Gewebes 36, das z.B. mit Hilfe des Chirurgie-Robotersystems von Fig. 7 geschnitten werden soll. Der Schnitt soll dabei innerhalb vorgegebener Begrenzungslinien 25 erfolgen. Um einen solchen Schnitt auszuführen, kann der mit einem Skalpell bestückte Roboter 1
beispielsweise von der nicht-dominanten Hand mittels Geschwindigkeitssteuerung an den Startpunkt - in der Fig. unten rechts - gebracht werden.
Zur Betätigung des Schneidewerkzeugs 5, z.B. eine Schere, dient nun die
Positionssteuerung 20, um exakte Steuervorgaben zu generieren. Dadurch kann die Position der beiden Schneiden 53a, 53b der Schere genau vorgegeben werden. Eine zu weite oder zu geringe Öffnungs- bzw. Schließbewegung der Schere kann so verhindert werden. Die Geschwindigkeitssteuerung 19 kann dabei, wie oben bereits ausgeführt, zur Steuerung des Roboterarms 1 und / oder seiner Gelenke 4 genutzt werden.
Da der Benutzer das Instrument mittels der Grobsteuerung nur relativ ungenau steuern kann, wird die Position, an der das Instrument zum Stehen kommt, vergleichsweise ungenau sein und z. B. zwischen den Punkten 26 und 27 liegen. Der Benutzer kann ggf. mittels der dominanten Hand den Startpunkt korrigieren und dann mittels Positionssteuerung einen geraden Schnitt 31 bzw. 32 ausführen, bis er an die erlaubten Bereichsgrenzen 25 stößt (siehe Punkte 28 bzw. 29). Je nach Ausgangpunkt 26 bzw. 27 kann der Schnitt innerhalb der Bereichsgrenzen 25 unterschiedlich lang ausgeführt werden. Daher wird erfindungsgemäß die Schneidebewegung positionsgesteuert durchgeführt, um die Schnittlänge exakt zu steuern. D.h. Gelenk A2 des Werkzeugs 5 unterliegt der Positionssteuerung. Nach dem Schnitt kann ausgehend von Position 28 oder 29 der Schnitt fortgesetzt werden. Dort muss das Instrument 5 neu ausrichten werden.
Infolge dessen kann durch die Positionssteuerung 20, mittels derer eine exakte Schnittlänge durch die genaue Vorgabe der Schneidebewegung erzielt werden kann, eine vergleichsweise grobe Positionierung oder Ausrichtung des
Werkzeugs 5 mittels der Geschwindigkeitssteuerung 19 kompensiert werden. Dies setzt sich im weiteren Verlauf der Schneidearbeit fort. Ausgehend von Position 28 beispielsweise wird mittels der Grobpositionierung das Werkzeug 5 neu
positioniert bzw. ausgerichtet. Je nach Winkellage des Werkzeugs 5 zu dem Gewebe 36 bzw. zur Schnittvorgabe 24 kann durch entsprechend angepasste Schnittlängen 33, 34 mittels der Positionssteuerung 20 verhindert werden, dass die Toleranzgrenze 25 an den Positionen 30 bzw. 35 verletzt wird.
Darüber hinaus kann auch vorgesehen sein, dass der Benutzer mit seiner nichtdominanten Hand 13 den Schneidvorgang unterstützt, indem er entweder den
Operationstisch 21 oder einen Roboter ansteuert, mit dem der Körper bzw. das operierte Körperteil, wie z.B. das Knie des Patienten 22, bewegt wird. Das
Gewebestück 36 bzw. der zugehörige Körperteil des Patienten 22 kann somit in Richtung des Instruments 5 nachgeführt werden. Bei einer gekrümmten
Schnittvorgabe 24, wie dargestellt, kann das Gewebestück 36 bzw. das
zugehörige Körperteil des Patienten 22 z.B. rotatorisch/translatorisch bewegt werden, so dass auch gekrümmte Schnitte entlang der Schnittvorgabe 24 ausgeführt werden können. D.h. die positionsgesteuerte Schnittbewegung des Instruments 5 überlagert sich mit der geschwindigkeitsgesteuerten Nachführung des Objekts 36. Mit seiner dominanten Hand 12 kann der Benutzer dann z.B. an Ort und Stelle verharren und im Falle einer Schere z.B. lediglich Auf/Zu- Schneidbewegungen ausführen, während das Objekt 36 entsprechend der gewünschten Schnittvorgabe 24 an der Schere ausgerichtet wird. Wie Fig. 1 1 zeigt, ist es ferner möglich, die Eingabevorrichtung 2 mit mehreren Steuerungen 6a, 6b zu koppeln, wobei jede Steuerung unterschiedliche Aktoren der Roboter 1 , 1 a, 1 b und / oder der Werkzeuge 5, 5a, 5b steuert. Auf diese Weise lassen sich mit ein und derselben Handbewegung mehrere Aktoren gleichzeitig ansteuern, wobei die Ansteuerungsform unterschiedlich sein kann. Z.B. kann eine bestimmte Handbewegung 49, wie sie z. B. in Fig. 2 dargestellt ist, die Steuerung 6a veranlassen, lediglich den Roboterkopf 51 eines Roboters 1 zu betätigen, wohingegen die Handbewegung von A nach B die Steuerung 6b veranlasst, eines der anderen Gelenke 4 des Roboters 1 zu betätigen. Analog dazu können beliebige Kombinationen zwischen beliebig vielen
Steuerungen 6 und den Aktoren der Roboter 1 , 1 a, 1 b und den Werkzeugen 5, 5a, 5b erstellt werden, so dass es prinzipiell möglich wäre, mit einer
Eingabevorrichtung 2 sämtliche Aktoren des Robotersystems einschließlich der Werkzeuge gleichzeitig zu steuern. Insofern könnte z.B. die Steuerung 6a vorgesehen werden, den Roboter 1 a zu betätigen und Steuerung 6b den Roboter 1 b.
Ferner ist es gemäß der Erfindung möglich, dass die Eingabevorrichtung 2 Hand- und Armbewegungen voneinander unterscheiden kann. Wie in Fig. 5 gezeigt,
kann eine Bewegung 54 des Arms 55 unabhängig von einer weiteren
Handbewegung oder Handgeste als Winken erkannt werden. Demnach können zur Steuerung des Robotersystems den einzelnen Gelenkantrieben 4, 4a, 4b, 51 verschiedene Körperteile des Benutzers zugewiesen werden.
D.h. der Roboterarm 1 a fungiert stellvertretend für den linken Arm des Benutzers, der Roboterarm 1 b für den rechten Arm des Benutzers, sowie der linke
Endeffektor 5a für die linke Hand des Benutzers und der rechte Endeffektor 5b für die rechte Hand des Benutzers. Die jeweiligen Vorgaben werden aus den von der Eingabevorrichtung 2 erfassten Hand- bzw. Armgesten erzeugt. Auf diese Weise ist dem Benutzer die Möglichkeit gegeben, das Robotersystem quasi wie seine eigenen beiden Arme bzw. Hände zu nutzen.
Dabei kann der Benutzer simultan mit der nicht-dominanten Hand eine
Grobpositionierung des Roboters 1 a bzw. des Werkzeugs 5a und mit der dominanten Hand eine Feinpositionierung des Roboters 1 b bzw. des Werkzeugs 5b vornehmen. Da die Funktionsweise der Robotersteuerung 6 somit den natürlichen Gegebenheiten eines Menschen nachempfunden ist, bzw. dessen Anatomie stückweise nachbildet, sowie die Händigkeit des Benutzers darauf abgestimmt ist, ist ein äußerst intuitives Arbeiten mit dem Robotersystem implizit gegeben, was den besonderen Vorteil dieser erfindungsgemäßen
Ausführungsvariante charakterisiert
Claims
1 . Vorrichtung (2, 6) zum Steuern eines Robotersystems (1 , 1 a, 1 b, 5, 5a, 5b, 21 ), mit einer manuell bedienbaren Eingabevorrichtung (2), die eine Sensorik (7,10,1 1 ) zum Erfassen von Steuervorgaben einer ersten Hand (12) und einer zweiten Hand (13) aufweist, und mit einer Steuerung (6) mit einer ersten Steuereinheit (19), die in Abhängigkeit von den Steuervorgaben der ersten Hand (12) eine Positionssteuerung durchführt, und einer zweiten Steuereinheit (20), die in Abhängigkeit von den Steuervorgaben der zweiten Hand (13) eine Geschwindigkeitssteuerung durchführt,
dadurch gekennzeichnet, dass
Mittel (7, 1 1 ) zum Erkennen einer dominanten Hand (12) und einer nichtdominanten Hand (13) eines Benutzers vorgesehen sind, und die Steuerung (6) eine von den Mitteln (7, 1 1 ) erzeugte Information über die Händigkeit des Benutzers berücksichtigt, indem sie in Reaktion auf Steuervorgaben der dominanten Hand (12) automatisch eine Positionssteuerung, und in Reaktion auf Steuervorgaben der nicht-dominanten Hand (13) automatisch eine Geschwindigkeitssteuerung durchführt.
2. Vorrichtung (2, 6) nach Anspruch 1 , dadurch gekennzeichnet, dass die erste und zweite Steuereinheit (19, 20) eine von einem Benutzer ausgeführte Steuervorgabe jeweils mit einem bestimmten Skalierungsfaktor in eine entsprechende Bewegung eines gesteuerten Objekts übertragen, wobei der Skalierungsfaktor derjenigen Steuereinheit (19), die der nicht-dominanten Hand (13) zugeordnet ist, größer ist, als der Skalierungsfaktor derjenigen Steuereinheit (20), die der dominanten Hand (12) zugeordnet ist.
3. Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Steuerung (6) ein Steuerglied (17) aufweist, das
ein erstes Signal (S1 ,S2), das eine Steuervorgabe einer ersten Hand (13) repräsentiert, und ein zweites Signal (x), das eine Positionsvorgabe repräsentiert, die aus einer Steuervorgabe einer zweiten Hand (12) resultiert, überlagert und ein Ausgangssignal (v) erzeugt, mittels dessen wenigstens ein Aktuator des Robotersystems (1 , 1 a, 1 b, 4, 4a, 4b, 5, 5a, 5b, 21 , 51 ) angesteuert wird, um die von den Händen ausgeführten Steuervorgaben in eine entsprechende Bewegung umzusetzen.
4. Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die erste Steuereinheit (19) und die zweite
Steuereinheit (20) zur Steuerung desselben oder derselben Aktuatoren (4, 4a, 4b) eines oder mehrerer Roboter (1 , 1 a, 1 b) und/oder eines oder mehrerer Werkzeuge (5, 5a, 5b) vorgesehen sind.
5. Vorrichtung (2, 6) nach einem der Ansprüche 1 bis 4, dadurch
gekennzeichnet, dass die erste Steuereinheit (19) und die zweite
Steuereinheit (20) zur Steuerung verschiedener Aktuatoren eines oder mehrerer Roboter (1 , 1 a, 1 b) und/oder eines oder mehrerer Werkzeuge (5, 5a, 5b) vorgesehen sind.
6. Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Sensorik (7, 10, 1 1 ) ein Bilderfassungssystem mit wenigstens einer Kamera (10) umfasst.
7. Verwendung einer der vorstehend beanspruchten Vorrichtungen zur
Steuerung eines oder mehrerer chirurgischer Roboter (1 , 1 a, 1 b) und/oder chirurgischer Instrumente (5, 5a, 5b) und/oder eines Operationstisches (21 ) bei einer Operation.
8. Verwendung nach Anspruch 7, dadurch gekennzeichnet, dass das chirurgische Instrument (5, 5a, 5b) ein Greif-, Halte-, Schneid-, Säge-, Schleif-, Verbinde-, Füge- oder ein anderes Werkzeug aus der Gruppe der chirurgischen Instrumente ist.
9. Verfahren zum Steuern eines Robotersystems (1 , 1 a, 1 b, 5, 21 ) mittels wenigstens zweier Hände (12, 13), wobei Steuervorgaben einer ersten Hand (12) und einer zweiten Hand (13) mittels einer Eingabevorrichtung (2) erfasst werden,
gekennzeichnet durch folgende Schritte:
- Erfassen, ob die erste Hand (12) eine dominante oder eine nicht-dominante Hand ist und/oder ob die zweite Hand (13) eine dominante oder eine nichtdominante Hand ist, wobei die Information über die Händigkeit des
Benutzers von einer Steuerung (6) mit einer ersten (20) und einer zweiten Steuereinheit (19) berücksichtigt wird;
- Verarbeiten von Steuervorgaben der dominanten Hand (12) mittels der ersten Steuereinheit (20), die in Reaktion auf Steuervorgaben der dominanten Hand (12) eine Positionssteuerung durchführt, und
- Verarbeiten von Steuervorgaben der nicht-dominanten Hand (12) mittels der zweiten Steuereinheit (19), die in Reaktion auf Steuervorgaben der nicht-dominanten Hand (13) eine Geschwindigkeitssteuerung durchführt.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die
Positionssteuerung (20) eine Feinpositionierung wenigstens eines Aktuators eines Roboters (1 , 1 a, 1 b) und / oder eines Werkzeugs (5, 5a, 5b) und die Geschwindigkeitssteuerung (19) eine Nachführung eines Objektes (36) und / oder eine Grobpositionierung wenigstens eines Aktuators eines Roboters (1 , 1 a, 1 b) und / oder eines Werkzeugs (5, 5a, 5b) durchführt.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass Ungenauigkeiten der Geschwindigkeitssteuerung (19) durch die Positionssteuerung (20) kompensiert werden.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/438,692 US9582079B2 (en) | 2012-10-25 | 2013-10-21 | Manually operated robot control system and method for controlling a robot system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012110190.6A DE102012110190B4 (de) | 2012-10-25 | 2012-10-25 | Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems |
DE102012110190.6 | 2012-10-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014064025A1 true WO2014064025A1 (de) | 2014-05-01 |
Family
ID=49582710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2013/071916 WO2014064025A1 (de) | 2012-10-25 | 2013-10-21 | Manuell betätigte robotersteuerung und verfahren zum steuern eines robotersystems |
Country Status (3)
Country | Link |
---|---|
US (1) | US9582079B2 (de) |
DE (1) | DE102012110190B4 (de) |
WO (1) | WO2014064025A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107598924A (zh) * | 2017-09-07 | 2018-01-19 | 南京昱晟机器人科技有限公司 | 一种机器人手势识别控制方法 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10406686B2 (en) * | 2012-12-14 | 2019-09-10 | Abb Schweiz Ag | Bare hand robot path teaching |
US10768708B1 (en) * | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
LT3188645T (lt) * | 2014-09-04 | 2020-07-10 | Memic Innovative Surgery Ltd. | Įtaisas ir sistema su mechaninėmis rankomis |
US20160221190A1 (en) * | 2015-01-29 | 2016-08-04 | Yiannis Aloimonos | Learning manipulation actions from unconstrained videos |
DE102015104810A1 (de) * | 2015-03-27 | 2016-09-29 | Medineering Gmbh | Verfahren und Vorrichtung zum Steuern eines chirurgischen mechatronischen Assistenzsystems mittels eines Haltearms für medizinische Zwecke |
US10827930B2 (en) * | 2016-02-26 | 2020-11-10 | Niramai Health Analytix Pvt Ltd | Privacy booth for breast cancer screening |
LT3219283T (lt) | 2016-03-09 | 2021-03-10 | Memic Innovative Surgery Ltd. | Modulinis chirurginis įtaisas, apimantis mechanines rankas |
DE202016002296U1 (de) * | 2016-04-08 | 2017-07-12 | Liebherr-Components Biberach Gmbh | Baumaschine |
CN109414296A (zh) * | 2016-07-06 | 2019-03-01 | 皇家飞利浦有限公司 | 测量细长管腔内设备的移动长度 |
US10635758B2 (en) | 2016-07-15 | 2020-04-28 | Fastbrick Ip Pty Ltd | Brick/block laying machine incorporated in a vehicle |
AU2017294795B2 (en) | 2016-07-15 | 2019-06-13 | Fastbrick Ip Pty Ltd | Boom for material transport |
US10111719B2 (en) | 2016-08-16 | 2018-10-30 | Ethicon Llc | Control of the rate of actuation of tool mechanism based on inherent parameters |
US10099368B2 (en) | 2016-10-25 | 2018-10-16 | Brandon DelSpina | System for controlling light and for tracking tools in a three-dimensional space |
US10973592B2 (en) | 2017-03-09 | 2021-04-13 | Memie Innovative Surgery Ltd. | Control console for surgical device with mechanical arms |
CN110603002A (zh) | 2017-03-10 | 2019-12-20 | 拜欧米特制造有限责任公司 | 增强现实支持的膝盖手术 |
JP6487489B2 (ja) * | 2017-05-11 | 2019-03-20 | ファナック株式会社 | ロボット制御装置及びロボット制御プログラム |
CN111095355B (zh) | 2017-07-05 | 2023-10-20 | 快砖知识产权私人有限公司 | 实时定位和定向跟踪器 |
AU2018317941B2 (en) | 2017-08-17 | 2023-11-09 | Fastbrick Ip Pty Ltd | Laser tracker with improved roll angle measurement |
US11958193B2 (en) | 2017-08-17 | 2024-04-16 | Fastbrick Ip Pty Ltd | Communication system for an interaction system |
CN111132629B (zh) * | 2017-09-06 | 2024-04-16 | 柯惠Lp公司 | 手术机器人的边界缩放 |
US11401115B2 (en) | 2017-10-11 | 2022-08-02 | Fastbrick Ip Pty Ltd | Machine for conveying objects and multi-bay carousel for use therewith |
DE202018101332U1 (de) | 2018-03-09 | 2018-04-18 | Abb Schweiz Ag | Robotersystem mit einer Steuereinheit zur manuellen Steuerung des Roboters |
JP6439953B1 (ja) * | 2018-03-11 | 2018-12-19 | 求 藤川 | 判定装置、判定装置の制御方法 |
DE102018108445B3 (de) | 2018-04-10 | 2019-08-01 | Ifm Electronic Gmbh | Verfahren zum Programmieren eines Fertigungsschritts für einen Industrieroboter |
US20210323168A1 (en) * | 2018-08-10 | 2021-10-21 | Kawasaki Jukogyo Kabushiki Kaisha | Intermediation device and intermediating method using the same |
CN110936377A (zh) * | 2019-12-04 | 2020-03-31 | 路邦科技授权有限公司 | 一种机器人的动作传感与电脑编程互换控制系统 |
CN110912024B (zh) * | 2019-12-09 | 2021-04-20 | 国网智能科技股份有限公司 | 一种变电站绝缘子带电作业平台控制系统及方法 |
US20230038804A1 (en) * | 2019-12-13 | 2023-02-09 | Kawasaki Jukogyo Kabushiki Kaisha | Master-slave system and controlling method |
JP7504374B2 (ja) | 2020-06-19 | 2024-06-24 | Telexistence株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御システム |
US12042241B2 (en) | 2021-03-31 | 2024-07-23 | Moon Surgical Sas | Co-manipulation surgical system having automated preset robot arm configurations |
CN114147725B (zh) * | 2021-12-21 | 2024-04-02 | 乐聚(深圳)机器人技术有限公司 | 机器人的零点调整方法、装置、设备及存储介质 |
DE102023201639A1 (de) | 2023-02-23 | 2024-08-29 | OPTIMA pharma GmbH | System umfassend einen Isolator und einen Manipulator und Verfahren zum Steuern eines Manipulators |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19809382A1 (de) | 1997-03-14 | 1998-10-15 | Dango & Dienenthal Maschbau | Steuerungssystem für Handlingmaschinen |
US20070236460A1 (en) * | 2006-04-06 | 2007-10-11 | Motorola, Inc. | Method and apparatus for user interface adaptation111 |
WO2008064380A1 (de) * | 2006-11-28 | 2008-06-05 | Keba Ag | Tragbare bedien- und beobachtungsvorrichtung für eine industrielle steuerungseinrichtung |
US20080255704A1 (en) | 2005-10-06 | 2008-10-16 | Knut Braut | Control System and Teach Pendant For An Industrial Robot |
US20100332087A1 (en) | 2009-06-24 | 2010-12-30 | Mark Robert Claffee | Remote Vehicle Controller |
KR20110003146A (ko) | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
US20110118752A1 (en) | 2009-11-13 | 2011-05-19 | Brandon Itkowitz | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument |
US20110296353A1 (en) | 2009-05-29 | 2011-12-01 | Canesta, Inc. | Method and system implementing user-centric gesture control |
WO2012024022A2 (en) * | 2010-08-20 | 2012-02-23 | University Of Massachusetts | Hand and finger registration for control applications |
WO2012099584A1 (en) * | 2011-01-19 | 2012-07-26 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6026720A (en) * | 1997-06-30 | 2000-02-22 | Swank; Bryan W. | Cue servicing and repair apparatus |
US7314103B2 (en) * | 2003-08-25 | 2008-01-01 | Airtrax, Inc. | Re-locatable operator station |
US20060229034A1 (en) * | 2005-03-29 | 2006-10-12 | Nomadio, Inc. | Ergonomic handheld remote controller |
AT503865B1 (de) * | 2005-05-25 | 2008-06-15 | Wittmann Kunststoffgeraete Gmb | Verfahren zur positons- und/oder geschwindigkeitsregelung eines linearen antriebes |
US20090158190A1 (en) * | 2007-12-13 | 2009-06-18 | Yuvee, Inc. | Computing apparatus including a personal web and application assistant |
US8464160B2 (en) * | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
WO2010143361A1 (ja) * | 2009-06-08 | 2010-12-16 | パナソニック株式会社 | 作業認識システム、作業認識装置および作業認識方法 |
US8330639B2 (en) * | 2009-12-24 | 2012-12-11 | Silverlit Limited | Remote controller |
US9821224B2 (en) * | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US8760426B1 (en) * | 2012-03-26 | 2014-06-24 | Amazon Technologies, Inc. | Dominant hand detection for computing devices |
-
2012
- 2012-10-25 DE DE102012110190.6A patent/DE102012110190B4/de active Active
-
2013
- 2013-10-21 WO PCT/EP2013/071916 patent/WO2014064025A1/de active Application Filing
- 2013-10-21 US US14/438,692 patent/US9582079B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19809382A1 (de) | 1997-03-14 | 1998-10-15 | Dango & Dienenthal Maschbau | Steuerungssystem für Handlingmaschinen |
US20080255704A1 (en) | 2005-10-06 | 2008-10-16 | Knut Braut | Control System and Teach Pendant For An Industrial Robot |
US20070236460A1 (en) * | 2006-04-06 | 2007-10-11 | Motorola, Inc. | Method and apparatus for user interface adaptation111 |
WO2008064380A1 (de) * | 2006-11-28 | 2008-06-05 | Keba Ag | Tragbare bedien- und beobachtungsvorrichtung für eine industrielle steuerungseinrichtung |
US20110296353A1 (en) | 2009-05-29 | 2011-12-01 | Canesta, Inc. | Method and system implementing user-centric gesture control |
US20100332087A1 (en) | 2009-06-24 | 2010-12-30 | Mark Robert Claffee | Remote Vehicle Controller |
KR20110003146A (ko) | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
US20110118752A1 (en) | 2009-11-13 | 2011-05-19 | Brandon Itkowitz | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument |
WO2012024022A2 (en) * | 2010-08-20 | 2012-02-23 | University Of Massachusetts | Hand and finger registration for control applications |
WO2012099584A1 (en) * | 2011-01-19 | 2012-07-26 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107598924A (zh) * | 2017-09-07 | 2018-01-19 | 南京昱晟机器人科技有限公司 | 一种机器人手势识别控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150293596A1 (en) | 2015-10-15 |
US9582079B2 (en) | 2017-02-28 |
DE102012110190A1 (de) | 2014-04-30 |
DE102012110190B4 (de) | 2015-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012110190B4 (de) | Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems | |
DE102013110847B3 (de) | Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung | |
DE102015200428B3 (de) | Verfahren zur Ausrichtung eines mehrachsigen Manipulators mit einem Eingabegerät | |
EP2449997B1 (de) | Medizinischer Arbeitsplatz | |
DE102013004692B4 (de) | 3D-Eingabegerät mit einem zusätzlichen Drehregler | |
DE102013100605A1 (de) | Robotersystem und Verfahren zum Steuern eines Robotersystems für die minimal invasive Chirurgie | |
EP2328501B1 (de) | Medizinischer arbeitsplatz und bedienvorrichtung zum manuellen bewegen eines roboterarms eines medizinischen arbeitsplatzes | |
DE102014223701B4 (de) | Vorgebbare Beweglichkeit für ein robotisches Gerät | |
EP3271118B1 (de) | Robotersystem und verfahren zum betrieb eines teleoperativen prozesses | |
WO2015014668A1 (de) | Eingabevorrichtung zur gestensteuerung mit schutzeinrichtung | |
EP3232976A1 (de) | System zur roboterunterstützten medizinischen behandlung | |
DE102015210218B4 (de) | Verfahren zum Betreiben eines Roboters, zugehöriger Roboter mit einer Vibrationsvorrichtung und Roboterarbeitsplatz | |
DE10239673A1 (de) | Vorrichtung zur Bearbeitung von Teilen | |
EP3630422B1 (de) | Manipulatorsystem mit eingabemittel zur kraftreduktion | |
WO2013156468A1 (de) | Verfahren zum betreiben eines roboters | |
EP3639782A1 (de) | Steuerungsanordnung zur steuerung einer bewegung eines roboterarms und behandlungsvorrichtung mit steuerungsanordnung | |
DE112022004011T5 (de) | Techniken zur ausführung von befehlen einer eingabevorrichtung unter verwendung eines eingeschränkten proxys | |
EP3573792B1 (de) | Operations-assistenz-system und verfahren zur erzeugung von steuersignalen zur sprachsteuerung einer motorisch gesteuert bewegbaren roboterkinematik eines derartigen operations-assistenz-systems | |
DE102018104714A1 (de) | Telemanipulatorsystem und Verfahren zum Betreiben eines Telemanipulatorsystems | |
WO2023089061A1 (de) | Medizinischer roboter mit intuitiver steuerung und steuerungsverfahren | |
DE102014006264A1 (de) | Verfahren und Vorrichtung zum Steuern der Bewegung eines Objekts | |
EP3218152B1 (de) | System mit einem medizinischen instrument und ein aufnahmemittel | |
EP3760393A1 (de) | Verfahren und vorrichtung zum steuern eines robotersystems mittels menschlicher bewegung | |
DE112019004999T5 (de) | Systeme und Verfahren zur Bewegungssteuerung von lenkbaren Geräten | |
WO2024018011A1 (de) | Steuervorrichtung und system, sowie system mit einem medizinischen operationsinstrument, einer datenerfassungsvorrichtung und einer datenverarbeitungseinrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13789725 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14438692 Country of ref document: US |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13789725 Country of ref document: EP Kind code of ref document: A1 |