WO2026014472A1 - 手術支援システム、手術支援ロボットの動作方法、および、プログラム - Google Patents
手術支援システム、手術支援ロボットの動作方法、および、プログラムInfo
- Publication number
- WO2026014472A1 WO2026014472A1 PCT/JP2025/024648 JP2025024648W WO2026014472A1 WO 2026014472 A1 WO2026014472 A1 WO 2026014472A1 JP 2025024648 W JP2025024648 W JP 2025024648W WO 2026014472 A1 WO2026014472 A1 WO 2026014472A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- robot
- surgical
- avoidance
- avoidance target
- surgical support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Leader-follower robots
Definitions
- This disclosure relates to a surgical assistance system, a method for operating a surgical assistance robot, and a program.
- JP 2023-539372 A discloses a medical system equipped with a robot system that performs treatment on patients as a surgical support robot.
- This robot system is equipped with a robot arm to the end of which a medical device is connected.
- the movement of the medical device connected to the robot arm is controlled by setting a collision area in association with the object to avoid collision with the object.
- the end of the robot arm is manually moved to a position adjacent to the object, and the collision area is set based on the position of the robot arm moved to be adjacent to the object.
- JP 2023-539372 A when setting a collision area to avoid collision between a surgical support robot and an object, the tip of the surgical support robot's robot arm is manually moved to a position adjacent to the object. Therefore, each time settings are made to avoid contact, the tip of the surgical support robot's robot arm must be moved, which places a burden on the operator. For this reason, it is desirable to reduce the workload involved in setting up the surgical support robot to avoid contact with an object when operating it.
- This disclosure aims to provide a surgical support system, a surgical support robot operation method, and a program that can reduce the workload involved in setting up a surgical support robot to avoid contact with an avoidance target when operating the robot.
- a surgical support system comprises a surgical support robot including a robotic arm to which a surgical instrument is attached; an operating device that accepts operations on the surgical instrument; marker members attached to targets to be avoided, which include at least one of a patient on whom surgery is to be performed using the surgical support robot and obstacles located around the patient; an imaging unit that images the marker members; and a control unit that detects the marker members based on an image of the marker members captured by the imaging unit, and causes the surgical support robot to perform avoidance operations based on the detected marker members, including at least one of avoiding contact with the target to be avoided and releasing contact if the target to be avoided comes into contact with the marker members.
- a surgical support system includes a control unit that detects a marker member based on an image captured by an imaging unit of the marker member, and causes the surgical support robot to perform an avoidance operation that includes at least one of avoiding contact with an avoidance target and canceling contact if the avoidance target comes into contact, based on the detected marker member.
- This allows the surgical support robot to perform an avoidance operation with respect to the avoidance target based on the marker member detected using the image captured by the imaging unit. Therefore, unlike when the end of the robot arm is moved to a position adjacent to the avoidance target, the avoidance operation can be performed based on the captured image without moving the robot arm each time settings are made to avoid contact with the avoidance target. As a result, when operating the surgical support robot, the workload involved in setting up the operation to avoid contact with the avoidance target can be reduced.
- a method for operating a surgical support robot includes capturing an image of a marker member attached to an object to be avoided, which includes at least one of a patient on whom surgery is to be performed using a surgical support robot including a robotic arm to which surgical instruments are attached and an obstacle located around the patient; detecting the marker member based on the captured image of the marker member; and performing an avoidance operation by the surgical support robot, based on the detected marker member, which includes at least one of avoiding contact with the object to be avoided and resolving contact if the object to be avoided comes into contact.
- the avoidance operation can be performed based on the captured image without moving the robot arm each time settings are made to avoid contact with the avoidance target.
- a surgical support robot operation method can be provided that can reduce the workload involved in setting up the operation to avoid contact with the avoidance target when operating the surgical support robot.
- a program causes a computer to capture an image of a marker member attached to an object to be avoided, which includes at least one of a patient on whom surgery is to be performed using a surgical support robot including a robotic arm to which surgical instruments are attached and an obstacle located around the patient; detect the marker member based on the captured image of the marker member; and perform an avoidance operation with the surgical support robot, based on the detected marker member, which includes at least one of avoiding contact with the object to be avoided and resolving contact if the object to be avoided comes into contact.
- a program according to a third aspect of the present disclosure causes a computer to detect a marker member based on a captured image in which the marker member is captured. Furthermore, a program according to the third aspect of the present disclosure, as described above, causes a computer to execute, by a surgical support robot, an avoidance operation that includes at least one of avoiding contact with an avoidance target and releasing contact if the avoidance target comes into contact, based on the detected marker member. This allows the surgical support robot to execute an avoidance operation with respect to the avoidance target based on the marker member detected using the captured image.
- the avoidance operation can be executed based on the captured image without moving the robot arm each time settings are made to avoid contact with the avoidance target.
- a program can be provided that can reduce the workload involved in setting up the operation to avoid contact with the avoidance target when operating a surgical support robot.
- FIG. 1 is a diagram showing the configuration of a surgery support system according to a first embodiment.
- FIG. 3 is a diagram showing a display unit of the medical cart according to the first embodiment.
- 1 is a diagram showing a configuration of a medical cart according to a first embodiment.
- FIG. 1 is a diagram illustrating a configuration of a robot arm according to a first embodiment.
- FIG. FIG. 2 is a perspective view showing the configuration of an arm operating unit according to the first embodiment.
- FIG. 10 is a diagram for explaining translational movement of a robot arm.
- FIG. 10 is a diagram for explaining the rotational movement of the robot arm.
- FIG. 1 is a diagram showing an endoscope.
- FIG. 10 shows a pivot position setting tool.
- FIG. 2 is a diagram showing an operation unit according to the first embodiment.
- FIG. 2 is a diagram showing a wrist portion for a right hand according to the first embodiment.
- FIG. 2 is a diagram showing a wrist portion for a left hand according to the first embodiment.
- 1 is a perspective view showing a foot pedal according to a first embodiment.
- FIG. FIG. 2 is a control block diagram of the surgery support robot according to the first embodiment.
- FIG. 2 is a control block diagram of the robot arm according to the first embodiment.
- FIG. 2 is a control block diagram of the positioner and the medical cart according to the first embodiment.
- FIG. 10 is a perspective view for explaining an avoidance target area.
- FIG. 10 is a perspective view for explaining an avoidance target area.
- FIG. 10 is a diagram showing an example of instruction information in an endoscopic image.
- FIG. 2 is a control flow diagram for explaining an operation method of the surgery support robot according to the first embodiment.
- FIG. 10 is a diagram showing the configuration of a surgery support system according to a second embodiment.
- the surgery assistance system 500 includes a surgery assistance robot 100, a remote control device 200, a vision unit 300, and an image processing unit 400.
- the remote control device 200 is an example of an operation device.
- the longitudinal direction of the surgical instrument 1 is referred to as the Z direction.
- the tip side of the surgical instrument 1 is referred to as the Z1 side, and the base end side of the surgical instrument 1 is referred to as the Z2 side.
- the direction perpendicular to the Z direction is referred to as the X direction.
- the direction perpendicular to the Z direction and the X direction is referred to as the Y direction.
- the surgical support robot 100 is placed in an operating room.
- the remote control device 200 is placed at a location separate from the surgical support robot 100.
- the remote control device 200 accepts operations on the surgical instrument 1. Specifically, an operator such as a doctor inputs commands to the remote control device 200 to cause the surgical support robot 100 to perform a desired operation.
- the remote control device 200 transmits the input commands to the surgical support robot 100.
- the surgical support robot 100 operates based on the received commands.
- the surgical support robot 100 is placed in an operating room, which is a sterilized sterile field.
- the surgical support robot 100 includes a medical cart 10, a cart positioner operating unit 20, a positioner 30, an arm base 40, a plurality of robot arms 50, and an arm operating unit 60 provided on each robot arm 50.
- the cart positioner operating unit 20 is supported by a cart positioner operating support unit 21 at the rear of the medical cart 10, and the medical cart 10 or the positioner 30 is moved by operating the cart positioner operating unit 20.
- the cart positioner operating unit 20 includes an input device 22 and an operating handle 23.
- the input device 22 accepts operations to move and change the posture of the positioner 30, arm base 40, and multiple robot arms 50, mainly to prepare for surgery before the procedure.
- the input device 22 of the medical cart 10 includes a display unit 22a, a joystick 22b, an enable switch 22c, an error reset button 22d, and a speaker 22e.
- the display unit 22a is, for example, a liquid crystal panel. As shown in FIG. 2, the display unit 22a displays numbers corresponding to the multiple robot arms 50. The display unit 22a also displays the type of surgical instrument 1 attached to each of the multiple robot arms 50. The display unit 22a displays a check mark CM indicating that the pivot position PP, described below, has been set.
- the joystick 22b is located near the display unit 22a of the input device 22 of the medical cart 10. By selecting an operation mode displayed on the display unit 22a and operating the joystick 22b, the positioner 30 is moved three-dimensionally.
- the enable switch 22c is located near the joystick 22b.
- the enable switch 22c allows or disallows movement of the positioner 30.
- the enable switch 22c is pressed, allowing movement of the positioner 30, the positioner 30 is moved by operating the joystick 22b.
- the error reset button 22d clears any errors in the surgery support system 500.
- the error may be, for example, an abnormal deviation error.
- a pair of speakers 22e are provided. The pair of speakers 22e are located near the location of the positioner 30 on the medical cart 10.
- the operating handle 23 is located near the display unit 22a.
- the operating handle 23 has a throttle 23a that is gripped and rotated by an operator such as a nurse or technician to control the movement of the medical cart 10.
- the operating handle 23 is located below the input device 22.
- the medical cart 10 moves forward when the throttle 23a is rotated from the front to the back.
- the medical cart 10 moves backward when the throttle 23a is rotated from the back to the front.
- the speed of the medical cart 10 changes depending on the amount of rotation of the throttle 23a.
- the operating handle 23 is configured to be rotatable left and right, indicated by the R direction, and the medical cart 10 rotates as the operating handle 23 is rotated.
- an enable switch 23b is located on the operating handle 23, which allows or disallows movement of the medical cart 10.
- the enable switch 23b is pressed down to allow movement of the medical cart 10, the throttle 23a of the operating handle 23 is operated, causing the medical cart 10 to move.
- the positioner 30 is, for example, a seven-axis articulated robot.
- the positioner 30 is placed on the medical cart 10.
- the positioner 30 adjusts the position of the arm base 40.
- the positioner 30 moves the position of the arm base 40 three-dimensionally.
- the positioner 30 includes a base portion 31 and multiple link portions 32 connected to the base portion 31.
- the multiple link portions 32 are connected to each other by joints 33.
- the arm base 40 is attached to the tip of the positioner 30.
- the base ends of the multiple robot arms 50 are attached to the arm base 40.
- the multiple robot arms 50 can be folded into a storage position.
- the arm base 40 and the multiple robot arms 50 are covered with a sterile drape when in use.
- the robot arms 50 also support the surgical instrument 1.
- the arm base 40 is provided with a status indicator 41 and an arm status indicator 42, as shown in FIG. 15.
- the status indicator 41 displays the status of the surgical assistance system 500.
- the arm status indicator 42 displays the status of the robot arm 50.
- an imaging unit 43 is arranged on the arm base 40.
- the imaging unit 43 captures images of marker member 91, marker member 92, marker member 93, and marker member 94.
- the imaging unit 43 captures a captured image 71 as a three-dimensional image shown in FIG. 19.
- the imaging unit 43 is, for example, a stereo camera.
- the imaging unit 43 has an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- the imaging unit 43 transmits the captured image 71 to the first control device 310.
- the imaging unit 43 also serves as an imaging unit for aligning the surgical support robot 100. During the roll-in operation in which the operator moves the surgical support robot 100 near the patient P placed on the bed 501, the captured image 71 captured by the imaging unit 43 is displayed in real time on the display unit 22a shown in Figure 3.
- a plurality of robot arms 50 are provided. Specifically, four robot arms 50a, 50b, 50c, and 50d are provided. Robot arms 50a, 50b, 50c, and 50d have the same configuration.
- the robot arm 50 includes an arm section 51, a first link section 52, a second link section 53, and a translational movement mechanism section 54.
- the robot arm 50 has joints JT1, JT2, JT3, JT4, JT5, JT6, JT7, and JT8.
- the joints JT1, JT2, JT3, JT4, JT5, JT6, and JT7 have axes A1, A2, A3, A4, A5, A6, and A7, respectively, as rotation axes.
- JT8 has axis A8 as a linear axis.
- the arm section 51 includes a base section 51a and a link section 51b.
- the arm unit 51 consists of a seven-axis articulated robot arm.
- the first link unit 52 is located at the tip of the arm unit 51.
- the arm operating unit 60 which will be described later, is attached to the second link unit 53.
- the translational movement mechanism unit 54 is located between the first link unit 52 and the second link unit 53.
- a holder 55 that holds the surgical instrument 1 is located on the second link unit 53.
- the translational movement mechanism unit 54 translates the holder 55, to which the surgical instrument 1 is attached, between a first position and a second position.
- the first position is the end position on the Z2 side of the range of movement of the holder 55 by the translational movement mechanism unit 54 along the A8 axis.
- the second position is the end position on the Z1 side of the range of movement of the holder 55 by the translational movement mechanism unit 54 along the A8 axis.
- a surgical instrument 1 is attached to the tip of each of the multiple robot arms 50.
- the surgical instrument 1 includes, for example, an interchangeable instrument 2, an endoscope 3 shown in FIG. 9 for capturing an endoscopic image 72, which is an image of the surgical site, and a pivot position setting instrument 4 shown in FIG. 10 for setting the pivot position PP.
- the instrument 2 includes a driven unit 2a, an end effector 2b, and a shaft 2c shown in FIG. 5.
- the end effector 2b is connected to the tip of the shaft 2c.
- an endoscope 3 is attached to the tip of one of the multiple robot arms 50, for example, robot arm 50c, and instruments 2 are attached to the tips of the remaining robot arms, for example, robot arms 50a, 50b, and 50d. It is desirable that the endoscope 3 be attached to one of the two centrally located robot arms 50b and 50c of the four robot arms 50 arranged adjacent to each other.
- an end effector 2b having, for example, jaw members 2f and 2g is attached to the tip of the instrument 2.
- the end effector 2b include instruments with joints, such as scissors, graspers, needle holders, microdissectors, stable appliers, tackers, suction and irrigation tools, snare wires, and clip appliers.
- Instruments without joints, such as cutting blades, cauterizing probes, irrigators, catheters, and suction orifices, are attached to the tip of the instrument 2.
- the instrument 2 includes a first support member 2d and a second support member 2e.
- the first support member 2d is attached to the shaft 2c.
- the second support member 2e is supported by the first support member 2d so that it can rotate around the A10 axis, and supports the end effector 2b so that it can rotate around the A11 axis that intersects with the A10 axis.
- the shaft 2c rotates around the A9 axis.
- the instrument 2 engages with the holder 55 via a drape adapter 55a.
- the holder 55 to which the instrument 2 is attached is a broad concept that includes both cases where the instrument 2 is attached directly to the holder 55 and cases where the instrument 2 is attached to the holder 55 via a drape adapter 55a.
- the drape adapter 55a is attached to the holder 55 when attaching the drape in preparation for surgery, and is not removed during surgery. When replacing the instrument 2, the instrument 2 is removed from the drape adapter 55a and another instrument 2 is attached.
- the arm operating unit 60 is attached to the robot arm 50 and operates the robot arm 50. Specifically, the arm operating unit 60 is attached to the second link unit 53.
- the arm operating unit 60 includes an enable switch 61, a joystick 62, a linear switch 63, a mode switching button 64, a mode indicator 65, a pivot button 66, and an adjustment button 67.
- the enable switch 61 When the enable switch 61 is pressed, it allows or disallows movement of the robot arm 50 using the joystick 62 and linear switch 63. When the enable switch 61 is pressed while the arm operating unit 60 is being held by an operator such as a nurse or assistant, movement of the surgical instrument 1 by the robot arm 50 is permitted.
- the joystick 62 is an operating tool used to control the movement of the surgical instrument 1 by the robot arm 50.
- the joystick 62 controls the direction and speed of movement of the robot arm 50.
- the robot arm 50 moves according to the direction and angle at which the joystick 62 is tilted.
- the linear switch 63 is a switch for moving the surgical instrument 1 in the Z direction, which is the longitudinal direction of the surgical instrument 1.
- the linear switch 63 includes a linear switch 63a that moves the surgical instrument 1 in the direction of inserting it into the patient P, and a linear switch 63b that moves the surgical instrument 1 in the direction away from the patient P. Both the linear switch 63a and the linear switch 63b are push button switches.
- the mode switching button 64 is a push button switch for switching between a mode for translating the surgical instrument 1 and a mode for rotating the surgical instrument 1.
- the robot arm 50 in the mode for translating the robot arm 50, the robot arm 50 is moved so that the tip 1a of the surgical instrument 1 moves on the X-Y plane.
- the robot arm 50 in the mode for rotating the robot arm 50, when the pivot position PP is not stored in the memory unit 351, the robot arm 50 is rotated around the center on the A11 axis of the end effector 2b of the instrument 2 serving as the surgical instrument 1 or the tip of the end effector 2b as the fulcrum.
- the robot arm 50 is moved so that the surgical instrument 1 is rotated around the pivot position PP as the fulcrum. Note that the surgical instrument 1 is rotated with the shaft 1c of the surgical instrument 1 inserted into the trocar T.
- the mode switching button 64 is located on the Z-direction surface of the arm operating unit 60.
- the mode indicator 65 displays the switched mode. When the mode indicator 65 is lit, it indicates rotational movement mode, and when it is off, it indicates translational movement mode.
- the mode indicator 65 also serves as a pivot position indicator that shows that the pivot position PP has been set.
- the mode indicator 65 is located on the surface of the arm operating unit 60 facing in the Z direction.
- the pivot button 66 is a push button switch used to set the pivot position PP, which serves as the fulcrum for movement of the surgical instrument 1 attached to the robot arm 50.
- the adjustment button 67 is a button for optimizing the position of the robot arm 50. After setting the pivot position PP for the robot arm 50 to which the endoscope 3 is attached, pressing the adjustment button 67 optimizes the positions of the other robot arms 50 and arm base 40.
- the adjustment button 67 is a different button from the enable switch 61.
- the remote control device 200 is placed, for example, inside or outside an operating room.
- the remote control device 200 includes an operation unit 110, a foot pedal 120, a touch panel 130, a monitor 140, a support arm 150, a support bar 160, and an error reset button 161.
- the operation unit 110 constitutes an operation handle that allows an operator, such as a doctor, to input commands.
- the monitor 140 is an example of an operation device display unit.
- the operating unit 110 is a handle for operating the surgical instrument 1.
- the operating unit 110 also receives operations on the surgical instrument 1.
- the operating unit 110 includes an operating unit 110L located on the left side and operated with the operator's left hand, and an operating unit 110R located on the right side and operated with the operator's right hand.
- the operating unit 110 includes an arm unit 111 and a wrist unit 112.
- the operating unit 110R includes an arm unit 111R and a wrist unit 112R.
- the operating unit 110L also includes an arm unit 111L and a wrist unit 112L.
- the arm section 111 has joints JT21, JT22, and JT23 shown in Figure 11, and JT24, JT25, JT26, and JT27 shown in Figures 12 and 13.
- the rotation axes of joints JT21, JT22, JT23, JT24, JT25, JT26, and JT27 are designated as A21, A22, A23, A24, A25, A26, and A27, respectively.
- the arm 111R includes link portions 111a, 111b, and 111c.
- the upper end of link portion 111a is attached to the remote control device 200 so as to be rotatable around axis A21, which is aligned vertically.
- the upper end of link portion 111b is attached to the lower end of link portion 111a so as to be rotatable around axis A22, which is aligned horizontally.
- One end of link portion 111c is attached to the lower end of link portion 111b so as to be rotatable around axis A23, which is aligned horizontally.
- the wrist portion 112 is attached to the other end of link portion 111c so as to be rotatable around axis A24.
- Link portion 111a is connected to the remote control device 200 by joint JT21.
- Link portions 111a and 111b are connected by joint JT22.
- Link portions 111b and 111c are connected by joint JT23.
- the arm portion 111 supports the wrist portion 112.
- the arm portion 111L has the same configuration as the arm portion 111R.
- Wrist unit 112 includes wrist unit 112R, which is operated by the operator's right hand as shown in FIG. 12, and wrist unit 112L, which is operated by the operator's left hand as shown in FIG. 13.
- FIG. 12 shows the reference position of operation unit 110R
- FIG. 13 shows the reference position of operation unit 110L.
- the configuration of wrist unit 112R is similar to the configuration of wrist unit 112L.
- the wrist unit 112 includes link units 112a, 112b, 112c, and a grip support member 112d that is operated by an operator such as a doctor.
- the base end of link unit 112a is connected to the tip end of the arm unit 111 and rotates around the A24 axis.
- the base end of link unit 112b is connected to the tip end of link unit 112a and rotates around the A25 axis.
- the base end of link unit 112c is connected to the tip end of link unit 112b and the grip support member 112d is connected to the tip end of link unit 112c and rotates around the A26 axis relative to link unit 112b.
- the grip support member 112d rotates around the A27 axis relative to link unit 112c.
- Link units 112a, 112b, and 112c each have an L-shape.
- the wrist section 112 includes a pair of grip members 112e that are opened and closed by the operator.
- the grip members 112e consist of elongated, plate-shaped lever members, and the proximal ends of each of the pair of grip members 112e are rotatably connected to the proximal end of the grip support member 112d.
- Cylindrical finger insertion sections 112f are disposed on the grip members 112e. The operator inserts their fingers into the pair of finger insertion sections 112f to operate the wrist section 112.
- the base ends of each of the pair of grip members 112e are connected to the grip support member 112d, and the opening angle between the jaw members 2f and 2g is changed by increasing or decreasing the angle between the pair of grip members 112e.
- a magnet is disposed on one of the grip members 112e, and a Hall sensor is disposed on the grip support member 112d.
- the magnet and Hall sensor function as an angle detection sensor, and the Hall sensor outputs the opening angle.
- a Hall sensor may be placed on the grip member 112e and a magnet on the grip support member 112d.
- a magnet or Hall sensor may be placed on both grip members 112e as an angle detection sensor.
- the monitor 140 is a scope-type display device for displaying the endoscopic image 72 captured by the endoscope 3. That is, the monitor 140 displays the endoscopic image 72 captured by the endoscope 3.
- the monitor 140 also has an alarm unit 141 disposed thereon.
- the alarm unit 141 emits an error sound.
- the support arm 150 supports the monitor 140 so that its height is aligned with the face of an operator, such as a doctor.
- the touch panel 130 is disposed on a support bar 160.
- the surgical support robot 100 can be operated by the remote control device 200 by detecting the operator's head using a sensor disposed near the monitor 140.
- the operator operates the operation unit 110 and foot pedal 120 while visually checking the affected area using the endoscopic image 72 displayed on the monitor 140. This allows commands to be input to the remote control device 200.
- the commands input to the remote control device 200 are transmitted to the surgical support robot 100.
- a plurality of foot pedals 120 are provided to perform functions related to the surgical instrument 1.
- the plurality of foot pedals 120 are arranged on a base 121.
- the foot pedals 120 include a switching pedal 122, a clutch pedal 123, a camera pedal 124, an incision pedal 125, a coagulation pedal 126, and a foot detector 127.
- the switching pedal 122, the clutch pedal 123, the camera pedal 124, the incision pedal 125, and the coagulation pedal 126 are operated by the operator's feet.
- the incision pedals 125 include an incision pedal 125R for the right robot arm 50 and an incision pedal 125L for the left robot arm 50.
- the coagulation pedals 126 include a coagulation pedal 126R for the right robot arm 50 and a coagulation pedal 126L for the left robot arm 50.
- the switching pedal 122 switches the robot arm 50 operated by the operation unit 110.
- the clutch pedal 123 performs a clutch operation that temporarily disconnects the operational connection between the robot arm 50 and the operation unit 110. While the clutch pedal 123 is depressed by the operator, operations performed by the operation unit 110 are not transmitted to the robot arm 50. Furthermore, while the operator is depressing the camera pedal 124, the operation unit 110 can be used to operate the robot arm 50 to which the endoscope 3 is attached. While the operator is depressing the incision pedal 125 or coagulation pedal 126, the electrosurgical device is activated.
- the foot detection unit 127 detects the feet of the operator operating the foot pedals 120.
- a foot detection unit 127 is provided for each of the switch pedal 122, clutch pedal 123, camera pedal 124, incision pedal 125L and coagulation pedal 126L, and incision pedal 125R and coagulation pedal 126R, and detects the feet in a hover state located above each foot pedal 120.
- the foot detection unit 127 is located on the base unit 121.
- the function of the foot pedals 120, including the camera pedal 124 is not limited to being pedals that the operator presses with their feet, as in this embodiment; for example, an input device such as a hand switch may be provided on the operation unit 110 so that they can be operated by the operator's hand.
- the vision unit 300 and the image processing unit 400 are placed on a cart 210.
- the image processing unit 400 processes an endoscopic image 72 captured by the endoscope 3.
- a display unit 220 is disposed on the cart 210.
- the endoscopic image 72 captured by the endoscope 3 is displayed on the display unit 220.
- the surgery assistance system 500 includes a first control device 310, an arm control device 320, a positioner control device 330, an operation control device 340, and a second control device 350.
- the surgery assistance system 500 also includes a memory unit 311 connected to the first control device 310 and a memory unit 351 connected to the second control device 350.
- the first control device 310 is configured by a computer including a CPU (Central Processing Unit) that performs calculations.
- the first control device 310 also performs processing according to a program.
- the program that causes the first control device 310 to execute processing is stored in the memory unit 311, for example.
- the first control device 310 is an example of a control device.
- the first control device 310 is arranged inside the medical cart 10 to communicate with the arm control device 320 and positioner control device 330, and controls the entire surgery support system 500. Specifically, the first control device 310 communicates with and controls each of the arm control device 320, positioner control device 330, and operation control device 340. The first control device 310, arm control device 320, positioner control device 330, and operation control device 340 are connected via a LAN or the like. The first control device 310 is arranged inside the medical cart 10.
- An arm control unit 320 is provided for each of the multiple robot arms 50.
- multiple arm control units 320 corresponding to the number of multiple robot arms 50 are provided inside the medical cart 10.
- the input device 22 is connected to the first control device 310 via a LAN or the like.
- the status indicator 41, arm status indicator 42, operating handle 23, throttle 23a, joystick 22b, and positioner control unit 330 are serially connected via wiring 360 over a communications network that allows them to share information with each other.
- FIG. 15 shows the status indicator 41, arm status indicator 42, etc. as all being connected to a single wiring 360, in reality, a separate wiring 360 is provided for each of the status indicator 41, arm status indicator 42, operating handle 23, throttle 23a, and joystick 22b.
- the arm section 51 is provided with multiple servo motors SM1, encoders EN1, and reducers corresponding to each of the joints JT1, JT2, JT3, JT4, JT5, JT6, and JT7.
- the encoder EN1 detects the rotation angle of the servo motor SM1.
- the reducers decelerate the rotation of the servo motor SM1 to increase the torque.
- a servo control unit SC1 for controlling the servo motor SM1 is located adjacent to the arm control unit 320.
- the servo control unit SC1 is electrically connected to an encoder EN1 for detecting the rotation angle of the servo motor SM1.
- the second link section 53 is provided with a servo motor SM2 for rotating the driven member arranged in the driven unit 2a of the surgical instrument 1, an encoder EN2, and a reducer.
- the encoder EN2 detects the rotation angle of the servo motor SM2.
- the reducer decelerates the rotation of the servo motor SM2 to increase the torque.
- the medical cart 10 is also provided with a servo control unit SC2 for controlling the servo motor SM2 that drives the surgical instrument 1.
- the servo control unit SC2 is electrically connected to an encoder EN2 for detecting the rotation angle of the servo motor SM2. Note that multiple servo motors SM2, encoders EN2, and servo control units SC2 are provided.
- the translational movement mechanism 54 is equipped with a servo motor SM3 for translating the surgical instrument 1, an encoder EN3, and a reducer.
- the encoder EN3 detects the rotation angle of the servo motor SM3.
- the reducer decelerates the rotation of the servo motor SM3 to increase the torque.
- the medical cart 10 also has a servo control unit SC3 for controlling the servo motor SM3 that translates the surgical instrument 1.
- the servo control unit SC3 is electrically connected to an encoder EN3 for detecting the rotation angle of the servo motor SM3.
- the first control device 310 generates command values that command the positions of the servo motors SM1, SM2, and SM3 based on the operations received by the remote control device 200, and drives the servo motors SM1, SM2, and SM3 based on the command values.
- the first control device 310 detects a deviation abnormality error if the difference between the command values and the positions of the servo motors SM1, SM2, and SM3 detected by the sensors exceeds the allowable range.
- the positioner 30 is provided with multiple servo motors SM4, an encoder EN4, and a reducer to correspond to the multiple joints 33 of the positioner 30.
- the encoder EN4 is configured to detect the rotation angle of the servo motor SM4.
- the reducer is configured to decelerate the rotation of the servo motor SM4 and increase the torque.
- the medical cart 10 is equipped with wheels, including front wheels as drive wheels and rear wheels steered by the operating handle 23.
- the rear wheels are located closer to the operating handle 23 than the front wheels.
- the medical cart 10 is also equipped with a servo motor SM5 that drives each of the medical cart's front wheels, an encoder EN5, a reducer, and a brake BRK.
- the reducer is configured to slow down the rotation of the servo motor SM5 and increase the torque.
- the operating handle 23 of the medical cart 10 is also equipped with a potentiometer P1, as shown in Figure 3, and the front wheel servo motor SM5 is driven based on the rotation angle detected by the potentiometer P1 in response to the twist of the throttle 23a.
- the rear wheels of the medical cart 10 are dual-wheel type, and are steered based on the left and right rotation of the operating handle 23. Additionally, the operating handle 23 of the medical cart 10 has a potentiometer P2 (shown in Figure 3) mounted on its rotation axis, and a servomotor SM6, encoder EN6, and reducer are mounted on the rear wheels of the medical cart 10.
- the reducer is configured to reduce the rotation speed of the servomotor SM6 and increase the torque.
- the servomotor SM6 is driven based on the rotation angle detected by the potentiometer P2 in response to the left and right rotation of the operating handle 23. In other words, steering of the rear wheels by the left and right rotation of the operating handle 23 is configured to be power-assisted by the servomotor SM6.
- the medical cart 10 moves forward and backward by driving the front wheels. Furthermore, by rotating the operating handle 23 of the medical cart 10, the rear wheels are steered, causing the medical cart 10 to rotate left and right.
- the medical cart 10 is provided with a servo control unit SC4 for controlling the servo motor SM4 that moves the positioner 30.
- An encoder EN4 for detecting the rotation angle of the servo motor SM4 is electrically connected to the servo control unit SC4.
- the medical cart 10 is also provided with a servo control unit SC5 for controlling the servo motor SM5 that drives the front wheels of the medical cart 10.
- An encoder EN5 for detecting the rotation angle of the servo motor SM5 is electrically connected to the servo control unit SC5.
- the medical cart 10 is provided with a servo control unit SC6 for controlling the servo motor SM6 that power-assists the steering of the rear wheels of the medical cart 10.
- An encoder EN6 for detecting the rotation angle of the servo motor SM6 is electrically connected to the servo control unit SC6.
- brakes BRK are installed on each of the joints JT1, JT2, JT3, JT4, JT5, JT6, and JT7 of the arm section 51 and the joint 33 of the positioner 30. Brakes BRK are also installed on the front wheels of the medical cart 10, the arm base 40, and the translational movement mechanism 54.
- Control signals are transmitted one-way from the arm control unit 320 to each of the brakes BRK installed on the joints JT1, JT2, JT3, JT4, JT5, JT6, and JT7 of the arm section 51 and the translational movement mechanism 54.
- the control signals are signals that turn the brakes BRK on and off.
- the signal that turns the brakes BRK on includes a signal that keeps the brakes BRK applied.
- a shutdown operation of the surgery support system 500 turns on the brakes BRK mounted on the arm base 40, arm unit 51, and translational movement mechanism 54.
- the brakes BRK of the front wheels of the medical cart 10 are always turned on, and are only released while the enable switch 23b of the medical cart 10 is pressed down.
- the brakes BRK of each joint 33 of the positioner 30 are always on, and are released only while the enable switch 22c of the medical cart 10 is pressed.
- servo motors SM7a, SM7b, SM7c, SM7d, SM7e, SM7f, and SM7g are arranged at joints JT21, JT22, JT23, JT24, JT25, JT26, and JT27 of the operating unit 110, respectively.
- Servo motor SM7a rotates link portion 111a around the A21 axis.
- Servo motor SM7b rotates link portion 111b around the A22 axis.
- Servo motor SM7c rotates link portion 111c around the A23 axis.
- Servo motor SM7d rotates link portion 112a around the A24 axis.
- Servo motor SM7e rotates link portion 112b around the A25 axis.
- Servo motor SM7f rotates link portion 112c around axis A26.
- Servo motor SM7g rotates grip support member 112d around axis A27.
- Servo controllers SC7a, SC7b, SC7c, SC7d, SC7e, SC7f, and SC7g are provided to control each servo motor.
- Encoders EN7a, EN7b, EN7c, EN7d, EN7e, EN7f, and EN7g are electrically connected to each servo controller to detect the rotation angle of each servo motor.
- Each servo motor, each servo controller, and each encoder are provided in operation unit 110L and operation unit 110R, respectively.
- the first control device 310 controls each servo motor via the operation control unit 340 to generate a torque that cancels out the gravitational torque generated in the rotation axis of each servo motor, depending on the attitude of the operation unit 110. This allows the operator to operate the operation unit 110 with a relatively small force.
- the first control device 310 controls the robot arm 50 based on operations received by the arm operation unit 60.
- the first control device 310 controls the robot arm 50 based on operations received by the joystick 62 of the arm operation unit 60.
- the arm control unit 320 outputs an input signal received from the joystick 62 to the first control device 310.
- the first control device 310 generates a position command based on the received input signal and the rotation angle detected by encoder EN1, and outputs the position command to the servo control unit SC1 via the arm control unit 320.
- the servo control unit SC1 generates a current command based on the position command received from the arm control unit 320 and the rotation angle detected by encoder EN1, and outputs the current command to the servo motor SM1. This causes the robot arm 50 to move in accordance with the operation command input to the joystick 62.
- the first control device 310 controls the robot arm 50 based on an input signal from the linear switch 63 of the arm operation unit 60. Specifically, the arm control unit 320 outputs the input signal input from the linear switch 63 to the first control device 310. The first control device 310 generates a position command based on the received input signal and the rotation angle detected by the encoder EN1 or EN3, and outputs the position command to the servo control unit SC1 or SC3 via the arm control unit 320. The servo control unit SC1 or SC3 generates a current command based on the position command input from the arm control unit 320 and the rotation angle detected by the encoder EN1 or EN3, and outputs the current command to the servo motor SM1 or SM3. This causes the robot arm 50 to move in accordance with the operation command input to the linear switch 63.
- the positioner control unit 330 is disposed on the medical cart 10.
- the positioner control unit 330 controls the positioner 30 and the medical cart 10.
- the positioner 30 is provided with a servo motor SM4, an encoder EN4, and a reducer corresponding to the multiple joints 33 of the positioner 30.
- the servo control unit SC4, which controls the servo motor SM4 of the positioner 30, is disposed on the medical cart 10.
- the medical cart 10 is provided with servo motors SM5 and SM6 that drive each of the multiple front wheels of the medical cart 10, encoders EN5 and EN6, a reducer, servo control units SC5 and SC6, and a brake BRK.
- the operation control unit 340 is located on the main body of the remote control device 200.
- the operation control unit 340 controls the operation unit 110.
- the operation control unit 340 is located to correspond to each of the left-hand operation unit 110L and the right-hand operation unit 110R.
- the operation unit 110 is equipped with a servo motor SM, an encoder EN, and a reducer to correspond to the multiple joints JT21 to JT27 of the operation unit 110.
- the servo control unit SC which controls the servo motor SM of the operation unit 110, is located on the main body of the remote control device 200 adjacent to the operation control unit 340.
- the vision unit 300 and image processing unit 400 are connected to the first control device 310 via a LAN or the like.
- the display unit 220 is connected to the vision unit 300.
- the surgery assistance system 500 avoids contact between the surgery assistance robot 100 and a bed 501 and a screen 502, which are objects to be avoided.
- the first control device 310 causes the surgery assistance robot 100 to execute an avoidance operation for the objects to be avoided.
- the bed 501 and the screen 502 are obstacles located around a patient P on whom surgery is to be performed using the surgery assistance robot 100.
- the bed 501 and the screen 502 are examples of objects to be avoided.
- the bed 501 is the bed on which the patient P lies.
- the screen 502 has a cloth curtain that separates the head of the patient P lying on the bed 501 from the surgical field, and a rod-shaped support member that supports the cloth curtain.
- the screen 502 is attached to the bed 501 and is positioned above the chest or neck of the patient P so as to separate the head from the torso.
- the screen 502 is, for example, an anesthesia screen, and is also called a discharge rack.
- the surgical support system 500 includes a plurality of marker members 91, 92, 93, and 94 attached to the patient P and/or to the bed 501 and/or screen 502, which are obstacles.
- the marker members 91 and 92 are attached to the bed 501.
- the marker members 93 and 94 are attached to the screen 502.
- the marker members 91 and 92 are respectively arranged at the two head-side corners of the four corners of the tabletop on which the patient P lies on the bed 501.
- the marker members 93 and 94 are arranged at the vertically upper portion of the screen 502.
- the marker members 93 and 94 are arranged spaced apart from each other at one end and the other end of the left-right direction of the screen 502.
- the marker members 91, 92, 93, and 94 are arranged in positions visible from the vertically upper side where the imaging unit 43 is arranged. That is, the marker members 91, 92, 93, and 94 are arranged at positions that are included in the imaging range of the imaging unit 43.
- the distance between the imaging unit 43 and each of the marker members 91, 92, 93, and 94 is, for example, approximately 1 m to 2 m.
- the first control device 310 acquires an image 71 in which the marker members 91, 92, 93, and 94 are captured by the imaging unit 43.
- the first control device 310 detects the marker members 91, 92, 93, and 94 based on the acquired image 71.
- the first control device 310 causes the surgical support robot 100 to perform an avoidance operation to avoid contact with the bed 501 and the screen 502 based on the detected marker members 91, 92, 93, and 94.
- Each of the marker elements 91, 92, 93, and 94 includes a planar graphic.
- the marker elements 91, 92, 93, and 94 include, as planar graphics, code graphics indicating the identification information of the corresponding avoidance targets, the bed 501 and the screen 502.
- the marker elements 91, 92, 93, and 94 are AR markers including rectangular planar graphics. That is, the marker elements 91 and 92 are AR markers including code graphics indicating the identification information of the bed 501, and the marker elements 93 and 94 are AR markers including code graphics indicating the identification information of the screen 502.
- AR markers are landmarks that display augmented reality, which allows digital content to be overlaid on real space.
- the AR marker is formed, for example, by combining white and black graphics.
- the marker elements 91, 92, 93, and 94 are detachable from the patient P and/or the obstacles, the bed 501 and the screen 502.
- marker members 91, 92, 93, and 94 have an adhesive layer and are attached by the operator to at least one of the patient P and the obstacles, namely the bed 501 and the screen 502.
- Each of marker members 91, 92, 93, and 94 has a size of, for example, approximately 20 mm to 30 mm.
- the first control device 310 detects each of the marker members 91, 92, 93, and 94, and sets the avoidance target areas 81 and 82 from the identification information contained in each of the marker members 91, 92, 93, and 94. Specifically, the first control device 310 obtains the three-dimensional positions of the marker members 91, 92, 93, and 94 based on the captured image 71 as a three-dimensional image. At this time, the required reading accuracy for the positions of the marker members 91, 92, 93, and 94 is, for example, approximately ⁇ 10 mm. The first control device 310 then obtains the positions of the marker members 91, 92, 93, and 94 in the robot coordinate system, which is a coordinate space for controlling the operation of the robot arm 50.
- the robot coordinate system which is a coordinate space for controlling the operation of the robot arm 50.
- the first control device 310 acquires the posture of the robot arm 50 and the posture of the arm base 40 in the robot coordinate system based on signals from the encoders EN1, EN2, and EN3 of the robot arm 50 and the encoder EN4 of the positioner 30.
- the first control device 310 then acquires the positions of the marker members 91, 92, 93, and 94 in the robot coordinate system based on the preset position of the imaging unit 43 on the arm base 40 and the positions of the marker members 91, 92, 93, and 94 detected in the captured image 71, which is a three-dimensional image captured by the imaging unit 43.
- the first control device 310 sets an avoidance target area 81 corresponding to the bed 501 based on the detected marker elements 91 and 92, and sets an avoidance target area 82 corresponding to the screen 502 based on the detected marker elements 93 and 94.
- the memory unit 311 stores pre-set information indicating which of the avoidance targets each of the marker elements 91, 92, 93, and 94 corresponds to.
- the memory unit 311 stores the marker elements 91 and 92 and the avoidance target area 81 corresponding to the bed 501 in association with each other, and the marker elements 93 and 94 and the avoidance target area 82 corresponding to the screen 502 in association with each other.
- the identification information is information for identifying which of the marker elements 91, 92, 93, and 94 it is.
- the first control device 310 acquires the positions of the detected marker members 91, 92, 93, and 94 from the identification information indicated by the marker members 91, 92, 93, and 94, and thereby sets, in the robot coordinate system, avoidance target regions 81 and 82 associated with each of the marker members 91, 92, 93, and 94.
- the avoidance target regions 81 and 82 are set as three-dimensional spatial regions having rectangular parallelepiped shapes corresponding to the size and shape of the bed 501 and the screen 502, respectively.
- the first control device 310 detects the marker members 91 and 92 and sets the avoidance target region 81 corresponding to the size and shape of the bed 501 based on the identification information indicated by the marker members 91 and 92. Similarly, the first control device 310 detects the marker members 93 and 94 and sets the avoidance target region 82 corresponding to the size and shape of the screen 502 based on the identification information indicated by the marker members 93 and 94.
- the first control device 310 stops the operation of the surgical support robot 100 outside the set avoidance target areas 81 and 82 during the avoidance operation, thereby avoiding contact with the bed 501 and screen 502, which are the avoidance targets. Specifically, when surgery is being performed on a patient P using the surgical support robot 100, the first control device 310 stops the operation of the surgical support robot 100 outside the set avoidance target areas 81 and 82 when an operation to enter at least one of the robot arm 50 and the surgical instrument 1 into the set avoidance target areas 81 and 82 is received by the remote control device 200.
- the first control device 310 when the first control device 310 operates the robot arm 50 based on an operation received by the remote control device 200, it determines whether either the surgical instrument 1 or the robot arm 50 will enter the set avoidance target area 81 or the avoidance target area 82. If the first control device 310 determines that at least one of the robot arm 50 and the surgical instrument 1 will enter either the avoidance target area 81 or 82, it stops the operation of the surgical support robot 100. For example, the first control device 310 stops the operation of the surgical support robot 100 and stops the operation of the surgical instrument 1 and the robot arm 50 by turning on the brakes BRK mounted on the arm base 40, the arm unit 51, and the translational movement mechanism unit 54.
- the first control device 310 causes the surgical support robot 100 to execute an operation to eliminate contact when it comes into contact with the bed 501 and the screen 502, based on the detected marker members 91, 92, 93, and 94, during the avoidance operation.
- the first control device 310 determines that contact with the bed 501 and the screen 502 has occurred. In that case, the first control device 310 outputs entry information 73 as an operation to resolve the contact. In the first embodiment, the monitor 140 of the remote control device 200 displays the entry information 73 to the operator operating the remote control device 200.
- the first control device 310 displays the entry information 73, including instruction information instructing the direction in which to retreat from the avoidance target areas 81 and 82, on the monitor 140 together with the endoscopic image 72.
- the first control device 310 acquires a retreat direction in which to move the robot arm 50 to eliminate the entry, based on the shapes of the avoidance target areas 81 and 82 and the postures of the robot arm 50 and arm base 40 at the time of entry.
- the first control device 310 displays the acquired entry information 73, including instruction information indicating the retreat direction, on the monitor 140, superimposed on the endoscopic image 72.
- the entry information 73 including instruction information includes, for example, text information indicating the retreat direction.
- the entry information 73 including instruction information may be displayed on the display unit 220 of the vision unit 300 together with the endoscopic image 72.
- the entry information 73 may also be notified to the operator as audio information.
- step S1 to step S6 is executed by the first control device 310.
- step S1 images of marker members 91, 92, 93, and 94 are captured.
- captured image 71 is obtained by imaging unit 43, capturing images of marker members 91, 92, 93, and 94.
- Marker members 91, 92, 93, and 94 are attached in advance by the operator to patient P and/or to bed 501 and/or screen 502, which serve as obstacles, during advance preparation.
- step S2 marker elements 91, 92, 93, and 94 are detected based on captured image 71. Specifically, by detecting marker elements 91, 92, 93, and 94 from captured image 71 based on captured image 71 as a three-dimensional image, the relative positions of each of marker elements 91, 92, 93, and 94 in three-dimensional space with respect to imaging unit 43 are detected.
- step S3 areas to be avoided 81 and 82 are set. Specifically, the positions of each of the marker members 91, 92, 93, and 94 in the robot coordinate system are set based on the detected positions of each of the marker members 91, 92, 93, and 94 in three-dimensional space. Then, based on the set positions of each of the marker members 91, 92, 93, and 94 and the identification information of each of the marker members 91, 92, 93, and 94, areas to be avoided 81 and 82 indicating the positions of the areas to be avoided in the robot coordinate system are set so as to correspond to the identification information.
- step S4 the operation unit 110 begins accepting operations for the surgical instrument 1. Specifically, with the endoscopic image 72 displayed on the monitor 140 of the remote control device 200, operations for operating the operation unit 110 to operate the surgical instrument 1 and the robot arm 50 are accepted.
- step S5 it is determined whether entry into the avoidance target areas 81 and 82 has been detected. For example, if an operation to enter at least one of the surgical instrument 1 and the robot arm 50 into one of the set avoidance target areas 81 and 82 is received, it is determined that entry into the avoidance target areas 81 and 82 has been detected. Also, if at least one of the surgical instrument 1 and the robot arm 50 has entered one of the avoidance target areas 81 and 82, it is determined that entry into the avoidance target areas 81 and 82 has been detected. If it is determined that entry into the avoidance target areas 81 and 82 has been detected, proceed to step S6. If it is not determined that entry into the avoidance target areas 81 and 82 has been detected, return to step S4.
- Whether entry into the avoidance target areas 81 and 82 has been detected is determined based on the signals from each of the encoders EN1, EN2, EN3, and EN4, the attitude of the robot arm 50 and the attitude of the arm base 40 in the robot coordinate system, and the set avoidance target areas 81 and 82.
- step S5 the surgical support robot 100 performs an avoidance operation based on the detected marker members 91, 92, 93, and 94, which includes at least one of avoiding contact with the bed 501 and screen 502, which are the avoidance targets, and resolving the contact. For example, if an operation to enter the avoidance target areas 81 and 82 is received, the operation of the surgical support robot 100 is stopped as an operation to avoid contact. In this case, information indicating that entry has been detected may be output. Furthermore, if at least one of the surgical instrument 1 and the robot arm 50 enters the avoidance target areas 81 and 82, it is determined that contact with the avoidance targets has occurred, and the surgical support robot 100 is caused to perform an operation to resolve the contact. For example, as an operation to resolve the contact, entry information 73 including instruction information instructing the retreat direction is displayed on the monitor 140 together with the endoscopic image 72.
- steps S4 and S5 may be repeatedly performed over the period during which operations are being received on the operation unit 110 of the remote control device 200. For example, after a roll-in operation is performed to move the surgical support robot 100 to the position where surgery will be performed on patient P, the processing from capturing images of the marker members 91, 92, 93, and 94 in step S1 to setting the avoidance target areas 81 and 82 in step S3 may be performed during the preparation period before the surgery begins, and steps S4 and S5 may be repeatedly performed during the surgery on patient P. Furthermore, steps S1 to S6 may be repeatedly performed. For example, during the surgery on patient P, the captured image 71 may be re-acquired at a predetermined control cycle, thereby updating the set avoidance target areas 81 and 82 in real time.
- the surgery assistance system 500 includes a first control device 310 as a control unit that detects the marker members 91, 92, 93, and 94 based on an image 71 in which the marker members 91, 92, 93, and 94 are captured by the imaging unit 43, and causes the surgery assistance robot 100 to perform an avoidance operation including at least one of avoiding contact with the bed 501 and the screen 502 as avoidance targets and canceling contact if the surgery assistance robot 100 comes into contact with the bed 501 and the screen 502, based on the detected marker members 91, 92, 93, and 94.
- the surgery assistance robot 100 to perform an avoidance operation against the bed 501 and the screen 502 based on the marker members 91, 92, 93, and 94 detected using the image 71 captured by the imaging unit 43. Therefore, unlike the case where the end of the robot arm 50 is moved to a position adjacent to the bed 501 and the screen 502, the avoidance operation can be performed based on the captured image 71 without moving the robot arm 50 every time settings are made to avoid contact with the bed 501 and the screen 502. As a result, when operating the surgery support robot 100, the workload involved in setting work to avoid contact with the bed 501 and the screen 502 can be reduced.
- the first control device 310 which serves as a control unit, sets avoidance target areas 81 and 82 by detecting marker members 91, 92, 93, and 94.
- the first control device 310 avoids contact with the bed 501 and screen 502, which are the avoidance targets, by at least one of stopping the operation of the surgical support robot 100 outside the set avoidance target areas 81 and 82, and operating the surgical support robot 100 while avoiding entry into the avoidance target areas 81 and 82.
- the first control device 310 as a control unit at least one of stops the operation of the surgical support robot 100 outside the avoidance target areas 81 and 82, and operates the surgical support robot 100 while avoiding entry into the avoidance target areas 81 and 82.
- the marker members 91, 92, 93, and 94 are attached to avoidance targets, which include at least one of the bed 501 on which the patient P lies, the screen 502 separating the patient P's head from the surgical field, and the medical equipment used during surgery.
- the first control device 310 which serves as a control unit, causes the surgical support robot 100 to perform an avoidance operation for at least one of the bed 501, the screen 502, and the medical equipment based on the detected marker members 91, 92, 93, and 94.
- the type, shape, and position of the avoidance targets, such as the bed 501, the screen 502, and the medical equipment vary depending on the type of surgery or the patient P's body shape and posture.
- the first control device 310 causes the surgical support robot 100 to perform an avoidance operation for at least one of the bed 501, the screen 502, and the medical equipment based on the detected marker members 91, 92, 93, and 94.
- the bed 501 and screen 502 can be easily avoided by detecting the marker members 91, 92, 93, and 94. This effectively reduces the workload required to avoid the bed 501 and screen 502.
- the first control device 310 which serves as a control unit, sets avoidance target areas 81 and 82 by detecting marker members 91, 92, 93, and 94. During the avoidance operation, the first control device 310 outputs entry information 73 when at least one of the robot arm 50 and the surgical instrument 1 enters the set avoidance target areas 81 and 82. As a result, because the entry information 73 is output by the first control device 310, even if at least one of the robot arm 50 and the surgical instrument 1 enters the avoidance target areas 81 and 82, it is easy to recognize that at least one of the robot arm 50 and the surgical instrument 1 has entered the avoidance target areas 81 and 82 by recognizing the output entry information 73. Therefore, the state in which at least one of the robot arm 50 and the surgical instrument 1 has entered the avoidance target areas 81 and 82 can be easily resolved.
- the surgery support system 500 includes a monitor 140 as an operation device display unit that displays entry information 73 to an operator operating the remote operation device 200 as an operation device.
- the first control device 310 as a control unit displays entry information 73 on the monitor 140, including instruction information instructing the direction of escape from the avoidance target areas 81 and 82, when at least one of the robot arm 50 and the surgical instrument 1 enters the set avoidance target areas 81 and 82 during surgery on a patient P using the surgery support robot 100.
- the operator operating the remote operation device 200 can visually recognize the entry information 73 including instruction information displayed on the monitor 140, and easily recognize in which direction the robot arm 50 should be operated to eliminate the state of having entered the avoidance target areas 81 and 82. This makes it easier to eliminate the state in which at least one of the robot arm 50 and the surgical instrument 1 has entered the avoidance target areas 81 and 82.
- the monitor 140 which serves as the operation device display unit, displays the endoscopic image 72 captured by the endoscope 3.
- the first control device 310 which serves as the control unit, displays entry information 73 containing instruction information on the monitor 140 along with the endoscopic image 72 when surgery is being performed on the patient P using the surgical support robot 100.
- the operator operating the remote operation device 200 which serves as the operation device, can easily visually recognize the entry information 73 containing instruction information displayed on the monitor 140 along with the endoscopic image 72 when at least one of the robot arm 50 and the surgical instrument 1 enters the avoidance target areas 81 and 82 while performing surgery while visually recognizing the endoscopic image 72 displayed on the monitor 140.
- the operator can easily recognize in which direction the robot arm 50 should be operated to eliminate the state of having entered the avoidance target areas 81 and 82.
- the endoscopic image 72 it is possible to easily prevent at least one of the robot arm 50 and the surgical instrument 1 from entering the avoidance target areas 81 and 82.
- Marker elements 91, 92, 93, and 94 include planar figures.
- the first control device 310 which serves as a control unit, sets the areas to be avoided 81 and 82 by detecting marker elements 91, 92, 93, and 94 that include planar figures. This makes it possible to easily obtain the three-dimensional arrangement of marker elements 91, 92, 93, and 94 based on the size and shape of the planar figures included in marker elements 91, 92, 93, and 94, unlike when marker elements 91, 92, 93, and 94 are elements that represent points. Therefore, since marker elements 91, 92, 93, and 94 include planar figures, the areas to be avoided 81 and 82 can be easily set.
- the marker elements 91, 92, 93, and 94 include, as planar figures, code graphics that indicate the identification information of the bed 501 and screen 502 as avoidance targets.
- the first control device 310 which serves as a control unit, detects the marker elements 91, 92, 93, and 94 that include the code graphics, and sets avoidance target areas 81 and 82 that correspond to the size and shape of the bed 501 and screen 502 based on the identification information indicated by the code graphics. This makes it possible to easily set the avoidance target areas 81 and 82 that correspond to the size and shape of the bed 501 and screen 502 by detecting the marker elements 91, 92, 93, and 94. Therefore, since it is easy to set the avoidance target areas 81 and 82 that correspond to the actual bed 501 and screen 502, it is possible to more easily and accurately prevent contact between the bed 501 and screen 502 and the surgical support robot 100.
- the imaging unit 43 captures the captured image 71 as a three-dimensional image. This allows the positions of the marker members 91, 92, 93, and 94 to be detected more accurately based on the captured image 71 than when the captured image 71 is a two-dimensional image. Therefore, the surgical support robot 100 can be more accurately prevented from entering the avoidance target areas 81 and 82 based on the detected marker members 91, 92, 93, and 94.
- a surgery assistance system 600 according to a second embodiment will be described with reference to Fig. 23.
- an imaging unit 610 is arranged separately from a surgery assistance robot 700. Note that the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
- the surgery support system 600 includes a surgery support robot 700.
- the surgery support robot 700 according to the second embodiment has the same configuration as the surgery support robot 100 according to the first embodiment, except that the imaging unit 43 is not provided.
- the surgery support system 600 according to the second embodiment also includes an imaging unit 610 and an imaging unit movement mechanism 620.
- the imaging unit 610 captures images of the marker members 91, 92, 93, and 94. Like the imaging unit 43, the imaging unit 610 is a stereo camera that captures the captured image 71 as a three-dimensional image. The imaging unit 610 transmits the captured image 71 of the marker members 91, 92, 93, and 94 to the first control device 310. In the second embodiment, the imaging unit 610 is arranged separately from the surgical support robot 700. For example, the imaging unit 610 is arranged on the bed 501. The imaging unit 610 is attached to the bed 501 via an attachment member 611, for example. The imaging unit 610 is arranged to capture images of the marker members 91, 92, 93, and 94 from above the bed 501.
- the imaging unit moving mechanism 620 changes at least one of the imaging direction and position of the imaging unit 610.
- the imaging unit moving mechanism 620 includes, for example, a drive source such as a motor, and changes the imaging direction of the imaging unit 610.
- the first control device 310 controls the operation of the imaging unit moving mechanism 620 based on an input operation received by the remote control device 200 or the like, thereby changing the imaging direction of the imaging unit 610.
- the imaging unit moving mechanism 620 may also be configured to include a slide mechanism or the like, thereby changing the position of the imaging unit 610.
- the imaging unit 610 is arranged separately from the surgical support robot 700, so it is necessary to detect the position of the imaging unit 610 in the robot coordinate system. Therefore, in the second embodiment, a marker member 790 is arranged on the surgical support robot 700 separately from the marker members 91, 92, 93, and 94 attached to the bed 501 and screen 502, which are to be avoided.
- the first control device 310 controls the imaging unit moving mechanism 620 to change the shooting direction of the imaging unit 610, thereby causing the imaging unit 610 to capture an image of the marker member 790 arranged on the surgical support robot 700.
- the first control device 310 acquires an image of the marker member 790 captured by the imaging unit 610, and detects the marker member 790 based on the acquired image, thereby acquiring the relative positional relationship between the imaging unit 610 arranged on the bed 501 and the surgical support robot 700. As a result, the first control device 310 acquires the position of the imaging unit 610 in the robot coordinate system. Then, as in the first embodiment, the first control device 310 detects marker members 91, 92, 93, and 94 based on the captured image 71 captured by the imaging unit 610, thereby setting avoidance target areas 81 and 82 in the robot coordinate system.
- the control process for the avoidance operation by the surgery support robot 700 is the same as in the first embodiment.
- the other configurations of the second embodiment are the same as in the first embodiment.
- the surgery support system 600 includes an imaging unit moving mechanism 620 that changes at least one of the imaging direction and position of the imaging unit 610.
- the imaging unit 610 is located separately from the surgical support robot 700. This allows the marker members 91, 92, 93, and 94 to be captured from a position separate from the surgical support robot 700, making it easy to prevent the surgical support robot 700 itself from interfering with the imaging of the marker members 91, 92, 93, and 94. Furthermore, because the imaging unit 610 is located separately from the surgical support robot 700, it is possible to prevent vibrations caused by the operation of the surgical support robot 700 from being transmitted to the imaging unit 610. This makes it easy to capture an image 71 in which the marker members 91, 92, 93, and 94 are easily detected, making it easier to detect the marker members 91, 92, 93, and 94 based on the image 71. As a result, it is easy to prevent the surgical support robot 700 from entering the avoidance target areas 81 and 82 based on the detected marker members 91, 92, 93, and 94. Other advantages of the second embodiment are the same as those of the first embodiment.
- marker members 91, 92, 93, and 94 were placed on the bed 501 and screen 502 as obstacles to be avoided that were placed around the patient P, but the present disclosure is not limited to this.
- marker members may also be placed on medical equipment used during surgery as obstacles to be avoided.
- marker members may be placed on medical equipment such as an anesthesia machine or an X-ray machine.
- Marker members may also be placed on the patient on whom surgery is being performed. For example, by placing marker members around the patient's surgical field, it is possible to avoid contact of surgical instruments or robotic arms with areas of the patient other than the surgical field.
- the present disclosure is not limited to this.
- the control unit may be configured to at least one of stop the operation of the surgical support robot outside the avoidance target area and operate the surgical support robot while avoiding entry into the avoidance target area.
- the surgical support robot may be operated while avoiding entry into the avoidance target area, thereby avoiding contact with the avoidance target.
- the surgical instrument may be moved while restricting the operating range of the robot arm to avoid entry into the avoidance target area. Furthermore, if it is possible to operate the surgical support robot while avoiding entry into the avoidance target area, the operation of the surgical support robot may not be stopped, but if it is difficult to operate the surgical support robot while avoiding entry into the avoidance target area, the operation may be stopped. Furthermore, when an operation to enter at least one of the robot arm and surgical instrument into a set avoidance area is received by the operating device during surgery, the surgical support robot may operate in accordance with the received operation up to the point just before the avoidance area, and may stop its operation at a position where it enters the avoidance area.
- the operating speed may be reduced rather than stopped.
- contact may be avoided by outputting notification information that notifies the robot of the entry into the avoidance area.
- the notification information may be displayed on the display unit, or may be output as audio.
- the imaging unit 43 was disposed on the arm base 40 of the surgical support robot 100
- the imaging unit 610 was disposed on the bed 501 separately from the surgical support robot 700
- the imaging unit may be disposed in a position other than the arm base of the surgical support robot.
- the imaging unit may be disposed on the robot arm, a medical cart, or a positioner.
- the imaging unit may also be disposed on the ceiling or wall of the operating room.
- An endoscope attached to the robot arm may also be used as the imaging unit that images the marker member. In that case, for example, the avoidance target area may be set in advance before surgery by imaging the marker member with the endoscope during roll-in before the start of surgery.
- the marker elements 91, 92, 93, and 94 were AR markers that included code figures that indicated the identification information of the bed 501 and screen 502, which are the targets of avoidance, as planar figures, but the present disclosure is not limited to this.
- the marker elements may be elements that are recognized as points in space, without including planar figures.
- the marker elements may include planar figures that are simply patterns other than AR markers.
- the imaging unit may be a ToF (Time of Flight) camera.
- the imaging unit may be a single two-dimensional camera that captures a single two-dimensional image. Even in this case, by arranging a marker element that includes a planar image, such as an AR marker, it is possible to detect the three-dimensional arrangement of the marker element based on the distortion of the size and shape of the planar image.
- the imaging unit may include multiple two-dimensional cameras to capture the captured image as a three-dimensional image.
- avoidance target areas 81 and 82 are set corresponding to the size and shape of the bed 501 and screen 502 that are the avoidance targets, but the present disclosure is not limited to this.
- the avoidance target area may be set based on the arrangement of marker elements, regardless of the size and shape of the avoidance target.
- the avoidance target area may be set by detecting the marker elements to detect the plane on which the marker elements are arranged and using the plane on which the marker elements are arranged as the boundary surface of the avoidance target area.
- a space with each of the multiple marker elements as a vertex may be set as the avoidance target area.
- the avoidance target area corresponding to the avoidance target may be set by identifying, from the captured image, an avoidance target to which a marker element is attached using image authentication.
- the shape of the avoidance target area may be extracted by extracting the shape of an area including the marker elements in the captured image.
- entry information 73 including instruction information instructing the evacuation direction was superimposed on the endoscopic image 72 and displayed on the monitor 140 serving as the display unit of the operation device, but the present disclosure is not limited to this.
- entry information simply indicating that an entry has occurred may be notified by display or sound.
- the entry information may also be displayed separately from the endoscopic image.
- the entry information may also be displayed on a display unit separate from the monitor 140.
- the entry information may be displayed on a display unit of the vision unit or a display unit disposed on the medical cart.
- An image of the marker member may also be displayed on the monitor of the remote control device serving as the operation device, on the display unit of the vision unit, or on a display unit disposed on the medical cart.
- the set avoidance target area may also be displayed so that it is visually recognizable.
- an avoidance operation is performed when the robot arm 50 of the surgical support robots 100 and 700 is operated based on operation by the remote control device 200 as an operation device, but the present disclosure is not limited to this.
- an avoidance operation may be performed when each part of the surgical support robot is moved based on operation of the cart positioner operation unit or the arm operation unit.
- an avoidance operation may be performed based on a detected marker member before surgery is performed on a patient, such as during roll-in.
- the first control device 310 acting as a control unit performs the control processes of detecting the marker members 91, 92, 93, and 94 from the captured image 71, setting the avoidance target areas 81 and 82, and performing avoidance operations including avoiding and resolving contact, but the present disclosure is not limited to this.
- one or more of the control processes of detecting the marker members, setting the avoidance target areas, and performing avoidance operations may be performed by a control unit arranged separately from the control device that controls the operation of the robot arm.
- first and second embodiments above show an example in which four robot arms 50 are provided, the present disclosure is not limited to this.
- the number of robot arms may be any other number as long as there is at least one.
- the arm unit 51 and positioner 30 were configured as a seven-axis articulated robot, but the present disclosure is not limited to this.
- the arm unit and positioner may be configured as an articulated robot with an axis configuration other than a seven-axis articulated robot.
- An axis configuration other than a seven-axis articulated robot is, for example, a six-axis or eight-axis configuration.
- the surgical support robot may have a robot arm with a horizontal articulated mechanism, a linear motion mechanism, or a parallel link mechanism.
- the surgical support robots 100 and 700 were equipped with a medical cart 10, a positioner 30, and an arm base 40, but the present disclosure is not limited to this.
- the medical cart, positioner, and arm base are not necessarily required, and the surgical support robot may be composed of only a robot arm.
- circuits or processing circuits including general-purpose processors, special-purpose processors, integrated circuits, ASICs (Application Specific Integrated Circuits), conventional circuits, and/or combinations thereof, configured or programmed to perform the disclosed functions.
- Processors are considered processing circuits or circuits because they include transistors and other circuitry.
- a circuit, unit, or means is hardware that performs the recited functions or hardware that is programmed to perform the recited functions.
- the hardware may be hardware disclosed herein or other known hardware that is programmed or configured to perform the recited functions. Where the hardware is a processor, which is considered a type of circuit, the circuit, means, or unit is a combination of hardware and software, and the software is used to configure the hardware and/or processor.
- a surgical robot including a robotic arm to which a surgical instrument is attached; an operating device that accepts an operation on the surgical instrument; A marker member attached to an object to be avoided, which includes at least one of a patient on whom surgery is to be performed using the surgical support robot and an obstacle disposed around the patient; an imaging unit that images the marker member; a control unit that detects the marker member based on an image of the marker member captured by the imaging unit, and causes the surgical support robot to execute an avoidance operation including at least one of avoiding contact with the avoidance target and canceling contact if the marker member comes into contact with the avoidance target based on the detected marker member.
- the marker member is attached to the object to be avoided, which includes at least one of a bed on which the patient lies, a screen separating the patient's head from a surgical field, and medical equipment used during surgery;
- the surgical support system according to any one of aspects 1 to 3, wherein the control unit causes the surgical support robot to perform the avoidance operation against the avoidance target, which includes at least one of the bed, the screen, and the medical equipment, based on the detected marker member.
- (Aspect 6) an operation device display unit that displays the entry information to an operator who operates the operation device;
- the operation device display unit displays an endoscopic image captured by an endoscope
- the marker member includes a planar graphic
- the marker member includes a code graphic indicating identification information of the object to be avoided as the planar graphic
- the control unit detects the marker member including the code graphic, and sets the avoidance target area corresponding to the size and shape of the avoidance target based on the identification information indicated by the code graphic.
- a surgical assistance system according to any one of aspects 1 to 10, further comprising an imaging unit moving mechanism that changes at least one of the imaging direction and position of the imaging unit.
- Aspect 13 capturing an image of a marker member attached to an object to be avoided, the object including at least one of a patient on whom surgery is to be performed using a surgical support robot including a robot arm to which a surgical instrument is attached, and an obstacle disposed around the patient; Detecting the marker member based on a captured image of the marker member;
- a method for operating a surgical support robot comprising: executing, by the surgical support robot, an avoidance operation that includes at least one of avoiding contact with the object to be avoided based on the detected marker member and canceling the contact if the object to be avoided is contacted.
- (Aspect 14) capturing an image of a marker member attached to an object to be avoided, the object including at least one of a patient on whom surgery is to be performed using a surgical support robot including a robot arm to which a surgical instrument is attached, and an obstacle disposed around the patient; Detecting the marker member based on a captured image of the marker member; A program that causes a computer to execute, based on the detected marker member, an avoidance operation by the surgical support robot that includes at least one of avoiding contact with the avoidance target and canceling contact if the avoidance target is contacted.
- REFERENCE SIGNS LIST 1 Surgical instrument 3 Endoscope 43, 610 Imaging unit 50 Robot arm 71 Captured image 72 Endoscopic image 73 Entry information 81, 82 Area to be avoided 91, 92, 93, 94 Marker member 100, 700 Surgery support robot 140 Monitor (operation device display unit) 200 Remote control device (operation device) 310 First control device (control unit) 500, 600 Surgery support system 501 Bed (obstacle, object to be avoided) 502 Screen (obstacle, avoidance target) 620 Imaging unit moving mechanism
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
手術支援システム(500)は、手術支援ロボット(100)と、操作装置(200)と、回避対象(501、502)に対して取り付けられたマーカー部材(91、92、93、94)と、撮像部(43)と、制御部(310)とを備えている。制御部(310)は、撮像画像に基づいてマーカー部材(91、92、93、94)を検出するとともに、検出されたマーカー部材(91、92、93、94)に基づいて、回避対象(501、502)との接触を回避することと、回避対象(501、502)に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボット(100)により実行させる。
Description
この開示は、手術支援システム、手術支援ロボットの動作方法、および、プログラムに関する。
従来、手術支援ロボットを備える手術支援システムが知られている。特表2023-539372号公報には、手術支援ロボットとして患者に対する処置を行うロボットシステムを備える医療システムが開示されている。このロボットシステムは、端部に医療機器が接続されるロボットアームを備えている。また、特表2023-539372号公報に開示されている医療システムでは、対象物との衝突を回避するために、対象物と関連付けて衝突領域を設定することによって、ロボットアームに接続された医療機器の移動が制御される。この医療システムでは、ロボットアームの端部が対象物に隣接する位置まで手動により移動されることによって、対象物に隣接するように移動されたロボットアームの位置に基づいて衝突領域が設定される。
ここで、特表2023-539372号公報では、手術支援ロボットと対象物との衝突を回避するための衝突領域の設定において、手術支援ロボットのロボットアームの先端が対象物の隣接する位置まで手動により移動される。そのため、接触を回避するための設定を行うたびに、手術支援ロボットのロボットアームの先端を移動させる作業を行う必要があるため、設定の作業が作業者にとって負担となる。このため、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制することが望まれている。
この開示は、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制することが可能な手術支援システム、手術支援ロボットの動作方法、および、プログラムを提供することである。
本開示の第1の局面による手術支援システムは、手術器具が取り付けられるロボットアームを含む手術支援ロボットと、手術器具に対する操作を受け付ける操作装置と、手術支援ロボットを用いて手術が行われる患者と、患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材と、マーカー部材を撮像する撮像部と、撮像部によりマーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出するとともに、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボットにより実行させる制御部と、を備える。
本開示の第1の局面による手術支援システムは、撮像部によりマーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出するとともに、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボットにより実行させる制御部を備える。これにより、撮像部による撮像画像を用いて検出されたマーカー部材に基づいて、手術支援ロボットにより回避対象に対する回避動作を実行できる。そのため、ロボットアームの端部を回避対象に隣接する位置まで移動させる場合と異なり、回避対象との接触を回避するための設定のたびにロボットアームを移動させることなく、撮像画像に基づいて回避動作を実行できる。その結果、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制できる。
本開示の第2の局面による手術支援ロボットの動作方法は、手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、マーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出することと、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボットにより実行することと、を備える。
本開示の第2の局面による手術支援ロボットの動作方法は、上記のように、マーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出することを備えている。また、本開示の第2の局面による手術支援ロボットの動作方法は、上記のように、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を手術支援ロボットにより実行することを備えている。これにより、撮像画像を用いて検出されたマーカー部材に基づいて、手術支援ロボットにより回避対象に対する回避動作を実行できる。そのため、ロボットアームの端部を回避対象に隣接する位置まで移動させる場合と異なり、回避対象との接触を回避するための設定のたびにロボットアームを移動させることなく、撮像画像に基づいて回避動作を実行できる。その結果、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制可能な手術支援ロボットの動作方法を提供できる。
本開示の第3の局面によるプログラムは、手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、マーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出することと、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボットにより実行することと、をコンピュータに実行させる。
本開示の第3の局面によるプログラムは、上記のように、マーカー部材が撮像された撮像画像に基づいて、マーカー部材を検出することをコンピュータに実行させる。また、本開示の第3の局面によるプログラムは、上記のように、検出されたマーカー部材に基づいて、回避対象との接触を回避することと、回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を手術支援ロボットにより実行することをコンピュータに実行させる。これにより、撮像画像を用いて検出されたマーカー部材に基づいて、手術支援ロボットにより回避対象に対する回避動作を実行できる。そのため、ロボットアームの端部を回避対象に隣接する位置まで移動させる場合と異なり、回避対象との接触を回避するための設定のたびにロボットアームを移動させることなく、撮像画像に基づいて回避動作を実行できる。その結果、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制可能なプログラムを提供できる。
本開示によれば、手術支援ロボットを動作させる場合に、回避対象との接触を回避するための設定作業における作業負担を抑制できる。
[第1実施形態]
以下、本開示の第1実施形態を図面に基づいて説明する。
以下、本開示の第1実施形態を図面に基づいて説明する。
(手術支援システムの構成)
第1実施形態による手術支援システム500の構成について説明する。図1に示すように、手術支援システム500は、手術支援ロボット100と、遠隔操作装置200と、ビジョンユニット300と、画像処理ユニット400と、を備えている。なお、遠隔操作装置200は、操作装置の一例である。
第1実施形態による手術支援システム500の構成について説明する。図1に示すように、手術支援システム500は、手術支援ロボット100と、遠隔操作装置200と、ビジョンユニット300と、画像処理ユニット400と、を備えている。なお、遠隔操作装置200は、操作装置の一例である。
なお、本願明細書において、図4に示すように、手術器具1の長手方向をZ方向とする。手術器具1の先端側をZ1側とし、手術器具1の基端側をZ2側とする。Z方向に直交する方向をX方向とする。Z方向およびX方向に直交する方向をY方向とする。
図1に示すように、手術支援ロボット100は、手術室内に配置されている。遠隔操作装置200は、手術支援ロボット100から離間した位置に配置されている。遠隔操作装置200は、手術器具1に対する操作を受け付ける。具体的には、医師などの操作者は、手術支援ロボット100に所望の動作を行わせるための指令を遠隔操作装置200に入力する。遠隔操作装置200は、入力された指令を手術支援ロボット100に送信する。手術支援ロボット100は、受信した指令に基づいて動作する。手術支援ロボット100は、滅菌された滅菌野である手術室内に配置されている。
(手術支援ロボットの構成)
図1に示すように、手術支援ロボット100は、医療用台車10と、台車ポジショナ操作部20と、ポジショナ30と、アームベース40と、複数のロボットアーム50と、各ロボットアーム50に設けられたアーム操作部60と、を備えている。
図1に示すように、手術支援ロボット100は、医療用台車10と、台車ポジショナ操作部20と、ポジショナ30と、アームベース40と、複数のロボットアーム50と、各ロボットアーム50に設けられたアーム操作部60と、を備えている。
図3に示すように、台車ポジショナ操作部20が、医療用台車10の後方に台車ポジショナ操作支持部21により支持されており、台車ポジショナ操作部20が操作されることで、医療用台車10またはポジショナ30が移動される。台車ポジショナ操作部20は、入力装置22と、操作ハンドル23を含む。入力装置22は、主に施術前に手術の準備を行うために、ポジショナ30、アームベース40、および、複数のロボットアーム50の移動や姿勢の変更の操作を受け付ける。
図3に示すように、医療用台車10の入力装置22は、表示部22aと、ジョイスティック22bと、イネーブルスイッチ22cと、エラーリセットボタン22dと、スピーカ22eと、を含む。表示部22aは、たとえば、液晶パネルである。図2に示すように、表示部22aには、複数のロボットアーム50に対応する番号が表示されている。また、表示部22aには、複数のロボットアーム50の各々に取り付けられている手術器具1の種類が表示される。表示部22aには、後述するピボット位置PPが設定されたことを示すチェックマークCMが表示される。
図3に示すように、ジョイスティック22bは、医療用台車10の入力装置22の表示部22aの近傍に配置されている。表示部22aに表示される動作モードを選択し、ジョイスティック22bを操作することによりポジショナ30が3次元的に移動される。
イネーブルスイッチ22cは、ジョイスティック22bの近傍に配置されている。イネーブルスイッチ22cは、ポジショナ30の移動を許可または不許可とする。そして、イネーブルスイッチ22cが押下されポジショナ30の移動が許可された状態でジョイスティック22bが操作されることにより、ポジショナ30が移動される。
エラーリセットボタン22dは、手術支援システム500のエラーを解除する。エラーは、たとえば、偏差異常のエラーである。スピーカ22eは、一対配置されている。一対のスピーカ22eは、医療用台車10のうちのポジショナ30が配置される場所の近傍に配置されている。
また、操作ハンドル23は、表示部22aの近傍に配置されている。そして、操作ハンドル23は、看護師、技師などの操作者が把持するとともに回転されることにより医療用台車10の移動を操作するスロットル23aを有する。具体的には、操作ハンドル23は、入力装置22の下方に配置されている。そして、スロットル23aが、手前側から奥側に回転されることにより、医療用台車10が前進する。また、スロットル23aが、奥側から手前側に回転されることにより、医療用台車10が後進する。また、スロットル23aの回転量に応じて医療用台車10の速度が変更される。また、操作ハンドル23は、R方向で示される左右に回転可能に構成されており、操作ハンドル23の回転とともに医療用台車10が回転する。
また、操作ハンドル23に、医療用台車10の移動を許可または不許可とするイネーブルスイッチ23bが配置されている。そして、イネーブルスイッチ23bが押下され医療用台車10の移動が許可された状態で操作ハンドル23のスロットル23aが操作されることにより、医療用台車10が移動される。
図1に示すように、ポジショナ30は、たとえば、7軸多関節ロボットからなる。ポジショナ30は、医療用台車10上に配置されている。ポジショナ30は、アームベース40の位置を調整する。ポジショナ30は、アームベース40の位置を3次元的に移動させる。
ポジショナ30は、ベース部31と、ベース部31に連結された複数のリンク部32とを含む。複数のリンク部32同士は、関節33により連結されている。
アームベース40は、ポジショナ30の先端に取り付けられている。複数のロボットアーム50は、各々のロボットアーム50の基端が、アームベース40に取り付けられている。複数のロボットアーム50は、折り畳まれた収納姿勢をとることが可能である。アームベース40と、複数のロボットアーム50とは、滅菌ドレープにより覆われて使用される。また、ロボットアーム50は、手術器具1を支持する。
アームベース40には、図15に示される、ステータスインジケータ41およびアームステータスインジケータ42が配置されている。ステータスインジケータ41は、手術支援システム500の状態を表示する。アームステータスインジケータ42は、ロボットアーム50の状態を表示する。
また、図1に示すように、アームベース40には、撮像部43が配置されている。撮像部43は、マーカー部材91、マーカー部材92、マーカー部材93、および、マーカー部材94を撮像する。撮像部43は、図19に示す3次元画像としての撮像画像71を撮像する。撮像部43は、たとえば、ステレオカメラである。撮像部43は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有する。撮像部43は、撮像した撮像画像71を第1制御装置310に対して送信する。なお、撮像部43は、手術支援ロボット100の位置合わせ用撮像部を兼ねている。操作者により手術支援ロボット100が寝台501に載置された患者Pの近傍に移動されるロールインの動作の際に、撮像部43により撮影された撮像画像71がリアルタイムで図3に示す表示部22aに表示される。
ロボットアーム50は、複数配置されている。具体的には、4つのロボットアーム50a、50b、50cおよび50dが配置されている。ロボットアーム50a、50b、50cおよび50dは、互いに同様の構成を有する。
図4に示すように、ロボットアーム50は、アーム部51と、第1リンク部52と、第2リンク部53と、並進移動機構部54とを含む。ロボットアーム50は、関節JT1、JT2、JT3、JT4、JT5、JT6、JT7およびJT8を有する。関節JT1、JT2、JT3、JT4、JT5、JT6およびJT7は、各々の回転軸としての、A1、A2、A3、A4、A5、A6およびA7軸を有する。JT8は、直動軸としてのA8軸を有する。アーム部51は、ベース部51a、および、リンク部51bを含む。
アーム部51は、7軸多関節ロボットアームからなる。第1リンク部52は、アーム部51の先端に配置されている。第2リンク部53には、後述するアーム操作部60が取り付けられる。並進移動機構部54は、第1リンク部52と第2リンク部53との間に配置されている。第2リンク部53には、手術器具1を保持するホルダ55が配置されている。並進移動機構部54は、手術器具1が取り付けられたホルダ55を第1の位置と第2の位置の間で並進させる。第1の位置とは、A8軸に沿った並進移動機構部54によるホルダ55の移動範囲のうちのZ2方向側の端部の位置である。第2の位置とは、A8軸に沿った並進移動機構部54によるホルダ55の移動範囲のうちのZ1方向側の端部の位置である。
複数のロボットアーム50の各々の先端には、手術器具1が取り付けられている。手術器具1は、たとえば、取り換え可能なインストゥルメント2、手術部位の画像である内視鏡画像72を取り込むための図9に示される内視鏡3、および、ピボット位置PPを設定するための図10に示されるピボット位置設定器具4などを含む。インストゥルメント2は、被駆動ユニット2aとエンドエフェクタ2bと図5に示すシャフト2cとを含む。エンドエフェクタ2bは、シャフト2cの先端に接続されている。
図1に示すように、複数のロボットアーム50のうちの一つの、たとえば、ロボットアーム50cの先端には内視鏡3が取り付けられ、残りの、たとえば、ロボットアーム50a、50bおよび50dの先端には、インストゥルメント2が取り付けられる。内視鏡3は、互いに隣り合うように配置されている4つのロボットアーム50のうちの、中央に配置される2つのロボットアーム50bおよび50cのうちのいずれかに取り付けられることが望ましい。
(インストゥルメントの構成)
図5に示すように、インストゥルメント2の先端には、たとえば、ジョー部材2fおよびジョー部材2gを有するエンドエフェクタ2bが取り付けられている。エンドエフェクタ2bの例としては、関節を有する器具として、ハサミ、グラスパー、ニードルホルダ、マイクロジセクター、ステーブルアプライヤー、タッカー、吸引洗浄ツール、スネアワイヤ、および、クリップアプライヤーなどが配置される。インストゥルメント2の先端には、関節を有しない器具として、切断刃、焼灼プローブ、洗浄器、カテーテル、および、吸引オリフィスなどが配置される。
図5に示すように、インストゥルメント2の先端には、たとえば、ジョー部材2fおよびジョー部材2gを有するエンドエフェクタ2bが取り付けられている。エンドエフェクタ2bの例としては、関節を有する器具として、ハサミ、グラスパー、ニードルホルダ、マイクロジセクター、ステーブルアプライヤー、タッカー、吸引洗浄ツール、スネアワイヤ、および、クリップアプライヤーなどが配置される。インストゥルメント2の先端には、関節を有しない器具として、切断刃、焼灼プローブ、洗浄器、カテーテル、および、吸引オリフィスなどが配置される。
インストゥルメント2は、第1支持部材2dと、第2支持部材2eとを含む。第1支持部材2dは、シャフト2cに取り付けられている。第2支持部材2eは、第1支持部材2dにA10軸周りに回転可能に支持され、エンドエフェクタ2bをA10軸と交差するA11軸周りに回転可能に支持する。シャフト2cは、A9軸周りに回転する。
なお、図6に示すように、インストゥルメント2は、ホルダ55と、ドレープアダプタ55aを介して係合される。すなわち、インストゥルメント2が取り付けられるホルダ55とは、ホルダ55にインストゥルメント2が直接取り付けられる場合と、ドレープアダプタ55aを介してホルダ55にインストゥルメント2が取り付けられる場合とを含む広い概念である。ドレープアダプタ55aは、手術準備中のドレープの取付時にホルダ55に取り付けられ、手術中には取り外すことは無い。インストゥルメント2の交換時は、ドレープアダプタ55aからインストゥルメント2を取り外し、他のインストゥルメント2を取り付ける。
(アーム操作部の構成)
図6に示すように、アーム操作部60は、ロボットアーム50に取り付けられており、ロボットアーム50を操作する。具体的には、アーム操作部60は、第2リンク部53に取り付けられている。
図6に示すように、アーム操作部60は、ロボットアーム50に取り付けられており、ロボットアーム50を操作する。具体的には、アーム操作部60は、第2リンク部53に取り付けられている。
アーム操作部60は、イネーブルスイッチ61と、ジョイスティック62と、リニアスイッチ63と、モード切替ボタン64と、モードインジケータ65と、ピボットボタン66と、アジャストメントボタン67と、を含む。
イネーブルスイッチ61は、押下されることにより、ジョイスティック62およびリニアスイッチ63によるロボットアーム50の移動を許可または不許可とする。看護師、助手などの操作者によりアーム操作部60が把持された状態で、イネーブルスイッチ61が押下されることにより、ロボットアーム50による手術器具1の移動が許可される。
ジョイスティック62は、ロボットアーム50による手術器具1の移動を操作するための操作具である。ジョイスティック62は、ロボットアーム50の移動方向および移動速度を操作する。ジョイスティック62が倒された方向および倒された角度に応じて、ロボットアーム50が移動される。
リニアスイッチ63は、手術器具1の長手方向であるZ方向に手術器具1を移動させるためのスイッチである。リニアスイッチ63は、手術器具1を患者Pに挿入する方向に移動させるリニアスイッチ63aと、手術器具1を患者Pから離間する方向に移動させるリニアスイッチ63bとを含む。リニアスイッチ63aとリニアスイッチ63bとは、共に、押しボタンスイッチからなる。
モード切替ボタン64は、手術器具1を並進移動させるモードと回転移動させるモードとを切り替えるための押しボタンスイッチである。図7に示すように、ロボットアーム50を並進移動させるモードでは、手術器具1の先端1aが、X-Y平面上において移動するように、ロボットアーム50が移動される。図8に示すように、ロボットアーム50を回転移動させるモードでは、ピボット位置PPが記憶部351に記憶されていない時は、手術器具1としてのインストゥルメント2のエンドエフェクタ2bのA11軸上における中心またはエンドエフェクタ2bの先端を支点に回転移動し、ピボット位置PPが記憶部351に記憶されている時は、ピボット位置PPを支点として手術器具1が回転移動するように、ロボットアーム50が移動される。なお、手術器具1のシャフト1cがトロカールTに挿入された状態で、手術器具1が回転移動される。モード切替ボタン64は、アーム操作部60のZ方向側の面に配置されている。
モードインジケータ65は、切り替えられたモードを表示する。モードインジケータ65の点灯は、回転移動モードを表し、消灯は、並進移動モードを表す。また、モードインジケータ65は、ピボット位置PPが設定されたことを表示するピボット位置インジケータを兼ねている。モードインジケータ65は、アーム操作部60のZ方向側の面に配置されている。
ピボットボタン66は、ロボットアーム50に取り付けられた手術器具1の移動の支点となるピボット位置PPを設定するための押しボタンスイッチである。
アジャストメントボタン67は、ロボットアーム50の位置を最適化するためのボタンである。内視鏡3が取り付けられたロボットアーム50に対するピボット位置PPの設定後、アジャストメントボタン67が押下されることにより、他のロボットアーム50およびアームベース40の位置が最適化される。アジャストメントボタン67は、イネーブルスイッチ61とは異なるボタンである。
(遠隔操作装置)
図1に示すように、遠隔操作装置200は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置200は、操作部110と、フットペダル120と、タッチパネル130と、モニタ140と、支持アーム150と、支持バー160と、エラーリセットボタン161と、を含む。操作部110は、医師などの操作者が指令を入力するための操作用のハンドルを構成する。モニタ140は、操作装置表示部の一例である。
図1に示すように、遠隔操作装置200は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置200は、操作部110と、フットペダル120と、タッチパネル130と、モニタ140と、支持アーム150と、支持バー160と、エラーリセットボタン161と、を含む。操作部110は、医師などの操作者が指令を入力するための操作用のハンドルを構成する。モニタ140は、操作装置表示部の一例である。
(操作部)
図11に示すように、操作部110は、手術器具1を操作するためのハンドルである。また、操作部110は、手術器具1に対する操作を受け付ける。操作部110は、医師などの操作者から見て、左側に配置され、操作者の左手により操作される操作部110Lと、右側に配置され、操作者の右手により操作される操作部110Rと、を含んでいる。操作部110は、アーム部111とリスト部112とを含む。また、操作部110Rは、アーム部111Rとリスト部112Rとを含む。また、操作部110Lは、アーム部111Lとリスト部112Lとを含む。
図11に示すように、操作部110は、手術器具1を操作するためのハンドルである。また、操作部110は、手術器具1に対する操作を受け付ける。操作部110は、医師などの操作者から見て、左側に配置され、操作者の左手により操作される操作部110Lと、右側に配置され、操作者の右手により操作される操作部110Rと、を含んでいる。操作部110は、アーム部111とリスト部112とを含む。また、操作部110Rは、アーム部111Rとリスト部112Rとを含む。また、操作部110Lは、アーム部111Lとリスト部112Lとを含む。
アーム部111は、図11に示す関節JT21、JT22、JT23と、図12および図13に示すJT24、JT25、JT26およびJT27とを有する。関節JT21、JT22、JT23、JT24、JT25、JT26およびJT27の回転軸を、各々、A21、A22、A23、A24、A25、A26およびA27軸とする。
(アーム部)
図11に示すように、アーム部111Rは、リンク部111aと、リンク部111bと、リンク部111cとを有する。リンク部111aの上端側は、鉛直方向に沿ったA21軸回りに回転可能に遠隔操作装置200に取り付けられている。リンク部111bの上端側は、水平方向に沿ったA22軸回りに回転可能にリンク部111aの下端側に取り付けられている。リンク部111cの一方端側は、水平方向に沿ったA23軸回りに回転可能にリンク部111bの下端側に取り付けられている。リンク部111cの他方端側には、A24軸回りに回転可能にリスト部112が取り付けられている。リンク部111aは、関節JT21により遠隔操作装置200に接続されている。リンク部111aとリンク部111bとは、関節JT22により接続されている。リンク部111bとリンク部111cとは、関節JT23により接続されている。アーム部111は、リスト部112を支持する。なお、アーム部111Lもアーム部111Rと同様の構成を有する。
図11に示すように、アーム部111Rは、リンク部111aと、リンク部111bと、リンク部111cとを有する。リンク部111aの上端側は、鉛直方向に沿ったA21軸回りに回転可能に遠隔操作装置200に取り付けられている。リンク部111bの上端側は、水平方向に沿ったA22軸回りに回転可能にリンク部111aの下端側に取り付けられている。リンク部111cの一方端側は、水平方向に沿ったA23軸回りに回転可能にリンク部111bの下端側に取り付けられている。リンク部111cの他方端側には、A24軸回りに回転可能にリスト部112が取り付けられている。リンク部111aは、関節JT21により遠隔操作装置200に接続されている。リンク部111aとリンク部111bとは、関節JT22により接続されている。リンク部111bとリンク部111cとは、関節JT23により接続されている。アーム部111は、リスト部112を支持する。なお、アーム部111Lもアーム部111Rと同様の構成を有する。
リスト部112は、図12に示す操作者の右手によって操作されるリスト部112Rと、図13に示す操作者の左手によって操作されるリスト部112Lとを含む。図12は操作部110Rの基準姿勢を表し、図13は操作部110Lの基準姿勢を表している。リスト部112Rの構成と、リスト部112Lの構成とは同様である。
リスト部112は、リンク部112a、リンク部112b、リンク部112c、医師などの操作者が操作するグリップ支持部材112dと、を含む。リンク部112aは、基端部がアーム部111の先端部に接続され、A24軸周りに回転する。リンク部112bは、リンク部112aに対して、基端部がリンク部112aの先端部に接続され、A25軸周りに回転する。リンク部112cは、基端部がリンク部112bの先端部に接続されるとともに先端部にグリップ支持部材112dが接続され、リンク部112bに対して、A26軸周りに回転する。グリップ支持部材112dは、リンク部112cに対して、A27軸周りに回転する。リンク部112a、リンク部112bおよびリンク部112cは、各々、L字形状を有する。
リスト部112は、操作者によって開閉操作される一対のグリップ部材112eを含む。グリップ部材112eは、細長いプレート状のレバー部材からなり、一対のグリップ部材112eは、それぞれの近位端がグリップ支持部材112dの近位端に回転可能に接続されている。グリップ部材112eには、円筒状の指挿入部112fが配置されている。操作者は、一対の指挿入部112fに指を挿入してリスト部112を操作する。一対のグリップ部材112eは、それぞれの基端がグリップ支持部材112dに接続されており、一対のグリップ部材112e間の角度を大きくしたり小さくしたりすることにより、ジョー部材2fとジョー部材2gとの開き角度が変更される。グリップ部材112eの一方に磁石が配置され、グリップ支持部材112dにホールセンサが配置されている。操作者がグリップ部材112eを開閉すると、磁石とホールセンサとが角度検知センサとして機能し、ホールセンサは開き角度を出力する。なお、角度検知センサとして、グリップ部材112eにホールセンサを、グリップ支持部材112dに磁石を配置しても良い。また、グリップ部材112eの両方に、角度検知センサとして磁石またはホールセンサを配置しても良い。
図1に示すように、モニタ140は、内視鏡3によって取り込まれた内視鏡画像72を表示するためのスコープ型表示装置である。すなわち、モニタ140は、内視鏡3により撮像された内視鏡画像72を表示する。また、モニタ140には、報知部141が配置されている。報知部141は、エラー音を報知する。支持アーム150は、モニタ140の高さを医師などの操作者の顔の高さに合わせるようにモニタ140を支持する。タッチパネル130は、支持バー160に配置されている。モニタ140近傍に設けられたセンサにより操作者の頭部を検知することにより手術支援ロボット100は遠隔操作装置200による操作が可能になる。操作者は、モニタ140に表示された内視鏡画像72により患部を視認しながら、操作部110およびフットペダル120を操作する。これにより、遠隔操作装置200に指令が入力される。遠隔操作装置200に入力された指令は、手術支援ロボット100に送信される。
(フットペダル)
図14に示すように、フットペダル120は、手術器具1に関する機能を実行するように複数設けられている。また、複数のフットペダル120は、基台部121に配置されている。フットペダル120は、切替ペダル122と、クラッチペダル123と、カメラペダル124と、切開ペダル125と、凝固ペダル126と、足検知部127と、を含んでいる。切替ペダル122と、クラッチペダル123と、カメラペダル124と、切開ペダル125と、凝固ペダル126とは、操作者の足により操作される。また、切開ペダル125は、右側のロボットアーム50用の切開ペダル125Rと、左側のロボットアーム50用の切開ペダル125Lとを含む。また、凝固ペダル126は、右側のロボットアーム50用の凝固ペダル126Rと、左側のロボットアーム50用の凝固ペダル126Lとを含む。
図14に示すように、フットペダル120は、手術器具1に関する機能を実行するように複数設けられている。また、複数のフットペダル120は、基台部121に配置されている。フットペダル120は、切替ペダル122と、クラッチペダル123と、カメラペダル124と、切開ペダル125と、凝固ペダル126と、足検知部127と、を含んでいる。切替ペダル122と、クラッチペダル123と、カメラペダル124と、切開ペダル125と、凝固ペダル126とは、操作者の足により操作される。また、切開ペダル125は、右側のロボットアーム50用の切開ペダル125Rと、左側のロボットアーム50用の切開ペダル125Lとを含む。また、凝固ペダル126は、右側のロボットアーム50用の凝固ペダル126Rと、左側のロボットアーム50用の凝固ペダル126Lとを含む。
切替ペダル122は、操作部110で動作させるロボットアーム50を切り替える。クラッチペダル123は、ロボットアーム50と操作部110との操作接続を一時切断するクラッチ操作を実行する。クラッチペダル123が操作者によって踏み込まれている間、操作部110による操作が、ロボットアーム50に伝達されなくなる。また、カメラペダル124が操作者によって踏み込まれている間、操作部110によって、内視鏡3が取り付けられたロボットアーム50を操作することが可能になる。切開ペダル125または凝固ペダル126が操作者によって踏み込まれている間、電気手術装置が起動する。
足検知部127は、フットペダル120を操作する操作者の足を検知する。足検知部127は、切替ペダル122、クラッチペダル123、カメラペダル124、切開ペダル125Lと凝固ペダル126L、および、切開ペダル125Rと凝固ペダル126Rの各々について設けられ、各フットペダル120の上方に位置するホバー状態の足を検知する。足検知部127は、基台部121に配置されている。なお、カメラペダル124を含む、フットペダル120の機能は、本実施形態のような操作者が足で踏み込むペダルによるものに限定されず、たとえば、操作部110にハンドスイッチ等の入力装置を設けることにより、操作者の手での操作によるものとしてもよい。
(ビジョンユニットおよび画像処理ユニット)
図1に示すように、ビジョンユニット300および画像処理ユニット400は、カート210に載置されている。画像処理ユニット400は、内視鏡3により撮影された内視鏡画像72を処理する。カート210には、表示部220が配置されている。表示部220には、内視鏡3により撮影された内視鏡画像72が表示される。
図1に示すように、ビジョンユニット300および画像処理ユニット400は、カート210に載置されている。画像処理ユニット400は、内視鏡3により撮影された内視鏡画像72を処理する。カート210には、表示部220が配置されている。表示部220には、内視鏡3により撮影された内視鏡画像72が表示される。
(制御系の構成)
図15に示すように、手術支援システム500は、第1制御装置310と、アーム制御部320と、ポジショナ制御部330と、操作制御部340と、第2制御装置350と、を備えている。また、手術支援システム500は、第1制御装置310に接続される記憶部311と、第2制御装置350に接続される記憶部351と、を備えている。第1制御装置310は、演算を行うCPU(Central Processing Unit)を含むコンピュータにより構成されている。また、第1制御装置310は、プログラムに従って処理を行う。第1制御装置310に処理を実行させるプログラムは、たとえば、記憶部311に記憶されている。第1制御装置310は、制御部の一例である。
図15に示すように、手術支援システム500は、第1制御装置310と、アーム制御部320と、ポジショナ制御部330と、操作制御部340と、第2制御装置350と、を備えている。また、手術支援システム500は、第1制御装置310に接続される記憶部311と、第2制御装置350に接続される記憶部351と、を備えている。第1制御装置310は、演算を行うCPU(Central Processing Unit)を含むコンピュータにより構成されている。また、第1制御装置310は、プログラムに従って処理を行う。第1制御装置310に処理を実行させるプログラムは、たとえば、記憶部311に記憶されている。第1制御装置310は、制御部の一例である。
第1制御装置310は、医療用台車10の内部においてアーム制御部320およびポジショナ制御部330と通信するように配置され、手術支援システム500の全体を制御する。具体的には、第1制御装置310は、アーム制御部320、ポジショナ制御部330、および、操作制御部340の各々と通信し、制御する。第1制御装置310と、アーム制御部320、ポジショナ制御部330、および、操作制御部340とは、LANなどによって接続されている。第1制御装置310は、医療用台車10の内部に配置されている。
アーム制御部320は、複数のロボットアーム50ごとに配置されている。すなわち、医療用台車10の内部には、複数のロボットアーム50の数に対応した複数のアーム制御部320が配置されている。
図15に示すように、入力装置22は、第1制御装置310にLANなどによって接続されている。ステータスインジケータ41、アームステータスインジケータ42、操作ハンドル23、スロットル23a、および、ジョイスティック22bと、ポジショナ制御部330とは、配線360によって、互いの情報を共有可能な通信ネットワークによりシリアル通信接続されている。なお、図15では、1つの配線360に、ステータスインジケータ41、アームステータスインジケータ42などの全てが接続されているように記載されているが、実際には、ステータスインジケータ41、アームステータスインジケータ42、操作ハンドル23、スロットル23a、および、ジョイスティック22bごとに、配線360が配置されている。
図16に示すように、アーム部51には、関節JT1、JT2、JT3、JT4、JT5、JT6およびJT7の各々に対応するように、複数のサーボモータSM1と、エンコーダEN1と、減速機とが設けられている。エンコーダEN1は、サーボモータSM1の回転角を検出する。減速機は、サーボモータSM1の回転を減速させてトルクを増大させる。医療用台車10の内部には、サーボモータSM1を制御するためのサーボ制御部SC1がアーム制御部320に隣接して配置されている。また、サーボ制御部SC1には、サーボモータSM1の回転角を検出するためのエンコーダEN1が電気的に接続されている。
第2リンク部53には、手術器具1の被駆動ユニット2aに配置された被駆動部材を回転させるためのサーボモータSM2と、エンコーダEN2と、減速機とが配置されている。エンコーダEN2は、サーボモータSM2の回転角を検出する。減速機は、サーボモータSM2の回転を減速させてトルクを増大させる。また、医療用台車10には、手術器具1を駆動するサーボモータSM2を制御するためのサーボ制御部SC2が配置されている。サーボ制御部SC2には、サーボモータSM2の回転角を検出するためのエンコーダEN2が電気的に接続されている。なお、サーボモータSM2、エンコーダEN2およびサーボ制御部SC2は、各々複数配置されている。
並進移動機構部54には、手術器具1を並進移動させるためのサーボモータSM3と、エンコーダEN3と、減速機とが設けられている。エンコーダEN3は、サーボモータSM3の回転角を検出する。減速機は、サーボモータSM3の回転を減速させてトルクを増大させる。また、医療用台車10には、手術器具1を並進移動するサーボモータSM3を制御するためのサーボ制御部SC3が配置されている。サーボ制御部SC3には、サーボモータSM3の回転角を検出するためのエンコーダEN3が電気的に接続されている。
第1制御装置310は、遠隔操作装置200が受け付けた操作に基づいてサーボモータSM1、SM2およびSM3の位置を指令する指令値を生成し、指令値に基づいてサーボモータSM1、SM2およびSM3を駆動する。そして、第1制御装置310は、指令値とセンサにより検出されたサーボモータSM1、SM2およびSM3の位置との差が許容範囲を超えた場合に偏差異常のエラーを検出する。
図17に示すように、ポジショナ30には、ポジショナ30の複数の関節33に対応するように、複数のサーボモータSM4と、エンコーダEN4と、減速機とが設けられている。エンコーダEN4は、サーボモータSM4の回転角を検出するように構成されている。減速機は、サーボモータSM4の回転を減速させてトルクを増大させるように構成されている。
医療用台車10は、車輪を備えており、駆動輪としての前輪と、操作ハンドル23によって操舵される後輪とを有する。なお、後輪は、前輪よりも操作ハンドル23に近い側に配置されている。また、医療用台車10には、医療用台車10の複数の前輪の各々を駆動するサーボモータSM5と、エンコーダEN5と、減速機と、ブレーキBRKとが配置されている。減速機は、サーボモータSM5の回転を減速させてトルクを増大させるように構成されている。また、医療用台車10の操作ハンドル23には、図3に示すポテンショメータP1が配置されており、スロットル23aの捻りに応じてポテンショメータP1で検出した回転角に基づき、前輪のサーボモータSM5は駆動される。また、医療用台車10の後輪は、双輪形式であり、操作ハンドル23の左右の回転に基づき、後輪は操舵される。また、医療用台車10の操作ハンドル23には、図3に示すポテンショメータP2が回転軸に配置されており、医療用台車10の後輪には、サーボモータSM6とエンコーダEN6と減速機が配置されている。減速機は、サーボモータSM6の回転を減速させてトルクを増大させるように構成されている。操作ハンドル23の左右の回転に応じてポテンショメータP2で検出した回転角に基づき、サーボモータSM6は駆動される。すなわち、操作ハンドル23の左右の回転による後輪の操舵は、サーボモータSM6によりパワーアシストされるように構成されている。
医療用台車10は、前輪が駆動されることにより、前後方向に移動する。また、医療用台車10の操作ハンドル23が回転されることにより、後輪が操舵されて、医療用台車10が左右方向に回転する。
図17に示すように、医療用台車10には、ポジショナ30を移動するサーボモータSM4を制御するためのサーボ制御部SC4が配置されている。また、サーボ制御部SC4には、サーボモータSM4の回転角を検出するためのエンコーダEN4が電気的に接続されている。また、医療用台車10には、医療用台車10の前輪を駆動するサーボモータSM5を制御するためのサーボ制御部SC5が配置されている。サーボ制御部SC5には、サーボモータSM5の回転角を検出するためのエンコーダEN5が電気的に接続されている。医療用台車10には、医療用台車10の後輪の操舵をパワーアシストするサーボモータSM6を制御するためのサーボ制御部SC6が配置されている。サーボ制御部SC6には、サーボモータSM6の回転角を検出するためのエンコーダEN6が電気的に接続されている。
図16および図17に示すように、アーム部51の関節JT1、JT2、JT3、JT4、JT5、JT6およびJT7と、ポジショナ30の関節33の各々には、ブレーキBRKが搭載されている。また、医療用台車10の前輪と、アームベース40および並進移動機構部54にもブレーキBRKが搭載されている。アーム制御部320からアーム部51の関節JT1、JT2、JT3、JT4、JT5、JT6およびJT7と並進移動機構部54とに搭載された各ブレーキBRKへ制御信号が各々一方通行で送信される。制御信号は、ブレーキBRKをオンオフする信号である。ブレーキBRKをオンする信号は、ブレーキBRKが効いている状態を保持する信号を含む。ポジショナ制御部330から、ポジショナ30の関節33とアームベース40とに搭載された各ブレーキBRKへの制御信号についても同様である。アームベース40とアーム部51と並進移動機構部54とは、起動時に全てのブレーキBRKが解除され、重力に抗するようにサーボモータSMが駆動されることにより、ロボットアーム50の姿勢とアームベース40の姿勢とが維持される。手術支援システム500にエラーが発生した際には、アームベース40とアーム部51と並進移動機構部54とに搭載されたブレーキBRKがオンされる。手術支援システム500のエラーが解除されると、アームベース40とアーム部51と並進移動機構部54とに搭載されたブレーキBRKはオフされる。手術支援システム500のシャットダウン操作によって、アームベース40とアーム部51と並進移動機構部54とに搭載されたブレーキBRKはオンされる。また、医療用台車10の前輪は、常にブレーキBRKがオンされており、医療用台車10のイネーブルスイッチ23bが押下されている間だけブレーキBRKが解除される。また、ポジショナ30の各関節33は、常にブレーキBRKがオンされており、医療用台車10のイネーブルスイッチ22cが押下されている間だけブレーキBRKが解除される。
図18に示すように、操作部110の関節JT21、JT22、JT23、JT24、JT25、JT26およびJT27には、各々、サーボモータSM7a、SM7b、SM7c、SM7d、SM7e、SM7fおよびSM7gが配置されている。また、サーボモータSM7aは、リンク部111aをA21軸周りに回転する。また、サーボモータSM7bは、リンク部111bをA22軸周りに回転する。また、サーボモータSM7cは、リンク部111cをA23軸周りに回転する。また、サーボモータSM7dは、リンク部112aをA24軸周りに回転する。また、サーボモータSM7eは、リンク部112bをA25軸周りに回転する。また、サーボモータSM7fは、リンク部112cをA26軸周りに回転する。また、サーボモータSM7gは、グリップ支持部材112dをA27軸周りに回転する。また、各サーボモータを制御するためのサーボ制御部SC7a、SC7b、SC7c、SC7d、SC7e、SC7fおよびSC7gが配置されている。各サーボ制御部には、各サーボモータの回転角を検出するためのエンコーダEN7a、EN7b、EN7c、EN7d、EN7e、EN7fおよびEN7gが電気的に接続されている。なお、各サーボモータ、各サーボ制御部、および、各エンコーダは、操作部110Lと、操作部110Rとに各々設けられている。
第1制御装置310は、操作制御部340を介して、操作部110の姿勢に応じて、各サーボモータの回転軸に発生する重力トルクを打ち消すようなトルクを発生するように、各サーボモータを制御する。これにより、操作者は、比較的小さい力で操作部110を操作することが可能になる。
図15に示すように、第1制御装置310は、アーム操作部60に受け付けられた操作に基づいてロボットアーム50を制御する。たとえば、第1制御装置310は、アーム操作部60のジョイスティック62に受け付けられた操作に基づいてロボットアーム50を制御する。具体的には、アーム制御部320は、ジョイスティック62から入力された入力信号を第1制御装置310に出力する。第1制御装置310は受け取った入力信号と、エンコーダEN1により検出された回転角とに基づいて位置指令を生成するとともに、アーム制御部320を介して、位置指令をサーボ制御部SC1に出力する。サーボ制御部SC1は、アーム制御部320から入力された位置指令と、エンコーダEN1により検出された回転角とに基づいて、電流指令を生成するとともに、電流指令をサーボモータSM1に出力する。これにより、ジョイスティック62に入力された動作指令に沿うように、ロボットアーム50が移動される。
第1制御装置310は、アーム操作部60のリニアスイッチ63からの入力信号に基づいてロボットアーム50を制御する。具体的には、アーム制御部320は、リニアスイッチ63から入力された入力信号を第1制御装置310に出力する。第1制御装置310は受け取った入力信号と、エンコーダEN1またはEN3により検出された回転角とに基づいて位置指令を生成するとともに、アーム制御部320を介して、位置指令をサーボ制御部SC1またはSC3に出力する。サーボ制御部SC1またはSC3は、アーム制御部320から入力された位置指令と、エンコーダEN1またはEN3により検出された回転角とに基づいて、電流指令を生成するとともに、電流指令をサーボモータSM1またはSM3に出力する。これにより、リニアスイッチ63に入力された動作指令に沿うように、ロボットアーム50が移動される。
ポジショナ制御部330は、医療用台車10に配置されている。ポジショナ制御部330は、ポジショナ30および医療用台車10を制御する。ポジショナ30には、ポジショナ30の複数の関節33に対応するように、サーボモータSM4と、エンコーダEN4と、減速機とが配置されている。ポジショナ30のサーボモータSM4を制御するサーボ制御部SC4は、医療用台車10に配置されている。医療用台車10には、医療用台車10の複数の前輪の各々を駆動するサーボモータSM5およびSM6と、エンコーダEN5およびEN6と、減速機と、サーボ制御部SC5およびSC6と、ブレーキBRKとが配置されている。
操作制御部340は、遠隔操作装置200の本体に配置されている。操作制御部340は、操作部110を制御する。操作制御部340は、図15に示すように、左手用の操作部110Lと右手用の操作部110Rとの各々に対応するように配置されている。操作部110には、操作部110の複数の関節JT21からJT27までに対応するように、サーボモータSMと、エンコーダENと、減速機とが配置されている。操作部110のサーボモータSMを制御するサーボ制御部SCは、操作制御部340に隣接して遠隔操作装置200の本体に配置されている。
図15に示すように、ビジョンユニット300と、画像処理ユニット400とは、LANなどにより、第1制御装置310に接続されている。表示部220は、ビジョンユニット300に接続されている。
(回避動作)
図1に示すように、第1実施形態では、手術支援システム500は、手術支援ロボット100と回避対象である寝台501およびスクリーン502との接触を回避する。第1制御装置310は、回避対象に対する回避動作を手術支援ロボット100により実行させる。寝台501およびスクリーン502は、手術支援ロボット100を用いて手術が行われる患者Pの周囲に配置されている障害物である。寝台501およびスクリーン502は、回避対象の一例である。
図1に示すように、第1実施形態では、手術支援システム500は、手術支援ロボット100と回避対象である寝台501およびスクリーン502との接触を回避する。第1制御装置310は、回避対象に対する回避動作を手術支援ロボット100により実行させる。寝台501およびスクリーン502は、手術支援ロボット100を用いて手術が行われる患者Pの周囲に配置されている障害物である。寝台501およびスクリーン502は、回避対象の一例である。
寝台501は、患者Pが横たわるベッドである。スクリーン502は、寝台501に横たわった状態の患者Pの頭部と術野とを隔てる布状の幕と、布状の幕を指示する棒状の支持部材とを有する。スクリーン502は、寝台501に取り付けられており、患者Pの胸部または首部の上方において、頭部と胴体とを隔てるように配置されている。スクリーン502は、たとえば、麻酔用スクリーンであって、離被架とも呼ばれる。
手術支援システム500は、患者Pと、障害物である寝台501およびスクリーン502との少なくとも一方に対して取り付けられた複数のマーカー部材91、92、93、および、94を備えている。第1実施形態では、マーカー部材91および92は、寝台501に取り付けられている。マーカー部材93および94は、スクリーン502に取り付けられている。マーカー部材91および92は、たとえば、寝台501において、それぞれ、患者Pが横たわる天板の四隅のうちの頭部側の2つの隅部の各々に配置されている。マーカー部材93および94は、スクリーン502において、鉛直上方側の部分に配置されている。マーカー部材93および94は、スクリーン502の左右方向の一方端および他方端の各々に互いに離間して配置されている。たとえば、マーカー部材91、92、93、および、94は、撮像部43が配置されている鉛直上方側から視認可能な位置に配置されている。すなわち、マーカー部材91、92、93、および、94は、撮像部43の撮像範囲に含まれる位置に配置されている。撮像部43と、マーカー部材91、92、93、および、94の各々との離間距離は、たとえば、1mから2m程度である。
図19に示すように、第1実施形態では、第1制御装置310は、撮像部43によりマーカー部材91、92、93、および、94が撮像された撮像画像71を取得する。第1制御装置310は、取得された撮像画像71に基づいて、マーカー部材91、92、93、および、94を検出する。そして、第1実施形態では、第1制御装置310は、検出されたマーカー部材91、92、93、および、94に基づいて、寝台501およびスクリーン502との接触を回避する回避動作を手術支援ロボット100により実行させる。
マーカー部材91、92、93、および、94の各々は、平面図形を含む。具体的には、マーカー部材91、92、93、および、94は、平面図形として、対応する回避対象である寝台501およびスクリーン502の識別情報を示すコード図形を含む。たとえば、マーカー部材91、92、93、および、94は、矩形の平面図形を含むARマーカーである。すなわち、マーカー部材91および92は、寝台501の識別情報を示すコード図形を含むARマーカーであり、マーカー部材93および94は、スクリーン502の識別情報を示すコード図形を含むARマーカーである。ARマーカーとは、現実空間にデジタルコンテンツを重ねて表示できる拡張現実を表示させる目印となるものである。ARマーカーは、たとえば、白色と黒色の図形が組み合わせされて形成されている。マーカー部材91、92、93、および、94は、患者Pと、障害物である寝台501およびスクリーン502との少なくとも一方に対して着脱可能である。たとえば、マーカー部材91、92、93、および、94は、粘着層を有し、操作者により、患者Pと、障害物である寝台501およびスクリーン502との少なくとも一方に対して貼付される。マーカー部材91、92、93、および、94の各々は、たとえば、20mmから30mm程度の大きさを有する。
そして、図20に示すように、第1制御装置310は、マーカー部材91、92、93、および、94の各々を検出することによって、マーカー部材91、92、93、および、94の各々に含まれる識別情報から、回避対象領域81および回避対象領域82を設定する。具体的には、第1制御装置310は、3次元画像としての撮像画像71に基づいて、マーカー部材91、92、93、および、94の3次元的な位置を取得する。この時、必要とされるマーカー部材91、92、93、および、94の各々の位置の読取精度は、たとえば、±10mm程度である。そして、第1制御装置310は、ロボットアーム50の動作を制御するための座標空間であるロボット座標系におけるマーカー部材91、92、93、および、94の各々の位置を取得する。
たとえば、第1制御装置310は、ロボットアーム50のエンコーダEN1、EN2、および、EN3と、ポジショナ30のエンコーダEN4との各々からの信号に基づいて、ロボット座標系におけるロボットアーム50の姿勢とアームベース40の姿勢とを取得する。そして、第1制御装置310は、予め設定された撮像部43のアームベース40における位置と、撮像部43により撮像された3次元画像としての撮像画像71において検出されたマーカー部材91、92、93、および、94の位置とに基づいて、マーカー部材91、92、93、および、94の各々のロボット座標系における位置を取得する。
そして、第1制御装置310は、検出されたマーカー部材91および92に基づいて、寝台501に対応する回避対象領域81を設定するとともに、検出されたマーカー部材93および94に基づいて、スクリーン502に対応する回避対象領域82を設定する。たとえば、記憶部311には、マーカー部材91、92、93、および、94の各々が、いずれの回避対象に対応するかを示す情報が予め設定されて記憶されている。記憶部311には、マーカー部材91および92と、寝台501に対応する回避対象領域81とが互いに関連付けられて記憶されており、マーカー部材93および94と、スクリーン502に対応する回避対象領域82とが互いに関連付けられて記憶されている。識別情報は、マーカー部材91、92、93、および、94のうちのいずれであるかを識別するための情報である。第1制御装置310は、マーカー部材91、92、93、および、94が示す識別情報から、検出されたマーカー部材91、92、93、および、94の各々の位置を取得することによって、マーカー部材91、92、93、および、94の各々に関連付けられた回避対象領域81および82の各々をロボット座標系において設定する。回避対象領域81および82は、それぞれ、寝台501およびスクリーン502の大きさおよび形状に対応する直方体形状を有する3次元の空間領域として設定される。すなわち、第1制御装置310は、マーカー部材91および92を検出することによって、マーカー部材91および92が示す識別情報に基づいて、寝台501の大きさおよび形状に対応する回避対象領域81を設定する。同様に、第1制御装置310は、マーカー部材93および94を検出することによって、マーカー部材93および94が示す識別情報に基づいて、スクリーン502の大きさおよび形状に対応する回避対象領域82を設定する。
そして、第1実施形態では、第1制御装置310は、回避動作において、設定された回避対象領域81および82の外部において手術支援ロボット100の動作を停止させることによって、回避対象である寝台501およびスクリーン502との接触を回避する。具体的には、第1制御装置310は、手術支援ロボット100を用いて患者Pに対して手術が行われている際に、設定された回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方を進入させる操作が遠隔操作装置200により受け付けられた場合に、回避対象領域81および82の外部において手術支援ロボット100の動作を停止させる。
たとえば、第1制御装置310は、遠隔操作装置200により受け付けられた操作に基づいてロボットアーム50を動作させる場合に、手術器具1およびロボットアーム50のいずれかが、設定された回避対象領域81または回避対象領域82に進入するか否かを判断する。そして、第1制御装置310は、ロボットアーム50および手術器具1の少なくとも一方が回避対象領域81および82のいずれかに進入すると判断された場合には、手術支援ロボット100の動作を停止させる。たとえば、第1制御装置310は、アームベース40とアーム部51と並進移動機構部54とに搭載されたブレーキBRKをオンにすることによって、手術支援ロボット100の動作を停止させて、手術器具1およびロボットアーム50の動作を停止させる。
〈指示情報の出力〉
ここで、設定された回避対象領域81または82の外部において手術支援ロボット100の動作を停止させることによって、回避対象である寝台501およびスクリーン502との接触を回避する回避動作が実行される場合にも、手術支援ロボット100が回避対象である寝台501またはスクリーン502に接触する場合がある。すなわち、設定された回避対象領域81または82の外部において手術支援ロボット100の動作を停止させる回避動作が実行される場合にも、手術支援ロボット100が回避対象領域81または82の内部に進入してしまう場合がある。これに対して、第1実施形態では、第1制御装置310は、回避動作において、検出されたマーカー部材91、92、93、および、94に基づいて、寝台501およびスクリーン502に接触した場合に接触を解消する動作を手術支援ロボット100に実行させる。
ここで、設定された回避対象領域81または82の外部において手術支援ロボット100の動作を停止させることによって、回避対象である寝台501およびスクリーン502との接触を回避する回避動作が実行される場合にも、手術支援ロボット100が回避対象である寝台501またはスクリーン502に接触する場合がある。すなわち、設定された回避対象領域81または82の外部において手術支援ロボット100の動作を停止させる回避動作が実行される場合にも、手術支援ロボット100が回避対象領域81または82の内部に進入してしまう場合がある。これに対して、第1実施形態では、第1制御装置310は、回避動作において、検出されたマーカー部材91、92、93、および、94に基づいて、寝台501およびスクリーン502に接触した場合に接触を解消する動作を手術支援ロボット100に実行させる。
具体的には、図21に示すように、第1制御装置310は、回避動作において、設定された回避対象領域81および82のいずれかに対して、ロボットアーム50および手術器具1の少なくとも一方が進入した場合に、寝台501およびスクリーン502に対する接触が発生したと判断する。その場合に、第1制御装置310は、接触を解消する動作として、進入情報73を出力する。第1実施形態では、遠隔操作装置200のモニタ140が、遠隔操作装置200に対して操作を行う操作者に対して進入情報73を表示する。第1制御装置310は、手術支援ロボット100を用いて患者Pに対して手術が行われている際に、設定された回避対象領域81および82のいずれかに対してロボットアーム50および手術器具1の少なくとも一方が進入した場合に、回避対象領域81および82からの退避方向を指示する指示情報を含む進入情報73を、内視鏡画像72と共に、モニタ140に表示させる。
たとえば、第1制御装置310は、回避対象領域81および82にロボットアーム50または手術器具1が進入した場合に、回避対象領域81および82の形状と、進入時点におけるロボットアーム50およびアームベース40の姿勢とに基づいて、進入を解消するためにロボットアーム50を移動させる退避方向を取得する。そして、第1制御装置310は、取得された退避方向を指示する指示情報を含む進入情報73を、内視鏡画像72に重畳させてモニタ140に表示させる。指示情報を含む進入情報73は、たとえば、退避方向を示す文字情報を含む。なお、ビジョンユニット300の表示部220に、内視鏡画像72とともに指示情報を含む進入情報73を表示するようにしてもよい。また、進入情報73は、音声情報として、操作者に対して報知されるようにしてもよい。
(手術支援ロボットの動作方法)
次に、図22を参照して、第1実施形態による手術支援ロボット100の動作方法の制御処理について説明する。なお、ステップS1からステップS6までの制御は、第1制御装置310により実行される。
次に、図22を参照して、第1実施形態による手術支援ロボット100の動作方法の制御処理について説明する。なお、ステップS1からステップS6までの制御は、第1制御装置310により実行される。
まず、ステップS1において、マーカー部材91、92、93、および、94が撮像される。具体的には、撮像部43によりマーカー部材91、92、93、および、94が撮像された撮像画像71が取得される。マーカー部材91、92、93、および、94は、事前準備において、操作者により予め患者Pと障害物としての寝台501およびスクリーン502との少なくとも一方に対して取り付けられている。
次に、ステップS2において、撮像画像71に基づいて、マーカー部材91、92、93、および、94が検出される。具体的には、3次元画像としての撮像画像71に基づいて、撮像画像71のうちからマーカー部材91、92、93、および、94が検出されることによって、3次元空間におけるマーカー部材91、92、93、および、94の各々の撮像部43に対する相対的な位置が検出される。
次に、ステップS3において、回避対象領域81および82が設定される。具体的には、検出されたマーカー部材91、92、93、および、94の各々の3次元空間における位置に基づいて、ロボット座標系におけるマーカー部材91、92、93、および、94の各々の位置が設定される。そして、設定されたマーカー部材91、92、93、および、94の各々の位置と、マーカー部材91、92、93、および、94の各々の識別情報とに基づいて、識別情報に対応するように、ロボット座標系における回避対象の位置を示す回避対象領域81および82が設定される。
次に、ステップS4において、操作部110により、手術器具1に対する操作の受け付けが開始される。具体的には、遠隔操作装置200のモニタ140に内視鏡画像72が表示された状態で、手術器具1およびロボットアーム50を動作させるための操作部110に対する操作が受け付けられる。
次に、ステップS5において、回避対象領域81および82に対する進入が検出されたか否かが判断される。たとえば、設定された回避対象領域81および82のいずれかに対して、手術器具1およびロボットアーム50の少なくとも一方を進入させる操作が受け付けられた場合に、回避対象領域81および82に対する進入が検出されたと判断される。また、回避対象領域81および82のいずれかに、手術器具1およびロボットアーム50の少なくとも一方が進入してしまった場合に、回避対象領域81および82に対する進入が検出されたと判断される。回避対象領域81および82に対する進入が検出されたと判断された場合は、ステップS6に進む。回避対象領域81および82に対する進入が検出されたと判断されない場合は、ステップS4に戻る。回避対象領域81および82に対する進入が検出されたか否かは、エンコーダEN1、EN2、EN3、および、EN4との各々からの信号に基づいて、ロボット座標系におけるロボットアーム50の姿勢とアームベース40の姿勢と、設定された回避対象領域81および82とに基づいて判断される。
ステップS5では、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象である寝台501およびスクリーン502との接触を回避することと、接触を解消することとの少なくとも一方を含む回避動作が、手術支援ロボット100により実行される。たとえば、回避対象領域81および82に進入させる操作が受け付けられた場合には、接触を回避する動作として、手術支援ロボット100の動作が停止される。この場合において、進入が検出されたことを示す情報を出力するようにしてもよい。また、手術器具1およびロボットアーム50の少なくとも一方が回避対象領域81および82に進入してしまった場合には、回避対象に対する接触が発生したとして、接触を解消する動作を手術支援ロボット100に実行させる。たとえば、接触を解消する動作として、退避方向を指示する指示情報を含む進入情報73が内視鏡画像72と共にモニタ140に表示される。
なお、遠隔操作装置200の操作部110に対する操作が受け付けられている期間に渡って、ステップS4およびステップS5が、繰り返し行われるようにしてもよい。たとえば、手術支援ロボット100を患者Pに手術を行う位置まで移動させるロールインの動作を行った後に、手術を開始する前の準備期間において、ステップS1のマーカー部材91、92、93、および、94の撮像からステップS3の回避対象領域81および82の設定までの処理が行われるとともに、患者Pに対する手術を行っている期間において、ステップS4およびステップS5の処理が繰り返し行われるようにしてもよい。また、ステップS1からステップS6までの処理が繰り返し行われるようにしてもよい。たとえば、患者Pに対する手術を行っている期間において、所定の制御周期ごとに撮像画像71が取得し直されることによって、設定された回避対象領域81および82がリアルタイムで更新されるようにしてもよい。
[第1実施形態の効果]
手術支援システム500は、撮像部43によりマーカー部材91、92、93、および、94が撮像された撮像画像71に基づいて、マーカー部材91、92、93、および、94を検出するとともに、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象としての寝台501およびスクリーン502との接触を回避することと、寝台501およびスクリーン502に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボット100により実行させる制御部としての第1制御装置310を備える。これにより、撮像部43による撮像画像71を用いて検出されたマーカー部材91、92、93、および、94に基づいて、手術支援ロボット100により寝台501およびスクリーン502に対する回避動作を実行できる。そのため、ロボットアーム50の端部を寝台501およびスクリーン502に隣接する位置まで移動させる場合と異なり、寝台501およびスクリーン502との接触を回避するための設定のたびにロボットアーム50を移動させることなく、撮像画像71に基づいて回避動作を実行できる。その結果、手術支援ロボット100を動作させる場合に、寝台501およびスクリーン502との接触を回避するための設定作業における作業負担を抑制できる。
手術支援システム500は、撮像部43によりマーカー部材91、92、93、および、94が撮像された撮像画像71に基づいて、マーカー部材91、92、93、および、94を検出するとともに、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象としての寝台501およびスクリーン502との接触を回避することと、寝台501およびスクリーン502に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、手術支援ロボット100により実行させる制御部としての第1制御装置310を備える。これにより、撮像部43による撮像画像71を用いて検出されたマーカー部材91、92、93、および、94に基づいて、手術支援ロボット100により寝台501およびスクリーン502に対する回避動作を実行できる。そのため、ロボットアーム50の端部を寝台501およびスクリーン502に隣接する位置まで移動させる場合と異なり、寝台501およびスクリーン502との接触を回避するための設定のたびにロボットアーム50を移動させることなく、撮像画像71に基づいて回避動作を実行できる。その結果、手術支援ロボット100を動作させる場合に、寝台501およびスクリーン502との接触を回避するための設定作業における作業負担を抑制できる。
制御部としての第1制御装置310は、マーカー部材91、92、93、および、94を検出することによって、回避対象領域81および82を設定する。第1制御装置310は、回避動作において、設定された回避対象領域81および82の外部において手術支援ロボット100の動作を停止させることと、回避対象領域81および82への進入を避けながら手術支援ロボット100を動作させることとの少なくとも一方を行うことによって、回避対象としての寝台501およびスクリーン502との接触を回避する。これにより、設定された回避対象領域81および82の内部に手術支援ロボット100が進入することを効果的に抑制できる。そのため、寝台501およびスクリーン502を回避するための作業負担を抑制できるとともに、回避対象領域81および82の内部に手術支援ロボット100が進入することを効果的に抑制することによって、寝台501およびスクリーン502を容易に回避できる。
制御部としての第1制御装置310は、手術支援ロボット100を用いて患者Pに対して手術が行われている際に、設定された回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方を進入させる操作が操作装置としての遠隔操作装置200により受け付けられた場合に、回避対象領域81および82の外部において手術支援ロボット100の動作を停止させることと、回避対象領域81および82への進入を避けながら手術支援ロボット100を動作させることとの少なくとも一方を行う。これにより、手術が行われている最中に回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方を進入させる操作が遠隔操作装置200により受け付けられた場合にも、ロボットアーム50および手術器具1の少なくとも一方が回避対象領域81および82の内部に進入することを自動的に抑制できる。そのため、手術が行われている最中に回避対象としての寝台501およびスクリーン502に対してロボットアーム50および手術器具1の少なくとも一方が接触することを容易に回避できる。
マーカー部材91、92、93、および、94は、患者Pが横たわる寝台501、患者Pの頭部と術野とを隔てるスクリーン502、および、手術の際に用いられる医療機器のうちの少なくとも1つを含む回避対象に対して取り付けられている。制御部としての第1制御装置310は、検出されたマーカー部材91、92、93、および、94に基づいて、寝台501、スクリーン502、および、医療機器のうちの少なくとも1つに対する回避動作を手術支援ロボット100により実行させる。ここで、手術の種類、または、患者Pの体形および姿勢によって、寝台501、スクリーン502、および、医療機器などの回避対象の種類、形状、および、位置などが異なる。これに対して、第1実施形態では、第1制御装置310は、検出されたマーカー部材91、92、93、および、94に基づいて、寝台501、スクリーン502、および、医療機器のうちの少なくとも1つに対する回避動作を手術支援ロボット100により実行させる。これにより、寝台501およびスクリーン502を含む回避対象の種類、形状、および、位置などが異なる場合にも、マーカー部材91、92、93、および、94を検出することによって寝台501およびスクリーン502を容易に回避できる。そのため、寝台501およびスクリーン502を回避するための作業負担を効果的に抑制できる。
制御部としての第1制御装置310は、マーカー部材91、92、93、および、94を検出することによって、回避対象領域81および82を設定する。第1制御装置310は、回避動作において、設定された回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した場合に進入情報73を出力する。これにより、第1制御装置310により進入情報73が出力されるので、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した場合にも、出力された進入情報73を認識することによって、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入したことを容易に認識できる。そのため、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した状態を容易に解消できる。
手術支援システム500は、操作装置としての遠隔操作装置200に対する操作を行う操作者に対して、進入情報73を表示する操作装置表示部としてのモニタ140を備える。制御部としての第1制御装置310は、手術支援ロボット100を用いて患者Pに対して手術が行われている際に、設定された回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した場合に、回避対象領域81および82からの退避方向を指示する指示情報を含む進入情報73をモニタ140に表示させる。これにより、遠隔操作装置200に対する操作を行う操作者は、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した場合に、モニタ140に表示された指示情報を含む進入情報73を視覚的に認識することによって、回避対象領域81および82に進入した状態を解消するためにいずれの方向にロボットアーム50を動作させればよいかを容易に認識できる。そのため、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した状態をより容易に解消できる。
操作装置表示部としてのモニタ140は、内視鏡3により撮像された内視鏡画像72を表示する。制御部としての第1制御装置310は、手術支援ロボット100を用いて患者Pに対して手術が行われている際に、内視鏡画像72と共に、指示情報を含む進入情報73をモニタ140に表示させる。これにより、操作装置としての遠隔操作装置200に対する操作を行う操作者は、モニタ140に表示された内視鏡画像72を視覚的に認識しながら手術を行っている最中に、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した場合に、内視鏡画像72と共にモニタ140に表示された指示情報を含む進入情報73を容易に視覚的に認識できる。そのため、操作者は、表示された指示情報を含む進入情報73を視覚的に認識することによって、回避対象領域81および82に進入した状態を解消するためにいずれの方向にロボットアーム50を動作させればよいかを容易に認識できる。その結果、内視鏡画像72を視覚的に認識しながら手術を行っている最中においても、回避対象領域81および82に対してロボットアーム50および手術器具1の少なくとも一方が進入した状態を容易に解消できる。
マーカー部材91、92、93、および、94は、平面図形を含む。制御部としての第1制御装置310は、平面図形を含むマーカー部材91、92、93、および、94を検出することによって、回避対象領域81および82を設定する。これにより、マーカー部材91、92、93、および、94が点を表す部材である場合と異なり、マーカー部材91、92、93、および、94に含まれる平面図形の大きさおよび形状に基づいて、マーカー部材91、92、93、および、94の3次元的な配置を容易に取得できる。そのため、マーカー部材91、92、93、および、94が平面図形を含むことによって、回避対象領域81および82を容易に設定できる。
マーカー部材91、92、93、および、94は、平面図形として回避対象としての寝台501およびスクリーン502の識別情報を示すコード図形を含む。制御部としての第1制御装置310は、コード図形を含むマーカー部材91、92、93、および、94を検出することによって、コード図形により示される識別情報に基づいて、寝台501およびスクリーン502の大きさおよび形状に対応する回避対象領域81および82を設定する。これにより、マーカー部材91、92、93、および、94を検出することによって、寝台501およびスクリーン502の大きさおよび形状に対応する回避対象領域81および82を容易に設定できる。そのため、実際の寝台501およびスクリーン502に対応する回避対象領域81および82を容易に設定できるので、寝台501およびスクリーン502と手術支援ロボット100とが接触することをより容易に精度よく抑制できる。
撮像部43は、3次元画像としての撮像画像71を撮像する。これにより、撮像画像71が2次元画像である場合に比べて、撮像画像71に基づいてマーカー部材91、92、93、および、94の位置をより精度よく検出できる。そのため、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象領域81および82の内部に手術支援ロボット100が進入することをより精度よく抑制できる。
[第2実施形態]
次に、図23を参照して、第2実施形態による手術支援システム600について説明する。第2実施形態の手術支援システム600では、撮像部610が手術支援ロボット700とは別個に配置されている。なお、第1実施形態と同様の構成については、同一の符号を付して、説明を省略する。
次に、図23を参照して、第2実施形態による手術支援システム600について説明する。第2実施形態の手術支援システム600では、撮像部610が手術支援ロボット700とは別個に配置されている。なお、第1実施形態と同様の構成については、同一の符号を付して、説明を省略する。
図23に示すように、第2実施形態では、手術支援システム600は、手術支援ロボット700を備えている。第2実施形態による手術支援ロボット700は、撮像部43が配置されていないこと以外は第1実施形態の手術支援ロボット100と同様の構成である。そして、第2実施形態の手術支援システム600は、撮像部610と撮像部移動機構620を備えている。
撮像部610は、第1実施形態の撮像部43と同様に、マーカー部材91、92、93、および、94を撮像する。撮像部610は、撮像部43と同様に、3次元画像としての撮像画像71を撮像するステレオカメラである。撮像部610は、マーカー部材91、92、93、および、94を撮像した撮像画像71を第1制御装置310に送信する。そして、第2実施形態では、撮像部610は、手術支援ロボット700とは別個に配置されている。たとえば、撮像部610は、寝台501に配置されている。撮像部610は、たとえば、取り付け部材611を介して、寝台501に対して取り付けられている。撮像部610は、寝台501の上方から、マーカー部材91、92、93、および、94を撮像するように配置されている。
また、第2実施形態では、撮像部移動機構620は、撮像部610の撮影方向および位置の少なくとも一方を変更させる。撮像部移動機構620は、たとえば、モータなどの駆動源を含み、撮像部610の撮影方向を変更させる。たとえば、遠隔操作装置200などにより受け付けられた入力操作に基づいて、第1制御装置310が撮像部移動機構620の動作を制御することによって、撮像部610の撮影方向を変更させる。なお、撮像部移動機構620を、スライド機構などを含むように構成することによって撮像部610の位置を変更させるようにしてもよい。
また、第2実施形態では、撮像部610が手術支援ロボット700と別個に配置されているため、ロボット座標系における撮像部610の位置を検出する必要がある。そこで、第2実施形態では、回避対象である寝台501およびスクリーン502に取り付けられるマーカー部材91、92、93、および、94とは別個に、手術支援ロボット700にマーカー部材790が配置されている。第1制御装置310は、撮像部移動機構620を制御して撮像部610の撮影方向を変更させることによって、撮像部610により手術支援ロボット700に配置されたマーカー部材790を撮像する。第1制御装置310は、撮像部610によりマーカー部材790が撮像された画像を取得するとともに、取得された画像に基づいて、マーカー部材790を検出することによって、寝台501に配置された撮像部610と、手術支援ロボット700との相対的な位置関係を取得する。これにより、第1制御装置310は、ロボット座標系における撮像部610の位置を取得する。そして、第1制御装置310は、第1実施形態と同様に、撮像部610により撮像された撮像画像71に基づいてマーカー部材91、92、93、および、94を検出することによって、ロボット座標系における回避対象領域81および82を設定する。手術支援ロボット700による回避動作の制御処理は、第1実施形態と同様である。また、第2実施形態のその他の構成は、第1実施形態と同様である。
[第2実施形態の効果]
手術支援システム600は、撮像部610の撮影方向および位置の少なくとも一方を変更させる撮像部移動機構620を備える。これにより、撮像部移動機構620により撮像部610の撮影方向および位置の少なくとも一方を変更できるので、検出しやすい撮影方向または位置からマーカー部材91、92、93、および、94を容易に撮像できる。そのため、撮像部移動機構620により撮像部610の撮影方向および位置の少なくとも一方を変更することによって、撮像画像71に基づいてマーカー部材91、92、93、および、94を容易に検出できる。その結果、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象領域81および82の内部に手術支援ロボット700が進入することを容易に抑制できる。
手術支援システム600は、撮像部610の撮影方向および位置の少なくとも一方を変更させる撮像部移動機構620を備える。これにより、撮像部移動機構620により撮像部610の撮影方向および位置の少なくとも一方を変更できるので、検出しやすい撮影方向または位置からマーカー部材91、92、93、および、94を容易に撮像できる。そのため、撮像部移動機構620により撮像部610の撮影方向および位置の少なくとも一方を変更することによって、撮像画像71に基づいてマーカー部材91、92、93、および、94を容易に検出できる。その結果、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象領域81および82の内部に手術支援ロボット700が進入することを容易に抑制できる。
撮像部610は、手術支援ロボット700とは別個に配置されている。これにより、手術支援ロボット700とは離間した位置からマーカー部材91、92、93、および、94を撮像できるので、手術支援ロボット700自身が妨げとなってマーカー部材91、92、93、および、94の撮像が困難となることを容易に抑制できる。また、撮像部610が手術支援ロボット700とは別個に配置されているため、手術支援ロボット700の動作に起因する振動が撮像部610に伝わることを抑制できる。そのため、マーカー部材91、92、93、および、94を検出しやすい撮像画像71を容易に撮像できるので、撮像画像71に基づいてマーカー部材91、92、93、および、94をより容易に検出できる。その結果、検出されたマーカー部材91、92、93、および、94に基づいて、回避対象領域81および82の内部に手術支援ロボット700が進入することをより容易に抑制できる。第2実施形態によるその他の効果は、第1実施形態と同様である。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更または変形例が含まれる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更または変形例が含まれる。
上記第1および第2実施形態では、マーカー部材91、92、93、および、94が患者Pの周囲に配置された障害物である回避対象としての寝台501およびスクリーン502に配置されている例を示したが、本開示はこれに限られない。本開示では、マーカー部材を回避対象として手術の際に用いられる医療機器に配置するようにしてもよい。たとえば、マーカー部材を、麻酔装置、または、X線撮影装置などの医療機器に配置するようにしてもよい。また、マーカー部材を、手術が行われる患者に配置するようにしてもよい。たとえば、患者の術野の周囲にマーカー部材を配置することによって、患者の術野以外の部位に対する手術器具またはロボットアームの接触を回避するようにしてもよい。
上記第1および第2実施形態では、回避動作において、設定された回避対象領域81および82の外部において手術支援ロボット100の動作を停止させる例を示したが、本開示はこれに限られない。本開示では、制御部を、手術支援ロボットを用いて患者に対して手術が行われている際に、設定された回避対象領域に対してロボットアームおよび手術器具の少なくとも一方を進入させる操作が操作装置により受け付けられた場合に、回避対象領域の外部において手術支援ロボットの動作を停止させることと、回避対象領域への進入を避けながら手術支援ロボットを動作させることとの少なくとも一方を行うようにしてもよい。すなわち、回避動作において、回避対象領域への進入を避けながら手術支援ロボットを動作させることによって、回避対象との接触を回避するようにしてもよい。たとえば、ロボットアームの動作範囲を、回避対象領域への進入を避けるように制限しながら、手術器具を移動させるようにしてもよい。また、回避対象領域への進入を避けながら動作させることが可能である場合は、手術支援ロボットの動作を停止させず、回避対象領域への進入を避けながら手術支援ロボットを動作させることが困難である場合には、動作を停止させるようにしてもよい。また、手術が行われている際に、設定された回避対象領域に対してロボットアームおよび手術器具の少なくとも一方を進入させる操作が操作装置により受け付けられた場合には、回避対象領域の手前までは受け付けられた操作のとおりに手術支援ロボットを動作させるとともに、回避対象領域に進入する位置において動作を停止させるようにしてもよい。また、回避対象領域に進入しそうになった場合、または、回避対象領域に進入してしまった場合に、動作を停止させるのではなく、動作速度を低下させるようにしてもよい。また、回避動作において、回避対象領域への進入を報知する報知情報を出力することによって、接触を回避するようにしてもよい。その場合、表示部に対する報知情報の表示を行ってもよいし、音声による報知情報の出力を行ってもよい。
上記第1実施形態では、撮像部43を手術支援ロボット100のアームベース40に配置する例を示し、第2実施形態では、撮像部610を手術支援ロボット700とは別個に寝台501に配置する例を示したが、本開示はこれに限られない。本開示では、撮像部を、手術支援ロボットのアームベース以外の位置に配置するようにしてもよい。たとえば、撮像部を、ロボットアームに配置してもよいし、医療用台車、または、ポジショナに配置するようにしてもよい。また、撮像部を、手術室の天井または壁面などに配置するようにしてもよい。また、ロボットアームに取り付けられる内視鏡を、マーカー部材を撮像する撮像部としてもよい。その場合には、たとえば、手術が始まる前のロールイン時において、内視鏡によりマーカー部材を撮像することによって、回避対象領域を手術前に予め設定するようにしてもよい。
上記第1および第2実施形態では、マーカー部材91、92、93、および、94が、平面図形として回避対象である寝台501およびスクリーン502の識別情報を示すコード図形を含むARマーカーである例を示したが、本開示はこれに限られない。本開示では、マーカー部材は、平面図形を含まずに、空間において点として認識される部材であってもよい。また、マーカー部材は、ARマーカー以外の単なる模様である平面図形を含んでいてもよい。また、マーカー部材は、複数ではなく1つであってもよい。
上記第1および第2実施形態では、撮像部43および610は、3次元画像としての撮像画像71を撮像するステレオカメラである例を示したが、本開示はこれに限られない。本開示では、撮像部を、ToF(Time of Flight)式のカメラとしてもよい。また、撮像部を、1つの2次元画像を撮像する1つの2次元カメラとしてもよい。その場合にも、ARマーカーなどの平面画像を含むマーカー部材を配置することによって、平面画像の大きさおよび形状の歪みに基づいて、マーカー部材の3次元的な配置を検出することが可能となる。また、撮像部を、複数の2次元のカメラを含むことにより3次元画像としての撮像画像を撮像するようにしてもよい。
上記第1および第2実施形態では、回避対象である寝台501およびスクリーン502の大きさおよび形状に対応する回避対象領域81および82が設定される例を示したが、本開示はこれに限られない。本開示では、回避対象の大きさおよび形状にかかわらず、マーカー部材の配置に基づいて、回避対象領域が設定されるようにしてもよい。たとえば、マーカー部材を検出することによって、マーカー部材が配置されている平面を検出するとともに、マーカー部材が配置されている平面を、回避対象領域の境界面とすることによって、回避対象領域が設定されるようにしてもよい。また、複数のマーカー部材を配置することによって、複数のマーカー部材の各々を頂点とした空間を回避対象領域として設定するようにしてもよい。また、撮像画像のうちから、マーカー部材が取り付けられた回避対象を画像認証により識別することによって、回避対象に対応する回避対象領域が設定されるようにしてもよい。たとえば、撮像画像においてマーカー部材を含む領域の形状を抽出することによって、回避対象領域の形状が抽出されるようにしてもよい。
上記第1および第2実施形態では、退避方向を指示する指示情報を含む進入情報73を、内視鏡画像72に重畳させて操作装置表示部としてのモニタ140に表示させる例を示したが、本開示はこれに限られない。本開示では、退避方向を指示するのではなく、単に進入が発生したことを示す進入情報を、表示または音声により報知するようにしてもよい。また、内視鏡画像とは別個に進入情報を表示してもよい。また、モニタ140とは別個の表示部に対して進入情報が表示されるようにしてもよい。たとえば、ビジョンユニットの表示部、または、医療用台車に配置された表示部に進入情報が表示されるようにしてもよい。また、マーカー部材を撮像した撮像画像を、操作装置としての遠隔操作装置のモニタ、ビジョンユニットの表示部、または、医療用台車に配置された表示部に表示するようにしてもよい。また、設定された回避対象領域が、視覚的に認識可能なように表示されるようにしてもよい。
また、上記第1および第2実施形態では、操作装置としての遠隔操作装置200による操作に基づいて手術支援ロボット100および700におけるロボットアーム50を動作させている場合に、回避動作が行われる例を示したが、本開示はこれに限らない。本開示では、台車ポジショナ操作部、または、アーム操作部に対する操作に基づいて手術支援ロボットの各部を移動させている場合に、回避動作を行うようにしてもよい。たとえば、ロールイン時などの患者に対する手術が行われる前に、検出されたマーカー部材に基づく回避動作を行うようにしてもよい。
また、上記第1および第2実施形態では、制御部としての第1制御装置310により、撮像画像71からのマーカー部材91、92、93、および、94の検出と、回避対象領域81および82の設定と、接触の回避および解消を含む回避動作との各々の制御処理が行われる例を示したが、本開示はこれに限らない。本開示では、マーカー部材の検出、回避対象領域の設定、および、回避動作の各々の制御処理のうちの一つまたは複数が、ロボットアームの動作を制御する制御装置とは別個に配置された制御部により実行されてもよい。
また、上記第1および第2実施形態では、ロボットアーム50が4つ設けられている例を示したが、本開示はこれに限られない。本開示では、ロボットアームの数は、少なくとも1つ以上設けられていれば他の任意の数であってもよい。
また、上記第1および第2実施形態では、アーム部51およびポジショナ30が7軸多関節ロボットから構成されている例を示したが、本開示はこれに限られない。本開示では、アーム部およびポジショナが7軸多関節ロボット以外の軸構成の多関節ロボットなどから構成されていてもよい。7軸多関節ロボット以外の軸構成とは、例えば、6軸や8軸である。また、手術支援ロボットが、水平多関節、直動機構、平行リンク機構のロボットアームを有していてもよい。
また、上記第1および第2実施形態では、手術支援ロボット100および700が、医療用台車10と、ポジショナ30と、アームベース40とを備えている例を示したが、本開示はこれに限らない。本開示では、医療用台車と、ポジショナと、アームベースは必ずしも必要なく、手術支援ロボットが、ロボットアームだけで構成されてもよい。
本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC(Application Specific Integrated Circuits)、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(態様1)
手術器具が取り付けられるロボットアームを含む手術支援ロボットと、
前記手術器具に対する操作を受け付ける操作装置と、
前記手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材と、
前記マーカー部材を撮像する撮像部と、
前記撮像部により前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出するとともに、検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行させる制御部と、を備える、手術支援システム。
手術器具が取り付けられるロボットアームを含む手術支援ロボットと、
前記手術器具に対する操作を受け付ける操作装置と、
前記手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材と、
前記マーカー部材を撮像する撮像部と、
前記撮像部により前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出するとともに、検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行させる制御部と、を備える、手術支援システム。
(態様2)
前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行うことによって、前記回避対象との接触を回避する、態様1に記載の手術支援システム。
前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行うことによって、前記回避対象との接触を回避する、態様1に記載の手術支援システム。
(態様3)
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方を進入させる操作が前記操作装置により受け付けられた場合に、前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行う、態様2に記載の手術支援システム。
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方を進入させる操作が前記操作装置により受け付けられた場合に、前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行う、態様2に記載の手術支援システム。
(態様4)
前記マーカー部材は、前記患者が横たわる寝台、前記患者の頭部と術野とを隔てるスクリーン、および、手術の際に用いられる医療機器のうちの少なくとも1つを含む前記回避対象に対して取り付けられ、
前記制御部は、検出された前記マーカー部材に基づいて、前記寝台、前記スクリーン、および、前記医療機器のうちの少なくとも1つを含む前記回避対象に対する前記回避動作を前記手術支援ロボットにより実行させる、態様1から態様3までのいずれか1項に記載の手術支援システム。
前記マーカー部材は、前記患者が横たわる寝台、前記患者の頭部と術野とを隔てるスクリーン、および、手術の際に用いられる医療機器のうちの少なくとも1つを含む前記回避対象に対して取り付けられ、
前記制御部は、検出された前記マーカー部材に基づいて、前記寝台、前記スクリーン、および、前記医療機器のうちの少なくとも1つを含む前記回避対象に対する前記回避動作を前記手術支援ロボットにより実行させる、態様1から態様3までのいずれか1項に記載の手術支援システム。
(態様5)
前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に進入情報を出力する、態様1から態様4までのいずれか1項に記載の手術支援システム。
前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に進入情報を出力する、態様1から態様4までのいずれか1項に記載の手術支援システム。
(態様6)
前記操作装置に対する操作を行う操作者に対して、前記進入情報を表示する操作装置表示部をさらに備え、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に、前記回避対象領域からの退避方向を指示する指示情報を含む前記進入情報を前記操作装置表示部に表示させる、態様5に記載の手術支援システム。
前記操作装置に対する操作を行う操作者に対して、前記進入情報を表示する操作装置表示部をさらに備え、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に、前記回避対象領域からの退避方向を指示する指示情報を含む前記進入情報を前記操作装置表示部に表示させる、態様5に記載の手術支援システム。
(態様7)
前記操作装置表示部は、内視鏡により撮像された内視鏡画像を表示し、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、前記内視鏡画像と共に、前記指示情報を前記操作装置表示部に表示させる、態様6に記載の手術支援システム。
前記操作装置表示部は、内視鏡により撮像された内視鏡画像を表示し、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、前記内視鏡画像と共に、前記指示情報を前記操作装置表示部に表示させる、態様6に記載の手術支援システム。
(態様8)
前記マーカー部材は、平面図形を含み、
前記制御部は、前記平面図形を含む前記マーカー部材を検出することによって、前記回避対象領域を設定する、態様2または態様3に記載の手術支援システム。
前記マーカー部材は、平面図形を含み、
前記制御部は、前記平面図形を含む前記マーカー部材を検出することによって、前記回避対象領域を設定する、態様2または態様3に記載の手術支援システム。
(態様9)
前記マーカー部材は、前記平面図形として前記回避対象の識別情報を示すコード図形を含み、
前記制御部は、前記コード図形を含む前記マーカー部材を検出することによって、前記コード図形により示される前記識別情報に基づいて、前記回避対象の大きさおよび形状に対応する前記回避対象領域を設定する、態様8に記載の手術支援システム。
前記マーカー部材は、前記平面図形として前記回避対象の識別情報を示すコード図形を含み、
前記制御部は、前記コード図形を含む前記マーカー部材を検出することによって、前記コード図形により示される前記識別情報に基づいて、前記回避対象の大きさおよび形状に対応する前記回避対象領域を設定する、態様8に記載の手術支援システム。
(態様10)
前記撮像部は、3次元画像としての前記撮像画像を撮像する、態様1から態様9までのいずれか1項に記載の手術支援システム。
前記撮像部は、3次元画像としての前記撮像画像を撮像する、態様1から態様9までのいずれか1項に記載の手術支援システム。
(態様11)
前記撮像部の撮影方向および位置の少なくとも一方を変更させる撮像部移動機構をさらに備える、態様1から態様10までのいずれか1項に記載の手術支援システム。
前記撮像部の撮影方向および位置の少なくとも一方を変更させる撮像部移動機構をさらに備える、態様1から態様10までのいずれか1項に記載の手術支援システム。
(態様12)
前記撮像部は、前記手術支援ロボットとは別個に配置されている、態様1から態様11までのいずれか1項に記載の手術支援システム。
前記撮像部は、前記手術支援ロボットとは別個に配置されている、態様1から態様11までのいずれか1項に記載の手術支援システム。
(態様13)
手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、を備える、手術支援ロボットの動作方法。
手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、を備える、手術支援ロボットの動作方法。
(態様14)
手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、をコンピュータに実行させる、プログラム。
手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、をコンピュータに実行させる、プログラム。
1 手術器具
3 内視鏡
43、610 撮像部
50 ロボットアーム
71 撮像画像
72 内視鏡画像
73 進入情報
81、82 回避対象領域
91、92、93、94 マーカー部材
100、700 手術支援ロボット
140 モニタ(操作装置表示部)
200 遠隔操作装置(操作装置)
310 第1制御装置(制御部)
500、600 手術支援システム
501 寝台(障害物、回避対象)
502 スクリーン(障害物、回避対象)
620 撮像部移動機構
3 内視鏡
43、610 撮像部
50 ロボットアーム
71 撮像画像
72 内視鏡画像
73 進入情報
81、82 回避対象領域
91、92、93、94 マーカー部材
100、700 手術支援ロボット
140 モニタ(操作装置表示部)
200 遠隔操作装置(操作装置)
310 第1制御装置(制御部)
500、600 手術支援システム
501 寝台(障害物、回避対象)
502 スクリーン(障害物、回避対象)
620 撮像部移動機構
Claims (14)
- 手術器具が取り付けられるロボットアームを含む手術支援ロボットと、
前記手術器具に対する操作を受け付ける操作装置と、
前記手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材と、
前記マーカー部材を撮像する撮像部と、
前記撮像部により前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出するとともに、検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行させる制御部と、を備える、手術支援システム。 - 前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行うことによって、前記回避対象との接触を回避する、請求項1に記載の手術支援システム。 - 前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方を進入させる操作が前記操作装置により受け付けられた場合に、前記回避対象領域の外部において前記手術支援ロボットの動作を停止させることと、前記回避対象領域への進入を避けながら前記手術支援ロボットを動作させることとの少なくとも一方を行う、請求項2に記載の手術支援システム。
- 前記マーカー部材は、前記患者が横たわる寝台、前記患者の頭部と術野とを隔てるスクリーン、および、手術の際に用いられる医療機器のうちの少なくとも1つを含む前記回避対象に対して取り付けられ、
前記制御部は、検出された前記マーカー部材に基づいて、前記寝台、前記スクリーン、および、前記医療機器のうちの少なくとも1つを含む前記回避対象に対する前記回避動作を前記手術支援ロボットにより実行させる、請求項1に記載の手術支援システム。 - 前記制御部は、
前記マーカー部材を検出することによって、回避対象領域を設定し、
前記回避動作において、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に進入情報を出力する、請求項1に記載の手術支援システム。 - 前記操作装置に対する操作を行う操作者に対して、前記進入情報を表示する操作装置表示部をさらに備え、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、設定された前記回避対象領域に対して前記ロボットアームおよび前記手術器具の少なくとも一方が進入した場合に、前記回避対象領域からの退避方向を指示する指示情報を含む前記進入情報を前記操作装置表示部に表示させる、請求項5に記載の手術支援システム。 - 前記操作装置表示部は、内視鏡により撮像された内視鏡画像を表示し、
前記制御部は、前記手術支援ロボットを用いて前記患者に対して手術が行われている際に、前記内視鏡画像と共に、前記指示情報を前記操作装置表示部に表示させる、請求項6に記載の手術支援システム。 - 前記マーカー部材は、平面図形を含み、
前記制御部は、前記平面図形を含む前記マーカー部材を検出することによって、前記回避対象領域を設定する、請求項2に記載の手術支援システム。 - 前記マーカー部材は、前記平面図形として前記回避対象の識別情報を示すコード図形を含み、
前記制御部は、前記コード図形を含む前記マーカー部材を検出することによって、前記コード図形により示される前記識別情報に基づいて、前記回避対象の大きさおよび形状に対応する前記回避対象領域を設定する、請求項8に記載の手術支援システム。 - 前記撮像部は、3次元画像としての前記撮像画像を撮像する、請求項1に記載の手術支援システム。
- 前記撮像部の撮影方向および位置の少なくとも一方を変更させる撮像部移動機構をさらに備える、請求項1に記載の手術支援システム。
- 前記撮像部は、前記手術支援ロボットとは別個に配置されている、請求項1に記載の手術支援システム。
- 手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、を備える、手術支援ロボットの動作方法。 - 手術器具が取り付けられるロボットアームを含む手術支援ロボットを用いて手術が行われる患者と、前記患者の周囲に配置された障害物との少なくとも一方を含む回避対象に対して取り付けられたマーカー部材を撮像することと、
前記マーカー部材が撮像された撮像画像に基づいて、前記マーカー部材を検出することと、
検出された前記マーカー部材に基づいて、前記回避対象との接触を回避することと、前記回避対象に接触した場合に接触を解消することとの少なくとも一方を含む回避動作を、前記手術支援ロボットにより実行することと、をコンピュータに実行させる、プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024112645A JP2026011774A (ja) | 2024-07-12 | 2024-07-12 | 手術支援システム、手術支援ロボットの動作方法、および、プログラム |
| JP2024-112645 | 2024-07-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2026014472A1 true WO2026014472A1 (ja) | 2026-01-15 |
Family
ID=98386953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/024648 Pending WO2026014472A1 (ja) | 2024-07-12 | 2025-07-09 | 手術支援システム、手術支援ロボットの動作方法、および、プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2026011774A (ja) |
| WO (1) | WO2026014472A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200078097A1 (en) * | 2016-10-25 | 2020-03-12 | GYS Tech, LLC d/b/a Cardan Robotics | Methods and Systems for Robot-Assisted Surgery |
| US20210402603A1 (en) * | 2020-06-30 | 2021-12-30 | Auris Health, Inc. | Robotic medical system with collision proximity indicators |
| US20230113312A1 (en) * | 2021-10-13 | 2023-04-13 | Mazor Robotics Ltd. | Systems, methods, and devices for defining a path for a robotic arm |
-
2024
- 2024-07-12 JP JP2024112645A patent/JP2026011774A/ja active Pending
-
2025
- 2025-07-09 WO PCT/JP2025/024648 patent/WO2026014472A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200078097A1 (en) * | 2016-10-25 | 2020-03-12 | GYS Tech, LLC d/b/a Cardan Robotics | Methods and Systems for Robot-Assisted Surgery |
| US20210402603A1 (en) * | 2020-06-30 | 2021-12-30 | Auris Health, Inc. | Robotic medical system with collision proximity indicators |
| US20230113312A1 (en) * | 2021-10-13 | 2023-04-13 | Mazor Robotics Ltd. | Systems, methods, and devices for defining a path for a robotic arm |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2026011774A (ja) | 2026-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250152283A1 (en) | Systems and methods for master/tool registration and control for intuitive motion | |
| JP7755379B2 (ja) | 手術支援ロボットシステムおよび手術支援ロボットの制御方法 | |
| US20250268676A1 (en) | Robotic surgical system, operator-side apparatus, and control method of robotic surgical system | |
| EP4393441A1 (en) | Robotic surgical system and method for controlling robotic surgical system | |
| US12263045B2 (en) | Surgical robot and control method of surgical robot | |
| CN115023192B (zh) | 用于确定机器人操纵器或相关联工具的配准和控制的系统和方法 | |
| CN119867941A (zh) | 手术辅助系统、手术装置以及手术辅助系统的控制方法 | |
| JP2026011774A (ja) | 手術支援システム、手術支援ロボットの動作方法、および、プログラム | |
| JP7812727B2 (ja) | 手術支援システムおよび手術支援システムの制御方法 | |
| JP2026011583A (ja) | 手術支援システム、手術支援システムの制御方法およびプログラム | |
| WO2023219143A1 (ja) | 手術支援システムおよび手術支援システムの制御方法 | |
| JP2023180371A (ja) | 手術システム | |
| JP7742425B2 (ja) | 手術支援システム、手術支援ロボットおよび手術支援システムの制御方法 | |
| JP2025133134A (ja) | 手術支援システムおよび手術支援システムの制御方法 | |
| JP7811536B2 (ja) | 操作装置、手術支援システムおよび操作装置の制御方法 | |
| JP2025133133A (ja) | 手術支援システムおよび手術支援システムの制御方法 | |
| JP7742229B2 (ja) | 手術支援ロボット、手術支援システムおよびプログラム | |
| JP2025133132A (ja) | 手術支援システムおよび手術支援システムの制御方法 | |
| JP2025149247A (ja) | 手術支援ロボット、手術支援システムおよび手術支援ロボットの制御方法 | |
| JP2026039613A (ja) | 手術支援システム、操作装置、手術支援システムの制御方法およびプログラム | |
| CN121568657A (zh) | 用于计算机辅助系统的到达辅助运动 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25837029 Country of ref document: EP Kind code of ref document: A1 |