WO2022209099A1 - 手術システム並びに手術支援方法 - Google Patents

手術システム並びに手術支援方法 Download PDF

Info

Publication number
WO2022209099A1
WO2022209099A1 PCT/JP2021/048962 JP2021048962W WO2022209099A1 WO 2022209099 A1 WO2022209099 A1 WO 2022209099A1 JP 2021048962 W JP2021048962 W JP 2021048962W WO 2022209099 A1 WO2022209099 A1 WO 2022209099A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
coordinates
robot
observation device
surgical robot
Prior art date
Application number
PCT/JP2021/048962
Other languages
English (en)
French (fr)
Inventor
裕之 鈴木
敦史 宮本
知之 大月
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022209099A1 publication Critical patent/WO2022209099A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery

Definitions

  • this disclosure relates to a surgical system and a surgical assistance method that apply robotics technology to assist surgical operations.
  • Surgery is generally a difficult task that is performed by the operator's sensory movements.
  • the operator in the case of ophthalmic surgery, which uses minute surgical tools in a small-scale and fragile environment, the operator must suppress hand tremors and perform micron-order movements. Therefore, a surgical system that utilizes robotics technology to suppress the tremor of the operator's hand and to absorb the difference in skill between operators through operation support is becoming popular.
  • a master-slave system has been developed in which an operator operates a surgical instrument while observing the surgical field of the fundus through a microscope (see Non-Patent Document 1).
  • the operator can operate the slave robot supporting the surgical tool according to the amount of operation of the master robot held by the right hand (or the dominant hand) to perform precision work in ophthalmic surgery.
  • the operator performs surgery while viewing images of the target tissue captured by an observation device such as a microscope or OCT.
  • an observation device such as a microscope or OCT.
  • the operator operates the master robot (or the surgical tool) while mentally imagining the spatial positional relationship between the captured image and the surgical tool. Operators need to undergo sufficient training to become proficient in hand-eye coordination between surgical tools and captured images.
  • the purpose of the present disclosure is to provide a surgical system and a surgical assistance method that support surgical operations using observation devices such as microscopes and OCT, and surgical robots.
  • the present disclosure has been made in consideration of the above problems, and the first aspect thereof is an observation device for observing the operative field; a surgical robot that supports surgical instruments; a fixing unit that fixes the relative positions and attitudes of the observation device and the surgical robot; a processing unit that performs processing for coordinate conversion between the coordinates on the captured image of the observation device and the coordinates of the surgical tool based on the relative position and orientation relationship;
  • a surgical system comprising:
  • system refers to a logical assembly of multiple devices (or functional modules that implement specific functions), and each device or functional module is in a single housing. It does not matter whether or not
  • the observation device includes a microscope and a front lens
  • the fixing unit is configured to fix the relative position and posture of the surgical robot with respect to the front lens.
  • the fixing section is configured to fix the relative position and posture of the surgical robot to a holder that has a marker and holds the state of the surgical site.
  • the holder is, for example, an eyelid speculum.
  • the fixing section may be attached to the front lens. It may be configured to fix a relative positional and attitude relationship between one surgical robot and the second surgical robot.
  • a second aspect of the present disclosure is a surgery support method using a surgical system including an observation device for observing a surgical field and a surgical robot for supporting a surgical tool, wherein the observation device and the surgical robot are relatively position and posture relationship is fixed, a processing step of performing a process for coordinate conversion between the coordinates on the captured image of the observation device and the coordinates of the surgical tool based on the relative position and orientation relationship; a control step of controlling the driving of the surgical robot based on the coordinates of the surgical tool converted by the processing step; It is a surgery support method having
  • FIG. 1 is a diagram showing a functional configuration example of a master-slave surgery system 100.
  • FIG. 2 is a diagram showing a general layout (ocular surface) for fundus surgery.
  • FIG. 3 is a diagram showing a general layout (eyeball section) of fundus surgery.
  • FIG. 4 is a diagram showing a layout of fundus surgery using a surgical robot.
  • FIG. 5 is a diagram showing an arrangement example (first embodiment) of the observation device 500 and the surgical robot 510.
  • FIG. FIG. 6 is a diagram showing an arrangement example (second embodiment) of the observation device 600 and the surgical robot 610.
  • FIG. 7 is a view showing an arrangement example (second embodiment) of the observation device 600 and the surgical robot 610.
  • FIG. 8 is a diagram showing an arrangement example (third embodiment) of the observation device 800, the first surgical robot 810, and the second surgical robot 820.
  • A. Surgical System In this specification, an embodiment in which the present disclosure is applied to a master-slave surgical system will be mainly described.
  • a user such as an operator performs operations on the master side
  • the slave side performs surgery by controlling the driving of the robot according to the user's operations.
  • the purpose of incorporating robotics technology into surgical systems is to suppress hand tremors of operators, assist operations, absorb differences in skill between operators, and perform surgery remotely.
  • FIG. 1 shows a functional configuration example of a master-slave surgical system 100 .
  • the illustrated surgery system 100 includes a master device 110 for which a user (operator) instructs operations such as surgery, and a slave device 120 for performing surgery according to instructions from the master device 110 .
  • a user operator
  • a slave device 120 for performing surgery according to instructions from the master device 110 .
  • As the surgery referred to here, retinal surgery is mainly assumed.
  • Master device 110 and slave device 120 are interconnected via transmission line 130 . It is desirable that the transmission line 130 can perform signal transmission with low delay using a medium such as an optical fiber.
  • the master device 110 includes a master-side control unit 111, an operation UI (User Interface) unit 112, a presentation unit 113, and a master-side communication unit 114.
  • the master device 110 operates under general control by the master-side control section 111 .
  • the operation UI unit 112 is a device for a user (operator, etc.) to input instructions to a slave robot 112 (described later) that operates surgical tools such as forceps in the slave device 120 .
  • the operation UI unit 112 includes, for example, a dedicated input device such as a controller and a joystick, and a general-purpose input device such as a GUI screen for inputting mouse operations and fingertip touch operations.
  • a “medical device” configured by supporting a gripping interface with parallel links as disclosed in Patent Document 2 can be used as the operation UI unit 112 .
  • the presentation unit 113 provides the user (operator) who is operating the operation UI unit 112 with the slave device 120 mainly based on sensor information acquired by the sensor unit 123 (described later) on the slave device 120 side. Present information about the surgery being performed.
  • the sensor unit 123 is equipped with an observation device such as an RGB camera or an OCT that captures a microscope image for observing the surface of the affected area, or is equipped with an interface that captures images captured by these observation devices, and these image data are
  • the presentation unit 113 displays the real-time microscopic image or OCT image of the affected area on a screen using a monitor display or the like.
  • the sensor unit 123 is equipped with a function to measure the external force and moment acting on the surgical tool operated by the slave robot 112, and such haptic information is transferred to the master device 110 via the transmission line 130 with low delay. If so, the presentation unit 113 presents the force sense to the user (operator). For example, the presentation unit 113 may use the operation UI unit 112 to present a force sensation to the user (operator).
  • the master-side communication unit 114 Under the control of the master-side control unit 111, the master-side communication unit 114 performs transmission/reception processing of signals with the slave device 120 via the transmission line 130.
  • the master side communication unit 114 includes an electric/optical conversion unit that converts an electrical signal sent from the master device 110 into an optical signal, and an optical signal received from the transmission line 130 that is converted into an electrical signal.
  • a photoelectric conversion unit is provided.
  • the master-side communication unit 114 transfers an operation command for the slave robot 122 input by the user (operator) via the operation UI unit 112 to the slave device 120 via the transmission line 130 . Also, the master-side communication unit 114 receives sensor information sent from the slave device 120 via the transmission line 130 .
  • the slave device 120 includes a slave side control section 121, a slave robot 122, a sensor section 123, and a slave side communication section .
  • the slave device 120 performs operations according to instructions from the master device 110 under overall control by the slave-side control unit 121 .
  • the slave robot 122 is, for example, an arm-shaped robot with a multi-link structure, and has a surgical tool such as forceps as an end effector at its tip (or distal end).
  • the slave-side control unit 121 interprets the operation command sent from the master device 110 via the transmission line 130, converts it into a drive signal for the actuator that drives the slave robot 122, and outputs the drive signal.
  • the slave robot 122 operates based on the drive signal from the slave side control section 121 .
  • the sensor unit 123 includes the slave robot 122 and a plurality of sensors for detecting the condition of the affected part of the operation performed by the slave robot 122, and also has an interface for taking in sensor information from various sensor devices installed in the operating room. Equipped.
  • the sensor unit 123 includes a force sensor (Force Torque Sensor: FTS) for measuring the external force and moment acting on the surgical tool mounted on the tip (distal end) of the slave robot 122 during surgery. ing.
  • FTS Force Torque Sensor
  • the sensor unit 123 is equipped with an interface through which the slave robot 122 captures a microscopic image of the surface of the affected area during surgery and an OCT image obtained by scanning the cross section of the affected area (eyeball).
  • the slave-side communication unit 124 performs transmission/reception processing of signals from the master device 110 via the transmission path 130 under the control of the slave-side control unit 121 .
  • the slave side communication unit 124 includes an electrical/optical conversion unit that converts an electrical signal sent from the slave device 120 into an optical signal, and an optical signal received from the transmission line 130 that is converted into an electrical signal.
  • a photoelectric conversion unit is provided.
  • the slave-side communication unit 124 transfers the force data of the surgical tool acquired by the sensor unit 123, the microscope image of the affected area, the OCT image obtained by scanning the cross section of the affected area, and the like to the master device 110 via the transmission path 130.
  • the slave-side communication unit 124 also receives an operation command for the slave robot 122 sent from the master device 110 via the transmission line 130 .
  • FIGS. 2 and 3 show a typical layout for fundus surgery (such as retinal surgery). However, FIG. 2 shows the surface of the eyeball, and FIG. 3 shows a cross section of the eyeball cut so that the trocar and the surgical tool (forceps) pass through.
  • an eyelid speculum 201 is attached to the eyeball 200, which is the eye to be operated, and is fixed so that the eyelid does not close.
  • Trocars 202 to 204 are inserted into the surface of the eyeball 200 at a plurality of locations (three locations in the example shown in FIG. 2).
  • the trocars 202-204 have thin tubes for inserting surgical instruments such as forceps.
  • a trocar 301 having a small diameter tube is stuck in the surface of the eyeball 300, and forceps 302 are inserted into the eyeball 300 through the trocar 301 and reach the fundus to perform retinal surgery. is carried out.
  • the operator or the slave robot 122 remotely controlled by the operator via the master device 110
  • the intersection also referred to as the "insertion point" between the trocar 301 and the surface of the eyeball 300 for the sake of minimal invasiveness.
  • the RCM Remote Center of Motion
  • the slave robot 122 is used to pivot the forceps 302 with the insertion point as a fulcrum, thereby making the impulse generated at the insertion point zero. be.
  • Fig. 4 shows the layout of fundus surgery using a surgical robot.
  • the surgical robot corresponds to slave robot 122 in surgical system 100 shown in FIG.
  • the surgical robot includes a base portion 401 rigidly fixed to a mechanical ground (M-GND), a link 402 vertically attached to the base portion 401, and an upper end of the link 402. It consists of a robot arm attached via a joint 403 . It is assumed that the joint 403 has a rotational degree of freedom around the yaw axis.
  • the robot arm has a serial link structure, including links 404, 406, 408, and 410, a joint 405 that hinges between links 404 and 406, and a hinge between links 406 and 408. and a joint 409 that hinges the link 408 and the link 410 .
  • Each joint 405, 407, 409 has rotational freedom around the roll axis (or around the axis perpendicular to the yaw axis).
  • a surgical tool 411 such as forceps is attached to the link 410 at the distal end.
  • FIG. 4 An eyelid speculum (not shown in FIG. 4) is attached to the eyeball 420, which is the eye to be operated, so that the eyelid does not close.
  • a trocar 421 is inserted into the surface of the eyeball 420 .
  • FIG. 4 shows a cross-section of eyeball 420 cut so that trocar 421 passes through it.
  • a surgical instrument 411 mounted on the distal end of the robot arm is inserted into the eyeball 420 via one trocar 421 .
  • the robot arm is a microrobot with a total length or height of about several centimeters and a mass of several grams to several tens of grams. is doing.
  • an observation device such as a microscope or OCT (a stereo video microscope in the example shown in FIG. 4) 430 is installed in the information of the eyeball 420 .
  • the observation device 430 corresponds to the sensor section 123 in the surgical system 100 shown in FIG.
  • the operator operates the surgical instrument 411 while observing the surgical field such as the surface of the eyeball and the fundus through the captured image of the observation device 430 .
  • the slave robot 122 supporting the surgical instrument 411 operates according to the operation amount of the operation UI unit 112 operated by the operator with the right hand (or the dominant hand) to perform fundus surgery.
  • the operator operates the operation UI unit 112 while mentally imagining the spatial positional relationship between the captured image of the observation device 430 and the surgical tool 411 .
  • the operator needs sufficient training to become proficient in hand-eye coordination between the surgical tool 411 and the captured image.
  • the relative position and attitude relationship between the captured image of the observation device 430 and the robot arm is unknown.
  • the operation UI unit 112 based on the captured image does not operate.
  • the amount of operation and the movement of the surgical instrument 411 intended by the operator are separated, making it difficult to perform precise surgery.
  • the accuracy of the position and posture of the surgical tool 411 depends on the bending of the robot arm and the machining accuracy of the parts. Affect.
  • the relative positional and posture relationship between the observation device that observes the surgical field and the robot arm that supports the surgical tool is fixed.
  • the operation amount of the operation UI unit 112 on the captured image of the observation device on the master side is coordinate-transformed into the movement of the distal end of the robot arm (or the surgical instrument 411 mounted on the distal end). becomes possible. Therefore, according to the present disclosure, even if the operator is not proficient in hand-eye coordination, the observation device and the master-slave surgical system can cooperate with each other to perform accurate surgery.
  • FIG. 5 shows an arrangement example of an observation device 500 and a surgical robot 510 according to the first embodiment of the present disclosure. Specifically, an arrangement example of the observation device 500 and the surgical robot 510 when applied to fundus surgery is shown.
  • the observation device 500 is, for example, a stereo video microscope equipped with OCT, and corresponds to the sensor section 123 in the surgical system 100 shown in FIG.
  • the observation device 500 is arranged at a position for observing the eye to be operated from above.
  • the front lens is used, for example, for converging illumination light to illuminate the inside of the eye.
  • a wide-angle observation lens is widely used as an anterior lens in vitreoretinal surgery, and a gonioscopic lens is widely used in minimally invasive glaucoma surgery (MIGS).
  • viewing device 500 is a stereo video microscope with front lens 501 .
  • the surgical robot 510 corresponds to the slave robot 122 in the surgical system 100 shown in FIG.
  • the surgical robot 510 consists of a serially linked robotic arm (see, eg, FIG. 4) and has a surgical tool 511 mounted at its distal end. Since the movable range of the surgical tool 511 required for fundus surgery is small enough, it is assumed that the surgical robot 510 is a microrobot with a total length or height of about several centimeters and a mass of several grams to several tens of grams. ing.
  • a surgical robot 510 is attached on the front lens 501 .
  • the surgical robot 510 is a microrobot, it is quite possible to install the surgical robot 510 on the front lens 501 .
  • the surgical robot 510 is fixed to the front lens 501 by the fixing part 502 .
  • the method of fixing the surgical robot 510 to the front lens 501 is not particularly limited.
  • the positional relationship between the observation device 500 and the front lens 501 is known. Since the surgical robot 510 is mounted on the front lens 501, the positional relationship between the captured image of the observation device 500 and the surgical robot 510 is known. Assuming that the coordinate system of the captured image of the observation device 500 is (xv, yv , zv ) and the coordinate system of the surgical robot 510 is ( xr , yr , zr ), the following equation (1) is obtained. Furthermore, the coordinate system ( xv , yv , zv) of the captured image of the observation device 500 can be transformed into the coordinate system (xr, yr, zr ) of the surgical robot 510 using the transformation matrix A1 . can. Since the positional relationship between the observation device 500 and the surgical robot 510 is known, the transformation matrix A1 can be obtained.
  • the surgical robot 510 since the configuration information of the surgical robot 510 (configuration information of each link and joint of the robot arm) and the configuration information of the surgical instrument 511 attached to the distal end thereof are known, the surgical robot 510 and the surgical instrument 511 positional relationship is known. Assuming that the coordinate system of the tip of the surgical instrument 511 is ( x e , y e , ze ), the coordinate system (x r , y r , z r ) can be transformed into the coordinate system (x e , y e , ze ) of the distal end of the surgical tool 511 . Based on the configuration information of the surgical robot 510 and the configuration information of the surgical instrument 511, the transformation matrix A2 can be obtained.
  • the coordinate relationship between the captured image of the observation device 500 and the tip of the surgical instrument 511 is determined as shown in the following formula (3).
  • the image captured by the observation device 500 is displayed on the screen of the monitor display included in the presentation unit 113 .
  • the operator uses the operation UI unit 112 to indicate the operation amount of the surgical instrument 511 with respect to the captured image displayed on the monitor screen.
  • the master-side control unit 111 transfers information on the manipulated variable (x v , y v , z v ) expressed in the coordinate system of the captured image of the observation device 500 to the slave device 120 via the transmission line 130 .
  • the manipulated variable ( xv , yv , zv ) is converted into the coordinate system ( xe, ye, ze ) of the tip of the surgical instrument 511 based on the above equation (3).
  • it is converted into a command value (joint angle of each joint of the robot arm) for the surgical robot 510 for realizing the movement of the distal end of the surgical instrument 511 corresponding to the operation amount of the operation UI unit 112. , the operation of the surgical robot 510 may be controlled.
  • the operator looks at the captured image of the observation device 500, accurately grasps the position information of the tip of the surgical instrument 511 with respect to the captured image, and adjusts the position of the tip of the surgical instrument 511. is to predict the trajectory of and operate using the operation UI unit 112 .
  • the operator looks at the captured image of the observation device 500 and makes an input to the operation UI unit 112, and the operation of the surgical tool 511 by the surgical robot 510 is smooth. I will be able to do it. That is, according to the first embodiment of the present disclosure, even if the operator does not have sufficient training and is not proficient in hand-eye coordination, the observation device and the master-slave surgical system can cooperate with each other to perform accurate hand-eye coordination. surgery can be performed.
  • FIG. 6 shows an example arrangement of an observation device 600 and a surgical robot 610 according to a second embodiment of the present disclosure. Specifically, an arrangement example of the observation device 600 and the surgical robot 610 when applied to fundus surgery is shown. For reference, FIG. 7 shows an arrow view of the arrangement of the observation device 600 and the surgical robot 610 viewed from above.
  • the observation device 600 is, for example, a stereo video microscope equipped with OCT, and corresponds to the sensor section 123 in the surgical system 100 shown in FIG.
  • the observation device 600 is arranged at a position for observing the eye to be operated from above.
  • an eyelid speculum 620 is attached to the eye to be operated and fixed so that the eyelid does not close.
  • the eyelid speculum 620 has visual markers 621, 622, and 623 at three locations.
  • the positional relationship between the markers 621, 622, 623 (the size and shape of the triangle formed by the markers 621, 622, 623, etc.) is known in the surgical system 100.
  • the observation device 600 simultaneously photographs the operative field and the markers 621, 622, and 623 attached to the eyelid speculum 620, and based on the positional relationship between the markers 621, 622, and 623 on the captured image, the observation device 600 and the eyelid speculum 620 can be calculated.
  • the surgical robot 610 corresponds to the slave robot 122 in the surgical system 100 shown in FIG.
  • the surgical robot 610 consists of a serially linked robotic arm (see FIG. 4, for example) and has a surgical tool 611 mounted at its distal end. Since the movable range of the surgical tool 611 required for fundus surgery is small enough, it is assumed that the surgical robot 610 is a microrobot with a total length or height of about several centimeters and a mass of several grams to several tens of grams. ing.
  • a surgical robot 610 is attached on the eyelid speculum 620.
  • the surgical robot 610 is a microrobot, it is quite possible to install the surgical robot 610 on the eyelid speculum 620 .
  • the surgical robot 610 is fixed to the eyelid speculum 620 by the fixing part 602.
  • the method of fixing the surgical robot 610 to the eyelid speculum 620 is not particularly limited.
  • the observation device 600 simultaneously photographs the operative field and the markers 621, 622, and 623 attached to the eyelid speculum 620, and calculates based on the positional relationship between the markers 621, 622, and 623 on the captured image.
  • the transformation matrix B 1 can be obtained based on the relative positional and posture relationship between the observation device 600 and the eyelid speculum 620 .
  • the surgical robot 610 Since the surgical robot 610 is mounted on the eyelid speculum 620, the positional relationship between the eyelid speculum 620 and the surgical robot 610 is known. Assuming that the coordinate system of the surgical robot 610 is ( x r , y r , z r ), the coordinate system (x v , y v , z v ) can be transformed into the surgical robot 610 coordinate system (x r , y r , z r ). Since the positional relationship between the eyelid speculum 620 and the surgical robot 610 is known, the transformation matrix B2 can be obtained.
  • the surgical robot 610 and the surgical instrument The positional relationship of 611 is known. Assuming that the coordinate system of the tip of the surgical tool 611 is (x e , y e , ze ), the coordinate system (x r , y r , z r ) can be transformed into the coordinate system (x e , y e , ze ) of the distal end of the surgical tool 611 . Based on the configuration information of the surgical robot 510 and the configuration information of the surgical instrument 511 , the transformation matrix B3 can be obtained.
  • the coordinate relationship between the captured image of the observation device 600 and the tip of the surgical instrument 611 is determined as shown in the following formula (8).
  • An image captured by the observation device 600 is displayed on the screen of the monitor display included in the presentation unit 113 .
  • the operator uses the operation UI unit 112 to indicate the operation amount of the surgical instrument 511 with respect to the captured image displayed on the monitor screen.
  • the master-side control unit 111 transfers information on the manipulated variable (x v , y v , z v ) expressed in the coordinate system of the captured image of the observation device 600 to the slave device 120 via the transmission line 130 .
  • the manipulated variable ( xv , yv , zv ) is converted into the coordinate system ( xe, ye, ze ) of the tip of the surgical instrument 611 based on the above equation (8). Then, by inverse kinematics calculation, it is converted into a command value (joint angle of each joint of the robot arm) for the surgical robot 610 for realizing the movement of the distal end of the surgical instrument 611 corresponding to the operation amount of the operation UI unit 112. , the operation of the surgical robot 610 may be controlled.
  • the operator performs input to the operation UI unit 112 by looking at the captured image of the observation device 600, and the operation of the surgical tool 611 by the surgical robot 610 can be performed smoothly. become.
  • the second embodiment of the present disclosure satisfies the above conditional formula (4) for optimal hand-eye coordination. Therefore, in the second embodiment of the present disclosure as well, even if the operator does not have sufficient training to be proficient in hand-eye coordination, the observation device and the master-slave surgical system can cooperate with each other to perform accurate hand-eye coordination. Surgery can be performed.
  • FIG. 8 shows an example arrangement of a viewing device 800 and two surgical robots 810 and 820 according to a third embodiment of the present disclosure. Specifically, an arrangement example of the observation device 800, the first surgical robot 810, and the second surgical robot 820 when applied to fundus surgery is shown.
  • the observation device 800 is, for example, a stereo video microscope equipped with OCT, and corresponds to the sensor section 123 in the surgical system 100 shown in FIG.
  • the observation device 800 is arranged at a position for observing the eye to be operated from above.
  • the first surgical robot 810 and the second surgical robot 820 correspond to the slave robot 122 in the surgical system 100 shown in FIG.
  • both the first surgical robot 810 and the second surgical robot 820 are comprised of serially linked robotic arms (see, eg, FIG. 4).
  • the first surgical robot 810 and the second surgical robot 820 need not have the same configuration.
  • a first surgical robot 810 carries a surgical tool 811 at its distal end, and a second surgical robot 820 carries a surgical tool 812 at its distal end.
  • both the first surgical robot 810 and the second surgical robot 820 have a total length or height of about several centimeters and a mass of several grams. It is assumed that it is a micro robot of about several tens of grams.
  • both the first surgical robot 810 and the second surgical robot 820 are mounted on the front lens 801.
  • the first surgical robot 810 and the second surgical robot are microrobots
  • a first surgical robot 810 and a second surgical robot 820 are fixed to the anterior lens 801 by fixing parts 802 and 803, respectively.
  • the method of fixing the first surgical robot 810 and the second surgical robot 820 to the anterior lens 801 is not particularly limited.
  • the positional relationship between the observation device 800 and the front lens 801 is known. Since the first surgical robot 810 and the second surgical robot 820 are mounted on the front lens 801, the captured image of the observation device 800 and the first surgical robot 810 and the second surgical robot 820 The positional relationship with each is known.
  • the configuration information of the first surgical robot 810 (configuration information of each link and joint of the robot arm) and the configuration information of the surgical instrument 811 attached to its distal end are known
  • the first A positional relationship between the surgical robot 810 and the surgical instrument 811 is known.
  • the positional relationship between the second surgical robot 820 and the surgical instrument 821 is known.
  • the coordinate system of the tip of the surgical instrument 811 be (x e1 , y e1 , ze1 )
  • the coordinate system of the tip of the surgical instrument 821 be (x e2 , y e2 , ze2 ).
  • the coordinate system (x r1 , y r1 , z r1 ) of the first surgical robot 810 is transformed into the coordinate system (x e1 , y e1 , y e1 ) of the distal end of the surgical instrument 811 using the transformation matrix A 12 . z e1 ), and transform the coordinate system ( x r2 , y r2 , z r2 ) of the second surgical robot 820 into the coordinate system (x e2 , y e2 , z e2 ).
  • a conversion matrix A 12 is obtained based on the configuration information of the first surgical robot 810 and the configuration information of the surgical instrument 811, and the conversion matrix A 22 is calculated based on the configuration information of the second surgical robot 820 and the configuration information of the surgical instrument 821. can be asked for.
  • a case of applying the arrangement of the observation device 800, the first surgical robot 810 and the second surgical robot 820 as shown in FIG. 8 to the surgical system 100 will be described.
  • An image captured by the observation device 800 is displayed on the screen of the monitor display included in the presentation unit 113 .
  • the operator uses the operation UI unit 112 to indicate the operation amount of each of the surgical tools 811 and 812 with respect to the captured image displayed on the monitor screen.
  • the master-side control unit 111 transfers information on the manipulated variables (x v , y v , z v ) expressed in the coordinate system of the captured image of the observation device 800 to the slave device 120 via the transmission line 130 .
  • the manipulated variables (x v , y v , z v ) are converted to the coordinate system (x e1 , y e1 , z e1 ) or the coordinate system (x e1 , y e1 , z e1 ) of the distal end of the surgical tool 812 , the inverse kinematics calculation further calculates Converted into a command value (joint angle of each joint of the robot arm) for the first surgical robot 810 or the second surgical robot 820 for realizing the movement of the tip, the first surgical robot 810 or the second surgical robot It is sufficient to control the driving of the robot 820 .
  • the operator looks at the captured image of the observation device 800 and makes an input to the operation UI unit 112 , and furthermore, the operation of the surgical tool 811 by the first surgical robot 810 and the operation of the surgical tool 811 by the first surgical robot 810 2, the operation of the surgical tool 821 by the surgical robot 820 can be performed smoothly.
  • This section F refers to advantages provided by applying the present disclosure to the surgical system 100 .
  • the present disclosure it is possible to provide a structure for obtaining, with high accuracy, the relative positional relationship between an observation device such as a microscope for observing the surgical field and the surgical tool supported by the surgical robot. Therefore, it is possible to realize precise manipulation, hand-eye coordination, and surgical assistance through cooperative operations of the observation device and the surgical robot, and furthermore, a plurality of surgical robots.
  • an observation device such as a microscope for observing the surgical field
  • the surgical tool supported by the surgical robot Therefore, it is possible to realize precise manipulation, hand-eye coordination, and surgical assistance through cooperative operations of the observation device and the surgical robot, and furthermore, a plurality of surgical robots.
  • the present specification has mainly described embodiments in which the surgical system according to the present disclosure is applied to ophthalmic surgery, the gist of the present disclosure is not limited to this.
  • the present disclosure can be similarly applied to various types of surgical systems that support surgery using observation devices and surgical robots.
  • a surgical system comprising:
  • the observation device includes a microscope and a front lens;
  • the fixing unit fixes the relative position and attitude relationship of the surgical robot with respect to the anterior lens.
  • the processing unit includes a first transformation matrix A1 for transforming the coordinates on the captured image of the observation device into the coordinates of the surgical robot, and a second transformation matrix A1 for transforming the coordinates of the surgical robot into the coordinates of the surgical instrument. transforming the coordinates on the captured image of the observation device into the coordinates of the surgical instrument using a composite matrix A 1 A 2 obtained by synthesizing the transformation matrix A 2 of The surgical system according to (2) above.
  • the fixing unit fixes the relative position and posture of the surgical robot to a holder that has a marker and holds the state of the surgical site.
  • the surgical site is an eyeball, and the holder is an eyelid speculum;
  • the processing unit includes a first transformation matrix B1 for transforming the coordinates on the captured image of the observation device into the coordinates of the holding fixture, and a second transformation matrix B1 for transforming the coordinates of the holding fixture into the coordinates of the surgical robot. on the captured image of the observation device transforming the coordinates to the coordinates of the surgical tool;
  • the surgical system according to either (4) or (5) above.
  • the surgical system including a first surgical robot and a second surgical robot each supporting a surgical instrument;
  • the observation device includes a microscope and a front lens;
  • the fixing unit fixes the relative positions and attitudes of the first surgical robot and the second surgical robot with respect to the anterior lens.
  • the processing unit A first transformation matrix A11 for transforming the coordinates on the captured image of the observation device into the coordinates of the first surgical robot, and a second transformation matrix A12 for transforming the coordinates of the surgical robot into the coordinates of the surgical instrument. using the composite matrix A 11 A 12 obtained by synthesizing A first transformation matrix A21 for transforming the coordinates on the captured image of the observation device into the coordinates of the second surgical robot, and a second transformation for transforming the coordinates of the second surgical robot into the coordinates of the surgical instrument. Converting the coordinates on the captured image of the observation device to the coordinates of the surgical instrument using a composite matrix A 21 A 22 obtained by synthesizing the matrix A 22 ; The surgical system according to (7) above.
  • the processing unit converts the operation amount instructed on the captured image of the observation device into coordinates of the surgical instrument.
  • the surgical system according to any one of (1) to (8) above.
  • a master device that instructs the operation of the surgical robot, and a slave device that controls the operation of the surgical robot based on instructions from the master device.
  • the surgical system according to any one of (1) to (10) above.
  • the master device inputs an operator's instruction to operate a surgical instrument on the captured image of the observation device;
  • the processing unit converts the operation amount instructed by the operator into coordinates of the surgical instrument,
  • the slave device controls the operation of the surgical robot by inverse kinematics calculation of the coordinates of the surgical tool output from the processing unit.
  • a surgery support method using a surgical system including an observation device for observing a surgical field and a surgical robot for supporting surgical tools, wherein the relative positions and attitudes of the observation device and the surgical robot are fixed. has been a processing step of performing a process for coordinate conversion between the coordinates on the captured image of the observation device and the coordinates of the surgical tool based on the relative position and orientation relationship; a control step of controlling the driving of the surgical robot based on the coordinates of the surgical tool converted by the processing step;
  • a surgery support method comprising:

Abstract

観察装置と手術ロボットを使って外科手術を支援する手術システムを提供する。　手術システムは、術野を観察する観察装置と、術具を支持する手術ロボットと、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部を具備する。前記観察装置は顕微鏡と前置レンズを含み、前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する。

Description

手術システム並びに手術支援方法
　本明細書で開示する技術（以下、「本開示」とする）は、ロボティックス技術を適用して外科手術を支援する手術システム並びに手術支援方法に関する。
　一般に外科手術は、オペレータの感覚運動によって行われる難しい作業である。特に眼科手術のように、小規模で脆弱な環境下で微細な術具を使用する手術の場合、オペレータは手の振戦を抑制して、ミクロンオーダーの動作を行う必要がある。そこで、ロボティックス技術を利用して、オペレータの手の振戦の抑止、操作支援によるオペレータ間の技量の相違の吸収などを実現する手術システムが浸透しつつある。
　例えば、オペレータが顕微鏡を介して眼底部の術野を観察しながら術具操作を行うマスタスレーブシステムが開発されている（非特許文献１を参照のこと）。このマスタスレーブシステムによれば、オペレータは右手（又は利き手）で把持したマスタロボットの操作量に応じて術具を支持したスレーブロボットを動作させて、眼科手術における精密作業を行うことができる。
　また、ＯＣＴ（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ：光干渉断層装置）画像の情報に基づいて手術用レーザービームの走査を制御して、白内障手術における角膜切開、前嚢切開、水晶体の破砕を行う手術システムが提案されている（特許文献１を参照のこと）。
　上記のような手術システムにおいては、オペレータは、顕微鏡やＯＣＴなどの観察装置で捕捉した標的組織の画像を見ながら手術を行う。その際、オペレータは、撮影画像と術具との空間的な位置関係を脳内でイメージしながら、マスタロボット（又は術具）の操作を行う。オペレータは、術具と撮像画像との間のハンドアイコーディネーションに習熟するために十分なトレーニングを行う必要がある。
特開２０１４－１２２０１号公報
Ｊ．Ｗｉｌｓｏｎ　ｅｔ　ａｌ．，"Ｉｎｔｒａｏｃｕｌａｒ　ｒｏｂｏｔｉｃ　ｉｎｔｅｒｖｅｎｔｉｏｎａｌ　ｓｕｒｇｉｃａｌ　ｓｙｓｔｅｍ　（ＩＲＩＳＳ）：　Ｍｅｃｈａｎｉｃａｌ　ｄｅｓｉｇｎ，ｅｖａｌｕａｔｉｏｎ，　ａｎｄ　ｍａｓｔｅｒ－ｓｌａｖｅ　ｍａｎｉｐｕｌａｔｉｏｎ，"　Ｉｎｔ．Ｊ．Ｍｅｄ．Ｒｏｂｏｔ．Ｃｏｍｐｕｔ．Ａｓｓｉｓｔ．Ｓｕｒｇ．，ｖｏｌ．１４，Ｊｕｌ．２０１７，ｄｏｉ：　１０．１００２／ｒｃｓ．１８４２． Ｂ．Ｐ．ＤｅＪｏｎｇ，Ｊ．Ｅ．Ｃｏｌｇａｔｅ，ａｎｄ　Ｍ．Ａ．Ｐｅｓｈｋｉｎ，"Ｉｍｐｒｏｖｉｎｇ　ｔｅｌｅｏｐｅｒａｔｉｏｎ：　ｒｅｄｕｃｉｎｇ　ｍｅｎｔａｌ　ｒｏｔａｔｉｏｎｓ　ａｎｄ　ｔｒａｎｓｌａｔｉｏｎｓ，"　ｉｎ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ，２００４．Ｐｒｏｃｅｅｄｉｎｇｓ．ＩＣＲＡ'０４．２００４，２００４，ｖｏｌ．４，ｐｐ．３７０８－３７１４　Ｖｏｌ．４.
　本開示の目的は、顕微鏡やＯＣＴなどの観察装置と手術ロボットを使って外科手術を支援する手術システム並びに手術支援方法を提供することにある。
　本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
　術野を観察する観察装置と、
　術具を支持する手術ロボットと、
　前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
を具備する手術システムである。
　但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
　例えば、前記観察装置は顕微鏡と前置レンズを含み、前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定するように構成されている。
　また、例えば、前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定するように構成されている。保持器は例えば開瞼器である。
　また、手術システムがそれぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、前記観察装置は顕微鏡と前置レンズを含む場合、前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定するように構成されていてもよい。
　また、本開示の第２の側面は、術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
　前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
を有する手術支援方法である。
　本開示によれば、観察装置と手術ロボットとを互いに連携して正確な手術の実施を支援する手術システム並びに手術支援方法を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、マスタスレーブ方式の手術システム１００の機能的構成例を示した図である。 図２は、眼底手術の一般的なレイアウト（眼球表面）を示した図である。 図３は、眼底手術の一般的なレイアウト（眼球断面）を示した図である。 図４は、手術ロボットを用いた眼底手術のレイアウトを示した図である。 図５は、観察装置５００と手術ロボット５１０の配置例（第１の実施例）を示した図である。 図６は、観察装置６００と手術ロボット６１０の配置例（第２の実施例）を示した図である。 図７は、観察装置６００と手術ロボット６１０の配置例（第２の実施例）を示した矢視図である。 図８は、観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置例（第３の実施例）を示した図である。
　以下、図面を参照しながら本開示について、以下の順に従って説明する。
Ａ．手術システム
Ｂ．手術ロボットを利用した外科手術の課題と本開示の概要
Ｃ．第１の実施例
Ｄ．第２の実施例
Ｅ．第３の実施例
Ｆ．効果
Ａ．手術システム
　本明細書では、主に本開示をマスタスレーブ方式の手術システムに適用した実施形態を中心に説明する。このような手術システムでは、オペレータなどのユーザはマスタ側で操作を行い、スレーブ側ではユーザの操作に従ってロボットの駆動をコントロールすることによって手術を行う。手術システムにロボティックス技術を取り入れる目的として、オペレータの手の振戦の抑止、操作支援やオペレータ間の技量の相違の吸収、遠隔からの手術の実施などが挙げられる。
　図１には、マスタスレーブ方式の手術システム１００の機能的構成例を示している。図示の手術システム１００は、ユーザ（オペレータ）が手術などの作業を指示するマスタ装置１１０と、マスタ装置１１０からの指示に従って手術を実施するスレーブ装置１２０からなる。ここで言う手術として、主に網膜手術を想定している。マスタ装置１１０とスレーブ装置１２０間は、伝送路１３０を介して相互接続されている。伝送路１３０は、例えば光ファイバなどのメディアを用いて低遅延で信号伝送を行えることが望ましい。
　マスタ装置１１０は、マスタ側制御部１１１と、操作ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）部１１２と、提示部１１３と、マスタ側通信部１１４を備えている。マスタ装置１１０は、マスタ側制御部１１１による統括的な制御下で動作する。
　操作ＵＩ部１１２は、ユーザ（オペレータなど）が、スレーブ装置１２０において鉗子などの術具を操作するスレーブロボット１１２（後述）に対する指示を入力するためのデバイスからなる。操作ＵＩ部１１２は、例えば、コントローラやジョイスティックなどの専用の入力デバイス、さらにはマウス操作や指先のタッチ操作を入力するＧＵＩ画面などの汎用の入力デバイスで構成される。また、特許文献２で開示されるような、把持インターフェースをパラレルリンクで支持して構成される「医療用装置」を操作ＵＩ部１１２として利用することができる。
　提示部１１３は、主にスレーブ装置１２０側のセンサ部１２３（後述）で取得されるセンサ情報に基づいて、操作ＵＩ部１１２を操作しているユーザ（オペレータ）に対して、スレーブ装置１２０において実施されている手術に関する情報を提示する。
　例えば、センサ部１２３が患部の表面を観察する顕微鏡画像を撮り込むＲＧＢカメラやＯＣＴといった観察装置を装備し、又はこれらの観察装置で捕捉した撮像画像を取り込むインターフェースを装備し、これらの画像データが伝送路１３０を介して低遅延でマスタ装置１１０に転送される場合、提示部１１３は、モニタディスプレイなどを使って、リアルタイムの患部の顕微鏡画像やＯＣＴ画像を画面表示する。
　また、センサ部１２３が、スレーブロボット１１２が操作する術具に作用する外力やモーメントを計測する機能を装備し、このような力覚情報が伝送路１３０を介して低遅延でマスタ装置１１０に転送される場合には、提示部１１３は、ユーザ（オペレータ）に対して力覚提示を行う。例えば、提示部１１３は、操作ＵＩ部１１２を使ってユーザ（オペレータ）に力覚提示を行うようにしてもよい。
　マスタ側通信部１１４は、マスタ側制御部１１１による制御下で、伝送路１３０を介したスレーブ装置１２０との信号の送受信処理を行う。例えば伝送路１３０が光ファイバからなる場合、マスタ側通信部１１４は、マスタ装置１１０から送出する電気信号を光信号に変換する電光変換部と、伝送路１３０から受信した光信号を電気信号に変換する光電変換部を備えている。
　マスタ側通信部１１４は、ユーザ（オペレータ）が操作ＵＩ部１１２を介して入力した、スレーブロボット１２２に対する操作コマンドを、伝送路１３０を介してスレーブ装置１２０に転送する。また、マスタ側通信部１１４は、スレーブ装置１２０から送られてくるセンサ情報を、伝送路１３０を介して受信する。
　一方、スレーブ装置１２０は、スレーブ側制御部１２１と、スレーブロボット１２２と、センサ部１２３と、スレーブ側通信部１２４を備えている。スレーブ装置１２０は、スレーブ側制御部１２１による統括的な制御下で、マスタ装置１１０からの指示に応じた動作を行う。
　スレーブロボット１２２は、例えば多リンク構造からなるアーム型のロボットであり、先端（又は、遠位端）にエンドエフェクタとして鉗子などの術具を搭載している。スレーブ側制御部１２１は、伝送路１３０を介してマスタ装置１１０から送られてきた操作コマンドを解釈して、スレーブロボット１２２を駆動するアクチュエータの駆動信号に変換して出力する。そして、スレーブロボット１２２は、スレーブ側制御部１２１からの駆動信号に基づいて動作する。
　センサ部１２３は、スレーブロボット１２２やスレーブロボット１２２が実施している手術の患部における状況を検出する複数のセンサを備え、さらに手術室内に設置された各種センサ装置からセンサ情報を取り込むためのインターフェースを装備している。
　例えば、センサ部１２３は、スレーブロボット１２２の先端（遠位端）に搭載された術具に、手術中に作用する外力やモーメントを計測するための力覚センサ（Ｆｏｒｃｅ　Ｔｏｒｑｕｅ　Ｓｅｎｓｏｒ：ＦＴＳ）を備えている。
　また、センサ部１２３は、スレーブロボット１２２が手術中の患部の表面の顕微鏡画像や患部（眼球）の断面をスキャンするＯＣＴ画像を取り込むインターフェースを装備している。
　スレーブ側通信部１２４は、スレーブ側制御部１２１による制御下で、伝送路１３０を介したマスタ装置１１０都の信号の送受信処理を行う。例えば伝送路１３０が光ファイバからなる場合、スレーブ側通信部１２４は、スレーブ装置１２０から送出する電気信号を光信号に変換する電光変換部と、伝送路１３０から受信した光信号を電気信号に変換する光電変換部を備えている。
　スレーブ側通信部１２４は、センサ部１２３によって取得される術具の力覚データや、患部の顕微鏡画像、患部断面をスキャンしたＯＣＴ画像などを、伝送路１３０を介してマスタ装置１１０に転送する。また、スレーブ側通信部１２４は、マスタ装置１１０から送られてくるスレーブロボット１２２に対する操作コマンドを、伝送路１３０を介して受信する。
Ｂ．手術ロボットを利用した外科手術の課題と本開示の概要
　図２及び図３には、眼底手術（網膜手術など）の一般的なレイアウトを示している。但し、図２は眼球表面を示し、図３はトロッカー及び術具（鉗子）が通過するように切断された眼球断面を示している。
　図２に示すように、被手術眼となる眼球２００には開瞼器（ｅｙｅｌｉｄ　ｓｐｅｃｕｌｕｍ）２０１が取り付けられ、瞼が閉じないように固定されている。そして、眼球２００の表面の複数箇所（図２に示す例では３箇所）に、トロッカー２０２～２０４が刺し込まれている。トロッカー２０２～２０４は、鉗子などの術具を挿入するための細径の管を有している。
　図３に示すように、眼球３００の表面には細径の管を有するトロッカー３０１が刺されており、鉗子３０２がトロッカー３０１を介して眼球３００内に挿入され、さらに眼底に到達して、網膜手術が実施される。なお、オペレータ（又は、マスタ装置１１０を介してオペレータに遠隔操作されるスレーブロボット１２２）は、低侵襲の都合により、トロッカー３０１と眼球３００の表面との交点（「刺入点」とも呼ぶ）付近に対してできるだけ小さな負荷で手術が行われるように常に配慮する。したがって、スレーブロボット１２２のＲＣＭ（Ｒｅｍｏｔｅ　Ｃｅｎｔｅｒ　ｏｆ　Ｍｏｔｉｏｎ）機構により、刺入点を支点として鉗子３０２をピボット操作することで、挿入点に発生する力積をゼロにする操作を行うことが理想的である。
　図４には、手術ロボットを用いた眼底手術のレイアウトを示している。手術ロボットは、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図４に示す例では、手術ロボットは、メカニカルグランド（Ｍ－ＧＮＤ）に対し剛に固定されているベース部４０１と、ベース部４０１に対し垂直に取り付けられたリンク４０２と、リンク４０２の上端にジョイント４０３を介して取り付けられたロボットアームで構成される。ジョイント４０３は、ヨー軸回りの回転自由度を有するものとする。
　図４に示す例では、ロボットアームは、シリアルリンク構造からなり、リンク４０４、４０６、４０８、４１０と、リンク４０４とリンク４０６間をヒンジ結合するジョイント４０５と、リンク４０６とリンク４０８間をヒンジ結合するジョイント４０７と、リンク４０８とリンク４１０をヒンジ結合するジョイント４０９で構成されている。各ジョイント４０５、４０７、４０９は、ロール軸回り（又は、ヨー軸と直交する軸回り）に回転自由度を備えている。そして、遠位端のリンク４１０には、鉗子などの術具４１１が装着される。
　被手術眼となる眼球４２０には、瞼が閉じないように、開瞼器（図４では図示を省略）が取り付けられている。そして、眼球４２０の表面にトロッカー４２１が刺入されている。図４では、トロッカー４２１が通過するように切断された眼球４２０の断面を示している。ロボットアームの遠位端に搭載された術具４１１は、一方のトロッカー４２１を経由して、眼球４２０内に刺入されている。
　なお、眼底手術に要求される術具４１１の可動範囲が小さくて十分なので、ロボットアームは、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
　また、眼球４２０の情報には、顕微鏡やＯＣＴなどの観察装置（図４に示す例では、ステレオビデオ顕微鏡）４３０が設置されている。観察装置４３０は、図１に示した手術システム１００におけるセンサ部１２３に相当する。
　オペレータは、観察装置４３０の撮像画像を介して、眼球表面や眼底などの術野を観察しながら術具４１１の操作を行う。手術システム１００を利用する場合、オペレータが右手（又は利き手）で操作する操作ＵＩ部１１２の操作量に応じて、術具４１１を支持したスレーブロボット１２２が動作して眼底手術を行う。
　その際、オペレータは、観察装置４３０の撮像画像と術具４１１との空間的な位置関係を脳内でイメージしながら、操作ＵＩ部１１２の操作を行う。オペレータは、術具４１１と撮像画像との間のハンドアイコーディネーションに習熟するためには、十分なトレーニングを行う必要がある。一般に、観察装置４３０の撮像画像とロボットアーム間の相対的な位置及び姿勢の関係は未知である。このような場合、オペレータは観察装置４３０の撮像画像に基づいて、操作ＵＩ部１１２の操作を通じてスレーブロボット１２２に対して術具４１１の動作を指示しようとしても、撮像画像に基づく操作ＵＩ部１１２の操作量と、オペレータが意図している術具４１１の動きは乖離してしまい、精密な手術を実施することが困難である。また、スレーブロボット１２２と観察装置４３０との間に機械的に多くの部品が連結されている場合には、ロボットアームの撓みや部品加工精度によっても、術具４１１の位置及び姿勢の精度にも影響する。
　そこで、本開示では、術野を観察する観察装置と術具を支持するロボットアームとの相対的な位置及び姿勢の関係を固定するようにしている。その結果、例えば、マスタ側における観察装置の撮像画像上での操作ＵＩ部１１２の操作量を、ロボットアームの遠位端（又は、遠位端に搭載した術具４１１）の動きに座標変換することが可能となる。したがって、本開示によれば、オペレータはハンドアイコーディネーションに習熟していなくても、観察装置とマスタスレーブ方式の手術システムとを互いに連携して、正確な手術を行うことができる。
Ｃ．第１の実施例
　図５には、本開示の第１の実施例に係る、観察装置５００と手術ロボット５１０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置５００と手術ロボット５１０の配置例を示している。
　観察装置５００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置５００は、被手術眼を上方から観察する位置に配置されている。顕微鏡には、被手術眼と対物レンズの焦点位置との間に、前置レンズを配設するタイプと、前置レンズがないタイプの２種類がある。前置レンズは、例えば照明光を集束させて眼内を照明するという用途がある。網膜硝子体手術では広角観察レンズが、隅角を処置する低侵襲緑内障手術（ＭＩＧＳ：ｍｉｎｉｍａｌｌｙ　ｉｎｖａｓｉｖｅ　ｇｌａｕｃｏｍａ　ｓｕｒｇｅｒｙ）では隅角鏡が、それぞれ前置レンズとして広く使われている。図５に示す例では、観察装置５００は、前置レンズ５０１を有するステレオビデオ顕微鏡である。
　また、手術ロボット５１０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図５に示す例では、手術ロボット５１０は、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなり、遠位端に術具５１１を搭載している。眼底手術に要求される術具５１１の可動範囲が小さくて十分なので、手術ロボット５１０は、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
　そして、図５に示す例では、前置レンズ５０１上に手術ロボット５１０が取り付けられている。手術ロボット５１０がマイクロロボットであることを想定すると、前置レンズ５０１上に手術ロボット５１０を設置することは十分に可能である。図５では、固定部５０２によって手術ロボット５１０が前置レンズ５０１に固定されているものとする。但し、手術ロボット５１０を前置レンズ５０１に固定する方法は特に限定されない。
　そもそも観察装置５００と前置レンズ５０１との位置関係は既知である。そして、前置レンズ５０１上に手術ロボット５１０が取り付けられていることから、観察装置５００の撮像画像と手術ロボット５１０の位置関係が既知である。観察装置５００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、手術ロボット５１０の座標系を（ｘr，ｙr，ｚr）とすると、下式（１）に示すように、変換行列Ａ1を用いて観察装置５００の撮像画像の座標系（ｘv，ｙv，ｚv）を手術ロボット５１０の座標系（ｘr，ｙr，ｚr）に変換することができる。観察装置５００と手術ロボット５１０の位置関係が既知であることから、変換行列Ａ1を求めることができる。
Figure JPOXMLDOC01-appb-M000001
　一方、手術ロボット５１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具５１１の構成情報がそれぞれ既知であることから、手術ロボット５１０と術具５１１の位置関係が既知である。術具５１１の先端の座標系を（ｘe，ｙe，ｚe）とすると、下式（２）に示すように、変換行列Ａ2を用いて手術ロボット５１０の座標系（ｘr，ｙr，ｚr）を術具５１１の先端の座標系（ｘe，ｙe，ｚe）に変換することができる。手術ロボット５１０の構成情報と術具５１１の構成情報に基づいて、変換行列Ａ2を求めることができる。
Figure JPOXMLDOC01-appb-M000002
　したがって、観察装置５００の撮像画像と術具５１１の先端との間の座標関係は、下式（３）に示すように定まる。
Figure JPOXMLDOC01-appb-M000003
　手術システム１００に図５に示すような観察装置５００と手術ロボット５１０の配置を適用する場合について説明する。観察装置５００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して術具５１１の操作量を指示する。マスタ側制御部１１１は、観察装置５００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（３）に基づいて、操作量（ｘv，ｙv，ｚv）を術具５１１の先端の座標系（ｘe，ｙe，ｚe）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具５１１の先端の動きを実現するための手術ロボット５１０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、手術ロボット５１０の駆動を制御すればよい。
　この場合の手術システム１００におけるハンドアイコーディネーションは、オペレータが観察装置５００の撮像画像を目で見て、その撮像画像に対して術具５１１の先端の位置情報を正確に捉え、術具５１１の先端の軌道を予測して、操作ＵＩ部１１２を使って操作することである。上述したように、本開示の第１の実施例によれば、オペレータが観察装置５００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに手術ロボット５１０による術具５１１の動作がスムーズに行えるようになる。すなわち、本開示の第１の実施例によれば、オペレータは十分なトレーニングを積んでハンドアイコーディネーションに習熟していなくても、観察装置とマスタスレーブ方式の手術システムとを互いに連携して、正確な手術を行うことができる。
　最適なハンドアイコーディネーションが成立する条件を下式（４）のように定義することができる（非特許文献２を参照のこと）。上式（３）から、本開示の第１の実施例によれば、この条件式（４）を満たすことが分かる。
Figure JPOXMLDOC01-appb-M000004
Ｄ．第２の実施例
　図６には、本開示の第２の実施例に係る、観察装置６００と手術ロボット６１０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置６００と手術ロボット６１０の配置例を示している。また、図７には、参考のため、観察装置６００と手術ロボット６１０の配置を上方から眺めた矢視図を示している。
　観察装置６００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置６００は、被手術眼を上方から観察する位置に配置されている。また、被手術眼には開瞼器６２０が取り付けられ、瞼が閉じないように固定されている。開瞼器６２０には３箇所にビジュアルマーカー６２１、６２２、６２３を有している。そして、マーカー６２１、６２２、６２３間の位置関係（マーカー６２１、６２２、６２３で構成される３角形の大きさ及び形状など）は手術システム１００において既知である。したがって、観察装置６００が術野と開瞼器６２０に取り付けられたマーカー６２１、６２２、６２３を同時に撮影して、撮像画像上のマーカー６２１、６２２、６２３間の位置関係に基づいて、観察装置６００と開瞼器６２０との相対的な位置及び姿勢の関係を計算することができる。
　また、手術ロボット６１０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図６及び図７に示す例では、手術ロボット６１０は、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなり、遠位端に術具６１１を搭載している。眼底手術に要求される術具６１１の可動範囲が小さくて十分なので、手術ロボット６１０は、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
　そして、図６及び図７に示す例では、開瞼器６２０上に手術ロボット６１０が取り付けられている。手術ロボット６１０がマイクロロボットであることを想定すると、開瞼器６２０上に手術ロボット６１０を設置することは十分に可能である。図６及び図７では、固定部６０２によって手術ロボット６１０が開瞼器６２０に固定されているものとする。但し、手術ロボット６１０を開瞼器６２０に固定する方法は特に限定されない。
　観察装置６００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、開瞼器６２０の座標系を（ｘs，ｙs，ｚs）とすると、下式（５）に示すように、変換行列Ｂ1を用いて観察装置５００の撮像画像の座標系を（ｘv，ｙv，ｚv）を開瞼器６２０の座標系（ｘs，ｙs，ｚs）に変換することができる。上述したように、観察装置６００が術野と開瞼器６２０に取り付けられたマーカー６２１、６２２、６２３を同時に撮影して、撮像画像上のマーカー６２１、６２２、６２３間の位置関係に基づいて算出される観察装置６００と開瞼器６２０との相対的な位置及び姿勢の関係に基づいて、変換行列Ｂ1を求めることができる。
Figure JPOXMLDOC01-appb-M000005
　そして、開瞼器６２０上に手術ロボット６１０が取り付けられていることから、開瞼器６２０と手術ロボット６１０の位置関係が既知である。手術ロボット６１０の座標系を（ｘr，ｙr，ｚr）とすると、下式（６）に示すように、変換行列Ｂ2を用いて開瞼器６２０の撮像画像の座標系（ｘv，ｙv，ｚv）を手術ロボット６１０の座標系（ｘr，ｙr，ｚr）に変換することができる。開瞼器６２０と手術ロボット６１０の位置関係が既知であることから、変換行列Ｂ2を求めることができる。
Figure JPOXMLDOC01-appb-M000006
　また、手術ロボット６１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具６１１の構成情報がそれぞれ既知であることから、手術ロボット６１０と術具６１１の位置関係が既知である。術具６１１の先端の座標系を（ｘe，ｙe，ｚe）とすると、下式（７）に示すように、変換行列Ｂ3を用いて手術ロボット６１０の座標系（ｘr，ｙr，ｚr）を術具６１１の先端の座標系（ｘe，ｙe，ｚe）に変換することができる。手術ロボット５１０の構成情報と術具５１１の構成情報に基づいて、変換行列Ｂ3を求めることができる。
Figure JPOXMLDOC01-appb-M000007
　したがって、観察装置６００の撮像画像と術具６１１の先端との間の座標関係は、下式（８）に示すように定まる。
Figure JPOXMLDOC01-appb-M000008
　手術システム１００に図６に示すような観察装置６００と手術ロボット６１０の配置を適用する場合について説明する。観察装置６００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して術具５１１の操作量を指示する。マスタ側制御部１１１は、観察装置６００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（８）に基づいて、操作量（ｘv，ｙv，ｚv）を術具６１１の先端の座標系（ｘe，ｙe，ｚe）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具６１１の先端の動きを実現するための手術ロボット６１０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、手術ロボット６１０の駆動を制御すればよい。
　このように本開示の第２の実施例においても、オペレータが観察装置６００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに手術ロボット６１０による術具６１１の動作がスムーズに行えるようになる。
　上式（８）から、本開示の第２の実施例によれば、最適なハンドアイコーディネーションが成立する上記の条件式（４）を満たすことが分かる。したがって、本開示の第２の実施例においても、オペレータは十分なトレーニングを積んでハンドアイコーディネーションに習熟していなくても、観察装置とマスタスレーブ方式の手術システムとを互いに連携して、正確な手術を行うことができる。
Ｅ．第３の実施例
　図８には、本開示の第３の実施例に係る、観察装置８００と２台の手術ロボット８１０及び８２０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置例を示している。
　観察装置８００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置８００は、被手術眼を上方から観察する位置に配置されている。顕微鏡には、被手術眼と対物レンズの焦点位置との間に、前置レンズを配設するタイプと、前置レンズがないタイプの２種類があるが（前述）、観察装置８００は、前置レンズ８０１を有するステレオビデオ顕微鏡である。
　第１の手術ロボット８１０と第２の手術ロボット８２０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図８に示す例では、第１の手術ロボット８１０と第２の手術ロボット８２０はともに、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなる。但し、第１の手術ロボット８１０と第２の手術ロボット８２０が同じ構成である必要はない。第１の手術ロボット８１０は遠位端に術具８１１を搭載し、第２の手術ロボット８２０は遠位端に術具８１２を搭載している。眼底手術に要求される術具８１１及び８１２の可動範囲が小さくて十分なので、第１の手術ロボット８１０と第２の手術ロボット８２０はいずれも、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
　そして、図８に示す例では、第１の手術ロボット８１０と第２の手術ロボット８２０はいずれも前置レンズ８０１上に取り付けられている。第１の手術ロボット８１０と第２の手術ロボットがマイクロロボットであることを想定すると、前置レンズ８０１上に第１の手術ロボット８１０と第２の手術ロボット８２０を設置することは十分に可能である。図８では、固定部８０２及び８０３によって第１の手術ロボット８１０と第２の手術ロボット８２０がそれぞれ前置レンズ８０１に固定されているものとする。但し、第１の手術ロボット８１０と第２の手術ロボット８２０を前置レンズ８０１に固定する方法は特に限定されない。
　そもそも観察装置８００と前置レンズ８０１との位置関係は既知である。そして、前置レンズ８０１上に第１の手術ロボット８１０と第２の手術ロボット８２０が取り付けられていることから、観察装置８００の撮像画像と第１の手術ロボット８１０と第２の手術ロボット８２０の各々との位置関係が既知である。観察装置８００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、第１の手術ロボット８０の座標系を（ｘr1，ｙr1，ｚr1）とすると、下式（９）に示すように、変換行列Ａ11を用いて観察装置８００の撮像画像の座標系（ｘv，ｙv，ｚv）を第１の手術ロボット８１０の座標系（ｘr，ｙr，ｚr）に変換することができる。同様に、下式(１０)に示すように、変換行列Ａ21を用いて観察装置８００の撮像画像の座標系（ｘv，ｙv，ｚv）を第２の手術ロボット８２０の座標系（ｘr，ｙr，ｚr）に変換することができる。観察装置８００と第１の手術ロボット８１０と第２の手術ロボット８２０の各々と位置関係が既知であることから、変換行列Ａ11及びＡ21求めることができる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　一方、第１の手術ロボット８１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具８１１の構成情報がそれぞれ既知であることから、第１の手術ロボット８１０と術具８１１の位置関係が既知である。同様に、第２の手術ロボット８２０と術具８２１の位置関係が既知である。術具８１１の先端の座標系を（ｘe1，ｙe1，ｚe1）とし、術具８２１の先端の座標系を（ｘe2，ｙe2，ｚe2）とすると、それぞれ下式（１１）及び（１２）に示すように、変換行列Ａ12を用いて第１の手術ロボット８１０の座標系（ｘr1，ｙr1，ｚr1）を術具８１１の先端の座標系（ｘe1，ｙe1，ｚe1）に変換するとともに、変換行列Ａ22を用いて第２の手術ロボット８２０の座標系（ｘr2，ｙr2，ｚr2）を術具８１１の先端の座標系（ｘe2，ｙe2，ｚe2）に変換ことができる。第１の手術ロボット８１０の構成情報と術具８１１の構成情報に基づいて変換行列Ａ12を求めるとともに、第２の手術ロボット８２０の構成情報と術具８２１の構成情報に基づいて変換行列Ａ22を求めることができる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　したがって、観察装置８００の撮像画像と各術具８１１及び８１２の先端との間の座標関係は、下式（１３）及び（１４）に示すように定まる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　手術システム１００に図８に示すような観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置を適用する場合について説明する。観察装置８００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して各術具８１１及び８１２の操作量を指示する。マスタ側制御部１１１は、観察装置８００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（１３）及び（１４）に基づいて、操作量（ｘv，ｙv，ｚv）を術具８１１の先端の座標系（ｘe1，ｙe1，ｚe1）又は術具８１２の先端の座標系（ｘe1，ｙe1，ｚe1）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具８１１又は術具８１２の先端の動きを実現するための第１の手術ロボット８１０又は第２の手術ロボット８２０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、第１の手術ロボット８１０又は第２の手術ロボット８２０の駆動を制御すればよい。
　このように本開示の第３の実施例においても、オペレータが観察装置８００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに第１の手術ロボット８１０による術具８１１の動作及び第２の手術ロボット８２０による術具８２１の動作がスムーズに行えるようになる。
　上式（１３）及び（１４）から、本開示の第３の実施例によれば、最適なハンドアイコーディネーションが成立する上記の条件式（４）を満たすことが分かる。したがって、本開示の第３の実施例においても、オペレータは十分なトレーニングを積んでハンドアイコーディネーションに習熟していなくても、観察装置とマスタスレーブ方式の手術システムとを互いに連携して、正確な手術を行うことができる。
Ｆ．効果
　このＦ項では、本開示を手術システム１００に適用することによってもたらされる効果について言及する。
　本開示によれば、術野を観察する顕微鏡などの観察装置と、手術ロボットに支持される術具との相対的な位置関係を高精度に求める構造を備えることができる。したがって、観察装置と手術ロボット、さらには複数の手術ロボットとの協調動作による精密なマニピュレーション、ハンドアイコーディネーション、並びに手術支援を実現することができる。
　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本開示に係る手術システムを眼科手術に適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。観察装置と手術ロボットを用いて手術を支援するさまざまなタイプの手術システムに対しても同様に本開示を適用することができる。
　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本開示は、以下のような構成をとることも可能である。
（１）術野を観察する観察装置と、
　術具を支持する手術ロボットと、
　前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
を具備する手術システム。
（２）前記観察装置は顕微鏡と前置レンズを含み、
　前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（３）前記処理部は、前記観察装置の撮像画像上の座標を前記手術ロボットの座標に変換する第１の変換行列Ａ1と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ2を合成した合成行列Ａ1Ａ2を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（２）に記載の手術システム。
（４）前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（５）前記術部は眼球であり、前記保持器は開瞼器である、
上記（４）に記載の手術システム。
（６）前記処理部は、前記観察装置の撮像画像上の座標を前記保持具の座標に変換する第１の変換行列Ｂ1と前記保持具の座標を前記手術ロボットの座標に変換する第２の変換行列Ｂ2と前記手術ロボットの座標を前記術具の座標に変換する第３の変換行列Ｂ3を合成した合成行列Ｂ1Ｂ2Ｂ3を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（４）又は（５）のいずれかに記載の手術システム。
（７）それぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、
　前記観察装置は顕微鏡と前置レンズを含み、
　前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（８）前記処理部は、
　前記観察装置の撮像画像上の座標を前記第１の手術ロボットの座標に変換する第１の変換行列Ａ11と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ12を合成した合成行列Ａ11Ａ12を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換し、
　前記観察装置の撮像画像上の座標を前記第２の手術ロボットの座標に変換する第１の変換行列Ａ21と前記第２の手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ22を合成した合成行列Ａ21Ａ22を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（７）に記載の手術システム。
（９）前記処理部は、前記観察装置の撮像画像上で指示された操作量を前記術具の座標に変換する、
上記（１）乃至（８）のいずれかに記載の手術システム。
（１０）前記処理部によって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御部をさらに備える、
上記（９）に記載の手術システム。
（１１）前記手術ロボットの動作を指示するマスタ装置と、前記マスタ装置からの指示に基づいて前記手術ロボットの動作を制御するスレーブ装置を備える、
上記（１）乃至（１０）のいずれかに記載の手術システム。
（１２）前記マスタ装置は、前記観察装置の撮像画像上でオペレータによる術具操作の指示を入力し、
　前記処理部は、前記オペレータによって指示された操作量を前記術具の座標に変換し、
　前記スレーブ装置は、前記処理部から出力される前記術具の座標を逆キネマティクス演算して前記手術ロボットの動作を制御する、
上記（１１）に記載の手術システム。
（１３）術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
　前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
を有する手術支援方法。
　１００…手術システム、１１０…マスタ装置
　１１１…マスタ側制御部、１１２…操作ＵＩ部、１１３…提示部
　１１４…マスタ側通信部、１２０…スレーブ装置
　１２１…スレーブ側制御部、１２２…スレーブロボット
　１２３…センサ部、１２４…スレーブ側通信部、１３０…伝送路
　５００…観察装置、５０１…前置レンズ、５０２…固定部
　５１０…手術ロボット、５１１…術具
　６００…観察装置、６０１…前置レンズ、６０２…固定部
　６１０…手術ロボット、６１１…術具、６２０…開瞼器
　６２１、６２２、６２３…ビジュアルマーカー
　８００…観察装置、８０１…前置レンズ、８０２、８０３…固定部
　８１０…第１の手術ロボット、８１１…術具
　８２０…第１の手術ロボット、８２１…術具

Claims (13)

  1. 　術野を観察する観察装置と、
    　術具を支持する手術ロボットと、
    　前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
    　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
    を具備する手術システム。
  2. 　前記観察装置は顕微鏡と前置レンズを含み、
    　前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  3. 　前記処理部は、前記観察装置の撮像画像上の座標を前記手術ロボットの座標に変換する第１の変換行列Ａ1と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ2を合成した合成行列Ａ1Ａ2を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項２に記載の手術システム。
  4. 　前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  5. 　前記術部は眼球であり、前記保持器は開瞼器である、
    請求項４に記載の手術システム。
  6. 　前記処理部は、前記観察装置の撮像画像上の座標を前記保持具の座標に変換する第１の変換行列Ｂ1と前記保持具の座標を前記手術ロボットの座標に変換する第２の変換行列Ｂ2と前記手術ロボットの座標を前記術具の座標に変換する第３の変換行列Ｂ3を合成した合成行列Ｂ1Ｂ2Ｂ3を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項４に記載の手術システム。
  7. 　それぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、
    　前記観察装置は顕微鏡と前置レンズを含み、
    　前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  8. 　前記処理部は、
    　前記観察装置の撮像画像上の座標を前記第１の手術ロボットの座標に変換する第１の変換行列Ａ11と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ12を合成した合成行列Ａ11Ａ12を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換し、
    　前記観察装置の撮像画像上の座標を前記第２の手術ロボットの座標に変換する第１の変換行列Ａ21と前記第２の手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ22を合成した合成行列Ａ21Ａ22を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項７に記載の手術システム。
  9. 　前記処理部は、前記観察装置の撮像画像上で指示された操作量を前記術具の座標に変換する、
    請求項１に記載の手術システム。
  10. 　前記処理部によって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御部をさらに備える、
    請求項９に記載の手術システム。
  11. 　前記手術ロボットの動作を指示するマスタ装置と、前記マスタ装置からの指示に基づいて前記手術ロボットの動作を制御するスレーブ装置を備える、
    請求項１に記載の手術システム。
  12. 　前記マスタ装置は、前記観察装置の撮像画像上でオペレータによる術具操作の指示を入力し、
    　前記処理部は、前記オペレータによって指示された操作量を前記術具の座標に変換し、
    　前記スレーブ装置は、前記処理部から出力される前記術具の座標を逆キネマティクス演算して前記手術ロボットの動作を制御する、
    請求項１１に記載の手術システム。
  13. 　術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
    　前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
    　前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
    を有する手術支援方法。
PCT/JP2021/048962 2021-03-31 2021-12-28 手術システム並びに手術支援方法 WO2022209099A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021060413A JP2022156622A (ja) 2021-03-31 2021-03-31 手術システム並びに手術支援方法
JP2021-060413 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022209099A1 true WO2022209099A1 (ja) 2022-10-06

Family

ID=83455949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048962 WO2022209099A1 (ja) 2021-03-31 2021-12-28 手術システム並びに手術支援方法

Country Status (2)

Country Link
JP (1) JP2022156622A (ja)
WO (1) WO2022209099A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139949A (ja) * 1998-11-10 2000-05-23 Olympus Optical Co Ltd 手術用顕微鏡
JP2005046186A (ja) * 2003-07-29 2005-02-24 Olympus Corp 手術用顕微鏡システム
JP2009116070A (ja) * 2007-11-07 2009-05-28 Topcon Corp 実体顕微鏡
WO2012072657A1 (fr) * 2010-12-01 2012-06-07 Universite Pierre Et Marie Curie (Paris 6) Effecteur equipe d'un dispositif pour la localisation d'une partie utile d'un outil
JP2018153874A (ja) * 2017-03-15 2018-10-04 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
JP2019076329A (ja) * 2017-10-23 2019-05-23 株式会社トプコン 前置レンズ装置及び眼科用顕微鏡

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139949A (ja) * 1998-11-10 2000-05-23 Olympus Optical Co Ltd 手術用顕微鏡
JP2005046186A (ja) * 2003-07-29 2005-02-24 Olympus Corp 手術用顕微鏡システム
JP2009116070A (ja) * 2007-11-07 2009-05-28 Topcon Corp 実体顕微鏡
WO2012072657A1 (fr) * 2010-12-01 2012-06-07 Universite Pierre Et Marie Curie (Paris 6) Effecteur equipe d'un dispositif pour la localisation d'une partie utile d'un outil
JP2018153874A (ja) * 2017-03-15 2018-10-04 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
JP2019076329A (ja) * 2017-10-23 2019-05-23 株式会社トプコン 前置レンズ装置及び眼科用顕微鏡

Also Published As

Publication number Publication date
JP2022156622A (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
KR102348324B1 (ko) 로봇 조작기 또는 연관 도구를 제어하기 위한 시스템 및 방법
KR102237597B1 (ko) 수술 로봇용 마스터 장치 및 그 제어 방법
US9333045B2 (en) Method and means for transferring controller motion from a robotic manipulator to an attached instrument
US8892224B2 (en) Method for graphically providing continuous change of state directions to a user of a medical robotic system
US6963792B1 (en) Surgical method
JP6026515B2 (ja) ツールの動作を制御するのに使用されるフレームの位置及び向きの推定
US6223100B1 (en) Apparatus and method for performing computer enhanced surgery with articulated instrument
JP5264505B2 (ja) 手術器具のための力およびトルクセンサー
EP2582308B1 (en) Scissor bias for direct pull surgical instrument
Nakano et al. A parallel robot to assist vitreoretinal surgery
US6731988B1 (en) System and method for remote endoscopic surgery
US20150047454A1 (en) Lever actuated gimbal plate
CN113440263B (zh) 计算机辅助式远程操作系统中的次级器械控制
JPH08224248A (ja) 医療用マニピュレータ
Noonan et al. Gaze contingent articulated robot control for robot assisted minimally invasive surgery
CN113038900A (zh) 具有传感器对准电缆导向件的外科手术器械
WO2022209099A1 (ja) 手術システム並びに手術支援方法
Ko et al. Compact laparoscopic assistant robot using a bending mechanism
Mayer et al. An experimental system for robotic heart surgery
WO2020209165A1 (ja) 外科手術システム及び外科手術システムの制御方法
WO2020133368A1 (zh) 柔性手术器械、操作臂系统及微创手术机器人从手系统
WO2022196037A1 (ja) 力計測装置及び力計測方法、手術装置、及び手術システム
Liu et al. A novel smart surgical robotic system with eye-hand coordination for surgical assistance
CN219846789U (zh) 手术机器人系统
WO2023116578A1 (zh) 具有平行关节的器械、手术机器人

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935246

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551753

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21935246

Country of ref document: EP

Kind code of ref document: A1