WO2018150489A1 - 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム - Google Patents

手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム Download PDF

Info

Publication number
WO2018150489A1
WO2018150489A1 PCT/JP2017/005550 JP2017005550W WO2018150489A1 WO 2018150489 A1 WO2018150489 A1 WO 2018150489A1 JP 2017005550 W JP2017005550 W JP 2017005550W WO 2018150489 A1 WO2018150489 A1 WO 2018150489A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
robot
image
surgical instrument
feature points
Prior art date
Application number
PCT/JP2017/005550
Other languages
English (en)
French (fr)
Inventor
平塚充一
北辻博明
Original Assignee
株式会社メディカロイド
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メディカロイド, 川崎重工業株式会社 filed Critical 株式会社メディカロイド
Priority to PCT/JP2017/005550 priority Critical patent/WO2018150489A1/ja
Publication of WO2018150489A1 publication Critical patent/WO2018150489A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a method for estimating the relationship between camera coordinates and robot coordinates.
  • a slave robot arm holds a surgical instrument such as forceps and an endoscope (image capture device), and the operator remotely operates the robot arm by operating the master side input device. The position of the endoscope and surgical instruments was adjusted.
  • the operator operates the input device so that the operation of the distal end of the surgical instrument captured by the endoscope matches, and the operator selects the surgical instrument. It is important to secure a sense of intuitive operation.
  • Patent Document 2 when the position or angle of the endoscope held by the robot is changed, the relationship between the hand control and the forceps is remapped, and an intuitive operation is performed even when the endoscope is moved. It is described that it can be maintained.
  • Patent Document 3 describes that in order to realize an augmented reality surgery support system, the parameters of the projection model are estimated by a perspective endoscope, and the world coordinate system and the image coordinate system are estimated.
  • Patent Document 4 in a surgical robot equipped with an endoscope and a tool, the position and posture of the endoscope and the tool, and the position of the feature point based on the mechanism information and the information provided by the sensor provided in the endoscope. Is predicted.
  • an endoscope is gripped by a robot arm, and the position and orientation of the endoscope in the robot coordinate system are calculated using kinematics from each axis information of the robot arm, and the conversion ( By mapping the input device to the end effector of the surgical instrument by generating a transformation, the operation of the slave surgical instrument is intuitively performed by operating the master side input device.
  • a dedicated endoscope suitable for the robot has been used.
  • the method includes the step of obtaining the position coordinates of a plurality of feature points in the image from the image captured by the image capturing device, and the position coordinates of the coordinates corresponding to the plurality of feature points using the position detector.
  • the viewpoint of the image capturing device is determined based on the step of calculating the position coordinates of the plurality of feature points on the acquired image and the position coordinates of coordinates relating to the robot corresponding to the plurality of feature points. And estimating the relationship between the camera coordinates and the coordinates relating to the robot.
  • the tip of the surgical instrument captured by the image capturing device can be operated intuitively by the input device on the master side.
  • FIG. 1 It is the schematic which shows the whole structure of the robotic surgery system which concerns on the structural example of this invention. It is a figure which shows schematic structure of the arm shown in FIG. It is a figure which shows the structural example of an input device. It is a left view of the holding part for right hands, and shows a state when it is actually operated. It is a table
  • FIG. 14A is a diagram schematically showing a state in which the inside of the body cavity is imaged by the stereoscopic endoscope, and FIG.
  • 14B is an image obtained by the first imaging unit in the stereoscopic endoscope. Is a diagram showing the image obtained by the second imaging unit with a broken line. It is the schematic of the system by which the endoscope is hold
  • FIG. 1 is a schematic diagram showing an overall configuration of a robotic surgery system 1 according to a configuration example of the present invention.
  • the robot surgical system 1 is a system in which an operator O performs an endoscopic surgical operation on a treatment target K such as a human being or an animal by remotely operating a patient-side system 2 with an operation device 3.
  • the robot surgery system 1 includes a patient-side system 2 and an operation device 3 for operating the patient-side system 2 remotely.
  • the operator O operates the input device 3a of the operation device 3 to generate an operation command to be performed by the patient side system 2, and the operation command is transmitted to the patient side system 2 through the control unit.
  • the patient-side system 2 receives the operation command transmitted from the operating device 3, and operates the instrument (surgical instrument) 9 included in the patient-side system 2 based on the operation command.
  • the operating device 3 may be arranged immediately next to the treatment target K so that the treatment target K can be quickly accessed, or may be arranged at a remote location, for example, outside the treatment room.
  • the operator O's assistant holds the endoscope 10 as an image capturing device as the endoscope grasper T.
  • the endoscope grasper T adjusts the position and orientation of the endoscope 10 so that the inside of the body cavity of the treatment target K is imaged by the endoscope 10.
  • the patient-side system 2 includes a positioner 7, a platform 8 attached to the tip of the positioner 7, and a plurality of detachably attached platforms 2 (in this configuration example, two )
  • Patient-side manipulator arm also referred to as a robot arm; hereinafter simply referred to as “arm”
  • instrument 9 detachably attached to the tip of each arm 5
  • controller that controls the operation of the patient-side system 2 6 and is movable with respect to the floor surface.
  • FIG. 2 shows a schematic configuration of the arm 5 provided in the patient side system 2. As shown in FIGS. 1 and 2, the arm 5 is configured such that the distal end portion can be moved in a three-dimensional space with respect to the proximal end portion.
  • the arm 5 includes a base 20 that is detachably attached to the platform 8, and a first link 21 to a sixth link 26 that are sequentially connected from the base 20 toward the tip. More specifically, the proximal end portion of the first link 21 is connected to the distal end portion of the base 20 via a torsional joint J31. A proximal end portion of the second link 22 is connected to a distal end portion of the first link 21 via a torsional joint J32. The proximal end portion of the third link 23 is connected to the distal end portion of the second link 22 via a bending joint J33. A proximal end portion of the fourth link 24 is connected to a distal end portion of the third link 23 via a torsional joint J34.
  • a proximal end portion of the fifth link 25 is connected to a distal end portion of the fourth link 24 via a bending joint J35.
  • the proximal end portion of the sixth link 26 is connected to the distal end portion of the fifth link 25 via a torsional joint J36.
  • the proximal end portion of the instrument 9 is connected to the distal end portion of the sixth link 26.
  • the servomotors M31 to M36 for driving corresponding to the joints J31 to J36, the servomotors M31 to M36 for driving, encoders E31 to E36 (position detectors) for detecting the rotation angles of the servomotors M31 to M36, and Reducers R31 to R36 are provided that decelerate the outputs of the servo motors M31 to M36 to increase the torque.
  • the controller 6 has the position and posture of the tip of the arm 5 corresponding to the position and orientation command based on the operation command transmitted from the controller device 3 and the rotation angles detected by the encoders E31 to E36.
  • the servomotors M31 to M36 are servo controlled so as to reach.
  • At the tip of the instrument (surgical instrument) 9 is an end effector having a moving joint (for example, scissors, grasping forceps (graspers), needle holder (needle holder), monopolar hook, monopolar spatula, bipolar instrument, (E.g., microdissector, stapler, tucker, suction cleaning tool, scalpel, clip applier, etc.) 9E.
  • a moving joint for example, scissors, grasping forceps (graspers), needle holder (needle holder), monopolar hook, monopolar spatula, bipolar instrument, (E.g., microdissector, stapler, tucker, suction cleaning tool, scalpel, clip applier, etc.) 9E.
  • a grasping forceps grassper
  • the operation device 3 constitutes an interface between the robot surgery system 1 and the operator O, and is a device for remotely operating the patient side system 2.
  • the operation device 3 is captured by an input device (master controller) 3a for an operator O to input an operation command of the instrument 9, an operation pedal 3b for performing various functions such as a clutch, and the endoscope 10.
  • a monitor 3c as a viewer for displaying the captured image.
  • the surgeon O manually operates the input device 3a to generate an operation command while visually confirming the inside of the body cavity with the monitor 3c.
  • the generated operation command is transmitted to a later-described controller 6 of the patient side system 2 by wire or wireless.
  • FIG. 3 is a diagram illustrating a configuration example of the input device (master controller) 3a.
  • the input device 3 a includes a plurality of link members 101, 102, 103, 104, an elevating guide 105, and a gripping part 110, each of which is connected by a rotation or rectilinear joint.
  • an operating lever 112 is attached to the grip 110 so as to be openable and closable with respect to the grip 110.
  • the input device 3a can input a maximum of 8 degrees of freedom.
  • the link member 101 and the link member 102 are operated in conjunction with each other, the degree of freedom is reduced, or at least one of the link member 101 and the link member 102 is not provided, so that one or two freedoms are provided. You may reduce the degree.
  • FIG. 4 is a left side view of the grip portion 110 showing a state when the input device 3a for the right hand is actually operated.
  • the operation of the left-hand input device 3a is substantially the same as that shown in FIG. 4 except that the left-right relationship is reversed with respect to the right-hand operation.
  • the operator holds the grip 110b of the holding unit 110 with the right hand and puts the thumb and index finger between the left and right operation levers 112 of the main body link 110a and the protective cover 111. insert.
  • the grip portion 110 includes an operation lever 112 for directly instructing the driving amount of the end effector 9E provided at the tip of the instrument 9 via the arm 5 so that the operator can perform an input operation.
  • the opening and closing amount of the grasping forceps 9E at the tip of the arm 5 can be directly operated by operating the left and right operation levers 112 of the link 110a of the main body with the thumb and the index finger.
  • the grip 110 includes an operation amount detector E that detects the operation amount of the operation lever 112 and a motor M that drives the operation lever 112 (not shown), and is detected by the operation amount detector E. Based on the operation amount of the operation lever 112, it can be reflected in the opening / closing operation of the surgical instrument at the tip of the instrument 9.
  • the operator O operates the input device 3a to generate an operation command while visually confirming the inside of the body cavity imaged through the endoscope 10 on the monitor 3c.
  • the image inside the body cavity projected through the endoscope 10 is projected with camera coordinates based on the lens of the endoscope 10. Therefore, when the surgeon O operates the end effector 9E by operating the input device 3a while looking at the monitor 3c, the operator O may be operated in an unexpected direction, and an intuitive operation may not be realized.
  • the robot arm is made to grasp an endoscope, and kinematics is used in the robot coordinate system from each axis information of the robot arm.
  • the position and orientation of the endoscope are calculated, and the input device is mapped to the end effector by generating a transformation (transformation) in response to the calculation.
  • FIG. 6 is a diagram schematically showing the relationship among robot coordinates, camera coordinates, and image coordinates, and the relationship between these coordinates can be summarized as follows.
  • the robot coordinates and the camera coordinates have a relationship that a certain point of the robot coordinates can be converted into the camera coordinates using an external parameter of the camera (endoscope).
  • the camera coordinates and the image coordinates have a relationship that a certain point of the camera coordinates can be projected and converted to a two-dimensional image plane (image coordinates) using the internal parameters of the camera.
  • the robot coordinates and the image coordinates have a relationship that a certain point of the robot coordinates can be projected and converted to a two-dimensional image plane (image coordinates) using the external parameters and the internal parameters of the camera.
  • the external parameter of the camera represents the position of the camera in the 3D robot coordinates
  • the internal parameter of the camera is a value specific to the camera and represents the optical center and the number of pixels.
  • FIG. 7 is a schematic diagram showing the relationship between camera coordinates and robot coordinates for explaining the relationship ⁇ 1>.
  • the external parameters are composed of a rotation matrix R and a translation vector tr , and conversion between camera coordinates and robot coordinates can be performed by rotating and translating the coordinates using the external parameters.
  • the rotation matrix R in the equation (1) has rotation angles around the X, Y, and Z axes in the robot coordinate system as ⁇ , ⁇ , ⁇ , and the respective rotation matrices as R X ⁇ , R Y ⁇ , Assuming R Z ⁇ , it can be expressed as follows.
  • the relationship between the robot coordinates and the camera coordinates can be expressed as follows using the homogeneous coordinates as representing the parallel movement after rotation.
  • FIG. 8 is a diagram showing a pinhole camera model for explaining the relationship ⁇ 2>.
  • the pinhole camera model is a geometric model of image formation by an ideal single lens, and the position of the pinhole is set at the optical center, that is, the center of the lens.
  • Arbitrary points on the three-dimensional object travel along a straight line (line of sight) passing through the optical center and form an image at the intersection with the image plane.
  • the coordinate system defined by the xy plane that passes through this origin and is perpendicular to the optical axis is defined as the camera coordinate. Become.
  • the distance from the camera coordinate origin to an arbitrary point of the three-dimensional object in the z-axis direction is z c
  • the distance in the x-axis direction is x c
  • the above three-dimensional object for imaging on the imaging surface (imaging device or film) from the camera coordinate origin distance in z-axis direction to a point corresponding to an arbitrary point (focal length) f, when the distance in the x-axis direction is defined as x i c, the similarity relationship between the two triangles shown in FIG. 5 (B), the following The formula holds.
  • x i c is the x component of points projected on the image coordinates shown in camera coordinates.
  • the distance in the y-axis direction from the camera coordinate origin to the arbitrary point of the three-dimensional subject is y c
  • the y-axis from the camera coordinate origin to the point corresponding to the arbitrary point of the three-dimensional subject imaged on the imaging surface the distance in the direction.
  • y i c is the y component of points projected on the image coordinates shown in camera coordinates. These can be expressed as a matrix as follows.
  • Point in the camera coordinate in the above indicated (x c, y c, z c) a point on the image coordinates in the case of projecting the points on the image coordinates in the camera coordinate reference as (x i c, y i c )
  • the optical axis (z axis of the camera coordinates) does not pass through the center of the image plane.
  • the scale at the image coordinates (x i , y i ) and the scale of the camera coordinates (x c , y c , z c ) are different. Therefore, the following relationship is established between the camera coordinates and the image coordinates.
  • (o x , o y ) is the center of the image
  • (k x , k y ) is the effective size of the camera (endoscope) pixel.
  • Equation (8) and Equation (12) the relationship between the point on the image plane and the above arbitrary point when an arbitrary point of the camera coordinates is projected onto the image plane such as an image sensor is derived as follows. It is burned.
  • the matrix P defined by the internal parameters and the external parameters is a matrix that projects an arbitrary point of the robot coordinates onto the image coordinates, and the projection matrix (perspective projection matrix) P is as follows.
  • Equation (15) can be expressed as follows.
  • Erasing h is as follows.
  • n is the number of feature points, A n is 2n rows 11 columns matrix of the equation (17), the w n is 2n-dimensional vector (x i1, y i1, ⁇ , x in, y in) .
  • the vector p can be estimated by using the least square method (by performing multiple regression analysis) as min
  • the method for estimating the vector p is not limited to multiple regression analysis, and other methods such as a maximum likelihood estimation method may be used.
  • the image center (o x , o y ) and the effective pixel size (k x , k y ), which are internal parameters of the camera, are values inherent to the endoscope. Give it.
  • the focal length f is not necessarily information necessary for knowing the direction of the endoscope, and an arbitrary value may be given.
  • the relationship between the robot coordinate and the camera coordinate, as shown in FIGS. 6 and 7, given by the translation vector t r and the rotation matrix R is the external parameters of the camera.
  • the intuitive operation of the end effector 9E by the input device 3a can be realized using these, at least the rotation matrix R may be known in that the end effector 9E is operated based on the camera coordinates. Therefore, it can be said that the translation vector tr is also a parameter that may be given an arbitrary value.
  • the operation of the end effector 9E by the input device 3a can be performed even if the endoscope is tilted or rotated. It is possible to operate the end effector 9E intuitively as if the operation is performed based on the camera coordinates.
  • the endoscope image can be tilted or rotated by converting the image shown in the camera coordinates into robot coordinates using the estimated external parameters (reverse rotation using the inverse matrix of the rotation matrix). Intuitive operation of the end effector 9E is possible as if the operation of the end effector 9E by the input device 3a is performed based on the camera coordinates.
  • FIG. 9 is a block diagram showing a configuration of the robotic surgery system 1 according to this configuration example.
  • the robot surgical system 1 includes a patient side system 2 and an operation device 3.
  • the endoscope 10 is grasped by, for example, an endoscope grasper T and acquires an image in the body cavity.
  • the acquired image is transmitted and displayed on the monitor 3c via the image acquisition unit 16 of the controller 6 as needed.
  • the controller 6 includes an image analysis unit 11, a storage unit 12, a feature point space coordinate calculation unit 13, an external parameter estimation unit 14 (coordinate relationship estimation unit), a control unit 15, an image acquisition unit 16, and a timer 17. And have.
  • the controller 6 includes a hardware processor (for example, CPU, FPGA, etc.), a nonvolatile memory, and the like. For example, when the CPU reads a program from the nonvolatile memory and executes it, the hardware processor functions as the controller 6 having the image analysis unit 11, the storage unit 12, the feature point space coordinate calculation unit 13, and the like.
  • the image analysis unit 11 includes an in-image feature point acquisition unit 11a, a similarity calculation unit 11b, and a determination unit 11c.
  • FIG. 10 is a diagram illustrating an example of an image Pct that is captured by the endoscope 10 and displayed on the monitor 3c. A grasping forceps 9E is displayed in the image Pct.
  • the similarity calculation unit 11b calculates the similarity by comparing the image of the grasping forceps 9E stored in the storage unit 12 in advance with the image Pct obtained by the endoscope 10 by pattern matching or the like. Based on the degree, the determination unit 11c determines the presence or absence of the grasping forceps 9E in the image Pct. When the determination unit 11c determines that the grasping forceps 9E is included in the image Pct, the in-image feature point acquisition unit 11a extracts the feature points Pt1, Pt2, and Pt3 in the image Pct, and the feature in the image coordinates. The position coordinates (x i , y i ) of the points Pt1, Pt2, Pt3 are acquired.
  • the storage unit 12 stores the shape of the grasping forceps 9E and a plurality of features such as the tips and fulcrums of the jaws of the grasping forceps 9E as feature point extraction targets. Then, for example, the in-image feature point acquisition unit 11a extracts the tip portions 9b of the jaws 9a and the fulcrum portions 9c of the jaws 9a as feature points Pt1, Pt2, and Pt3 by pattern matching. .
  • the feature point space coordinate calculation unit 13 calculates the position and posture of the arm 5 based on the position information and posture information of the links 21 to 26 output from the encoders E31 to E36, and based on that, each feature of the grasping forceps 9E.
  • the position coordinates (X r , Y r , Z r ) of the points P1 to P3 in the robot coordinate system are calculated.
  • the external parameter estimation unit 14 includes position coordinates (x i1 , y i1 ), (x i2 , y i2 ) of a plurality of feature points Pt1, Pt2, Pt3 in the image coordinate system output from the in-image feature point acquisition unit 11a.
  • a marker M is provided in the vicinity of the end effector 9E, information (shape, color, material, etc.) of the marker is stored in the storage unit 12, and this is analyzed by the image analysis unit 11 so that the image Feature points (x iM , y iM ) and robot coordinates (X rM , Y rM , Z rM ) corresponding to the feature points may be extracted.
  • a plurality of markers such as M 1 , M 2 ,... May be provided. The marker may be detected not only by pattern matching of the image but also by a dedicated marker detector.
  • the reliability of coordinate extraction can be improved by using markers. Further, since the position of the marker is not limited to an easily recognizable place such as the edge of the image, the number of extracted feature points can be increased.
  • FIG. 12 is a flowchart showing each process included in the operation method of the robotic surgery system using the robotic surgery system 1 according to this configuration example.
  • the operation method of the robot surgical system described below includes an operation method of the surgical instrument that remotely operates the grasping forceps 9E as a surgical instrument connected to the arm 5.
  • step S1 first, the robotic surgery system 1 is activated, and an image inside the body cavity of the treatment target K captured by the endoscope 10 is displayed on the monitor 3c.
  • the surgeon O can operate the grasping forceps 9E by operating the input device 3a while viewing the image.
  • step S2 system preparation such as calibration of the position of the end effector 9E is performed.
  • step S3 the surgical instrument 9 and the endoscope 10 are inserted into the trocar, and the surgical instrument 9 is remotely operated by the input device 3a to start the operation.
  • step S4 image recognition of the image obtained from the endoscope 10 is performed, and the position coordinates (x i1) in the image coordinates of the plurality of feature points Pt1, Pt2, and Pt3 in the image Pct are performed by the in-image feature point acquisition unit 11a. , Y i2 ), (x i2 , y i2 ), (x i3 , y i3 ) are acquired.
  • the feature point space coordinate calculation unit 13 causes the robot coordinates of the plurality of feature points Pt1, Pt2, and Pt3 (specifically, the two tip portions 9b and 9b of the jaw and the fulcrum portion 9c of the jaw).
  • the position coordinates (X r1 , Y r1 , Z r1 ), (X r2 , Y r2 , Z r2 ) and (X r3 , Y r3 , Z r3 ) at the links 21 to 26 obtained by the encoders E31 to E36 are obtained. Is calculated based on the position information and the posture information.
  • step S6 it is confirmed whether or not a plurality of sets of feature points (x in , y in ) and (X rn , Y rn , Z rn ) have been stored for a set number or more.
  • the number of feature points to be collected (set number) is 6 sets or more, and when 6 sets or more are not stored, the process returns to S4 to continue extracting and storing the feature points. Since the end effector 9E operates frequently during the operation, a set of feature points equal to or more than the set number can be stored by extracting feature points in time series. Alternatively, as shown in FIG. 11, if three feature points are extracted from one end effector 9E, six points can be extracted from two end effectors 9E at a time.
  • steps S4 to S6 are repeated at least three times. Since the number of feature points does not increase while the end effector 9E is not operating, steps S4 to S6 are repeated.
  • step S7 the necessity for cooperation (mapping) between the input device 3a and the end effector 9E is confirmed.
  • Various linkage conditions can be set, but in this embodiment, a certain time has passed. For example, if the linkage condition is set to be one minute or more after the timer 17 has elapsed, a set of feature points equal to or more than the set number is collected in step S6, and if the timer 17 has passed one minute or more, the external of S8 Proceed to the parameter estimation step. If the timer 17 is less than 1 minute, the process returns to step S4 to extract feature points.
  • step S8 an external parameter is estimated using a set of n or more feature points stored. Specifically, using equation (19) and (15), the external parameter R of the camera, estimating a t r.
  • step S9 the input device 3a and the end effector 9E are mapped based on the relative relationship between the estimated camera coordinates and robot coordinates.
  • the operation of the input device 3a based on the robot coordinates is converted into camera coordinates and displayed on the endoscope, and the operation of the end effector 9E by the input device 3a is performed as if based on the camera coordinates.
  • the end effector 9E can be operated.
  • an intuitive operation of the end effector 9E may be possible by rotating an image captured by the endoscope 10 and converting it into robot coordinates using an inverse matrix of the estimated rotation matrix.
  • step S10 the temporarily stored feature points and timer 17 are reset, and the process returns to step S4 to extract feature points. Then, given the conditions in step S6 and step S7, the external parameters are re-estimated, and the input device 3a and the end effector 9E are re-mapped using the re-estimated external parameters.
  • FIG. 13 is a block diagram showing a configuration of the robotic surgery system 1a according to the first modification. Differences from the above configuration example will be described, and description of other parts will be omitted.
  • the motion sensor 18 is attached to a predetermined position of the endoscope 10.
  • the motion sensor 18 detects the movement (displacement amount, rotation angle, etc.) of the endoscope 10, and when the magnitude is equal to or larger than a predetermined threshold value, the external parameter estimation unit 14 is informed to the external parameter estimation unit 14 via the control unit 15. Send an estimation command.
  • the fact that the external parameter estimation unit 14 receives this external parameter estimation command is a condition for proceeding from step S7 to S8 in FIG.
  • the external parameter is re-estimated based on the magnitude of the movement of the endoscope 10 detected by the motion sensor 18 fixed to the endoscope 10. .
  • the external parameter is not re-estimated.
  • Re-estimation is performed.
  • the operation device 3 is provided with a re-estimation support portion 3d (see FIGS. 9 and 13).
  • the re-estimation support unit 3d is constituted by, for example, a re-estimation instruction button provided in the vicinity of the input device 3a.
  • an external parameter estimation command is transmitted to the external parameter estimation unit 14 via the control unit 15.
  • step S7 The process does not proceed from step S7 to step S8 in FIG. 12 until the external parameter estimation unit 14 receives this external parameter estimation command.
  • the process immediately proceeds to step S8 even if n or more feature points are not extracted in S6.
  • step S8 if there are no more than 6 feature points, the external parameters are not estimated, the current image is displayed, and if there are 6 or more feature points, the external parameters are estimated, and the process proceeds to S9. .
  • This modification can be used simultaneously with the above-described configuration example and the first modification.
  • FIG. 14 (A) is a diagram schematically showing a state in which the inside of a body cavity is imaged by the stereoscopic endoscope 10a
  • FIG. 14 (B) is a first imaging unit in the stereoscopic endoscope 10a. It is the figure which showed the image Pct1 obtained by 2nd imaging
  • the position coordinates of the feature points obtained by the imaging units a1 and a2 are used as the position coordinates of the feature points in the image coordinate system output to the external parameter estimation unit 14. You may adopt what took the value.
  • the position coordinates of the feature point Pt1 output to the external parameter estimation unit 14 are expressed as ((x i1 + x i4 ) / 2, (y i1 + y i4 ) / 2. ).
  • the position coordinates of the feature point Pt2 can be ((x i2 + x i5 ) / 2, (y i2 + y i5 ) / 2).
  • the position coordinates of the feature point Pt3 can be ((x i3 + x i6 ) / 2, (y i3 + y i6 ) / 2).
  • the position coordinates of the feature points output to the external parameter estimation unit 14 can be used.
  • robot coordinates are used as a reference for operating the end effector 9E.
  • world coordinates may be used as a reference for operating the end effector 9E.
  • the position coordinates (X r , Y r , Z r ) in the robot coordinates may be replaced with the position coordinates (X W , Y W , Z W ) in world coordinates.
  • coordinates that serve as a reference for operating the end effector 9E based on the input device 3a are referred to as “coordinates related to the robot”.
  • the endoscope 10 is held by the endoscope holder T, but may be used in other modes.
  • FIG. 15 is a schematic view when the endoscope 10 is held and fixed to an endoscope holder 30 as a support device attached to the side of the operating table.
  • an endoscope holder 30 As a support device attached to the side of the operating table.
  • a joint 32 is provided between each link member 31, and each link member 31 can be manually positioned in a desired posture.
  • the input effector 9E can be intuitively operated by the input device 3a using the above-described configuration example and modification example. Can be realized.
  • FIG. 16 shows an internal view of an endoscopic robot arm 36 attached to another mobile device 35 that is physically independent of the patient-side system 2 to which the robot arm 5 that holds the instrument 9 is attached. It is the schematic in the case of holding and fixing the endoscope 10.
  • This is a so-called modular robotic surgery system, in which different physically independent mobile devices 2a and 35 are provided with robot arms 5 and 36, respectively, and each mobile device 2a and 35 is small and requires only necessary equipment. It is a system that can be used at a minimum and is also effective in saving space. In the modular system, positional cooperation between the robot arms 5 and 36 attached to the different mobile devices 2a and 35 is required.
  • the mobile devices 2a and 35 can be connected to different mobile devices 2a and 35. Intuitive operation of the end effector 9E by the input device 3a can be realized without coordinated position between the attached robot arms 5 and 36.
  • the configuration example and the modification example described above are also effective when the endoscope 10 is a flexible endoscope.
  • the endoscope 10 is a flexible endoscope, it is impossible to detect which direction the tip (lens) of the endoscope 10 is facing even if the endoscope 10 is held by a robot arm.
  • it is attempted to detect in which direction the distal end of the endoscope 10 is directed using a gyro sensor or the like it is necessary to attach the sensor in the vicinity of the distal end of the endoscope 10. Attaching such a sensor hinders the miniaturization of the tip portion which is a portion to be inserted into the body, and the tip portion becomes heavy, so that the operability is also deteriorated.
  • the present invention can be applied to a robotic surgery system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることを目的とする。　入力装置の操作に基づいて各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する手術器具の動作方法は、画像捕捉装置により捕捉した画像から画像内における複数の特徴点の位置座標を取得するステップ（Ｓ４）と、位置検出器を用いて複数の特徴点に対応するロボットに関する座標の位置座標を算出するステップ（Ｓ５）と、取得した画像上の複数の特徴点の位置座標と、複数の特徴点に対応するロボットに関する座標の位置座標とに基づいて、画像捕捉装置の視点を基準とするカメラ座標とロボットに関する座標との関係を推定するステップ（Ｓ８）とを含む。

Description

手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム
　本発明は、カメラ座標とロボットに関する座標との関係の推定方法に関する。
　手術支援ロボットによる手術では、スレーブ側のロボットアームに鉗子などの手術器具と内視鏡（画像捕捉装置）を把持させ、操作者がマスター側の入力装置を操作することによりロボットアームを遠隔操作して内視鏡と手術器具の位置調整を行っていた。そして、このようなマスタースレーブ方式の手術支援ロボットにおいては、操作者による入力装置の操作と内視鏡により捕捉した手術器具先端の動作とが一致するように制御して、操作者が手術器具を直感的に操作している感覚を確保することが重要である。
　例えば、特許文献１には、カメラ位置情報、マニピュレータ位置情報、及びハンドコントロール位置情報がそれぞれセンサを用いて検出され、これらの位置情報を用いて座標変換が成され、内視鏡の回転角に応じた画像の回転を行い、エンドエフェクタを備えたマニピュレータが常にハンドコントロールの底部（スクリーンの下半分）に現れるようにすることが記載されている。
　特許文献２には、ロボットにより把持された内視鏡の位置や角度を変更した場合に、ハンドコントロールと鉗子の関係を再マッピングするようにし、内視鏡を動かした場合でも直感的な操作を維持できるようにすることが記載されている。
　特許文献３には、拡張現実感手術支援システムを実現するために斜視内視鏡において投影モデルのパラメータ推定を行い、ワールド座標系と画像座標系の推定を行うことが記載されている。
　特許文献４には、内視鏡及びツールが装着された手術ロボットにおいて、機構学情報及び内視鏡に設けたセンサによる情報に基づいて内視鏡及びツールの位置及び姿勢と、特徴点の位置とを予測することが記載されている。
特開２００５－２６１９５６号公報 ＷＯ２０００／０６０５２１号公報 特開２００４－１７３９７３号公報 特開２００５－２１３７５３号公報
　特許文献２においては、ロボットアームに内視鏡を把持させて、ロボットアームの各軸情報より運動学を用いてロボット座標系における内視鏡の位置及び姿勢を算出し、これに応答した変換（トランスフォーメーション）の生成によって入力装置を手術器具のエンドエフェクタにマッピングすることによりマスター側入力装置の操作によってスレーブ側手術器具の動作を直感的に行っていた。そしてロボットに内視鏡を把持させるために、そのロボットに適合する専用の内視鏡が用いられていた。
　ロボットアームに内視鏡を把持させずに直感的操作を実現しようとする場合には、特許文献１、３、及び４に記載のように、内視鏡に位置や姿勢情報を取得するためのセンサを設けてロボットと連携させていた。従って、センサを設ける必要があり、さらにこれをロボットと連携されるシステムを構築する必要があった。
　本発明は、画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることを目的とする。
　上記目的を達成するための本発明のある局面に係る、入力装置の操作に基づいて、各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する、手術器具の動作方法は、画像捕捉装置により捕捉した画像から、該画像内における複数の特徴点の位置座標を取得するステップと、前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出するステップと、前記取得した画像上の複数の前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定するステップとを含む。
　画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることができる。
本発明の構成例に係るロボット手術システムの全体的な構成を示す概略図である。 図１に示すアームの概略構成を示す図である。 入力装置の構成例を示す図である。 右手用の把持部の左側面図であり、実際に操作される際の様子を示す。 カメラ座標とロボット座標との相対関係が把握されていない状態において、入力装置の操作がエンドエフェクタにどのように影響するかを説明するための表である。 ロボット座標、カメラ座標、及び画像座標の間の関係を模式的に示す図である。 カメラ座標とロボット座標との関係を示す模式図である。 ピンホールカメラモデルを示す図である。 本構成例に係るロボット手術システムの構成を示すブロック図である。 内視鏡によって撮影された画像の一例を示す図である。 内視鏡によって撮影された画像の一例を示す図であって、２つのエンドエフェクタが画像に表示されている状態を示す図である。 本構成例に係るロボット手術システムの動作方法に含まれる各工程を示すフローチャートである。 第１の変形例に係るロボット手術システムの構成を示すブロック図である。 図１４（Ａ）は、立体内視鏡によって体腔内部を撮影している様子を模式的に示す図であり、図１４（Ｂ）は、立体内視鏡における第１撮影部で得られた画像を実線で示すとともに、第２撮影部で得られた画像を破線で示した図である。 手術台のサイドレールに取り付けられた内視鏡ホルダに内視鏡が保持固定されているシステムの概略図である。 インストゥルメントを把持しているロボットアームが取り付けられた患者側システムとは物理的に独立した異なる他の移動機器に取り付けられたロボットアームに内視鏡を保持固定させている場合の概略図である。
　［ロボット手術システムの概要］
　図１は、本発明の構成例に係るロボット手術システム１の全体的な構成を示す概略図である。図１に示すように、ロボット手術システム１は、術者Ｏが操作装置３により患者側システム２を遠隔操作して人間や動物などの処置対象Ｋに内視鏡外科手術を施すシステムである。
　ロボット手術システム１は、患者側システム２と、この患者側システム２を遠隔で操作する操作装置３とを備えている。術者Ｏは操作装置３の入力装置３ａを操作することにより患者側システム２に行わせる動作指令を生成し、当該動作指令は制御部を通じて患者側システム２に伝送される。そして、患者側システム２は、操作装置３から伝送された動作指令を受け取り、この動作指令に基づいて、患者側システム２が有するインストゥルメント（手術器具）９を動作させる。なお、操作装置３は処置対象Ｋに素早くアクセスできるように、処置対象Ｋのすぐ隣に配置してもよいし、遠く離れた場所、例えば処置室の外に配置しても構わない。
　ロボット手術システム１の一実施形態では、術者Ｏの助手が内視鏡把持者Ｔとして、画像捕捉装置としての内視鏡１０を把持する。内視鏡把持者Ｔは、内視鏡１０によって処置対象Ｋの体腔内部が撮影されるように、内視鏡１０の位置及び向きを調整する。
　［患者側システムの構成例］
　患者側システム２は、図１に示すように、ポジショナ７と、ポジショナ７の先端部に取り付けられたプラットホーム８と、プラットホーム８に着脱可能に取り付けられた複数の（本構成例の場合、２つの）患者側マニピュレータアーム（ロボットアームともいう。以下、単に「アーム」という）５と、各アーム５の先端部に着脱可能に取り付けられたインストゥルメント９と、患者側システム２の動作を司るコントローラ６を備え、床面に対して移動可能である。
　図２は、患者側システム２が備えるアーム５の概略構成を示している。図１および図２に示すように、アーム５は、基端部に対し先端部を３次元空間内で移動させることができるように構成されている。
　アーム５は、プラットホーム８に着脱可能に取り付けられるベース２０と、ベース２０から先端部に向けて順次連結された第１リンク２１～第６リンク２６とを含む。より詳細には、ベース２０の先端部に、捩り関節Ｊ３１を介して第１リンク２１の基端部が連結されている。第１リンク２１の先端部に、捩り関節Ｊ３２を介して第２リンク２２の基端部が連結されている。第２リンク２２の先端部に、曲げ関節Ｊ３３を介して第３リンク２３の基端部が連結されている。第３リンク２３の先端部に、捩り関節Ｊ３４を介して第４リンク２４の基端部が連結されている。第４リンク２４の先端部に、曲げ関節Ｊ３５を介して第５リンク２５の基端部が連結されている。第５リンク２５の先端部に、捩り関節Ｊ３６を介して第６リンク２６の基端部が連結されている。第６リンク２６の先端部に、インストゥルメント９の基端部が連結されている。
　上記構成のアーム５には、各関節Ｊ３１～Ｊ３６に対応して、駆動用のサーボモータＭ３１～Ｍ３６、サーボモータＭ３１～Ｍ３６の回転角を検出するエンコーダＥ３１～Ｅ３６（位置検出器）、および、サーボモータＭ３１～Ｍ３６の出力を減速させてトルクを増大させる減速機Ｒ３１～Ｒ３６が設けられる。
　上記構成において、コントローラ６は、操作装置３より伝送された動作指令と、エンコーダＥ３１～Ｅ３６で検出された回転角とに基づいて、アーム５の先端部が位置姿勢指令と対応する位置および姿勢に到達するように、各サーボモータＭ３１～Ｍ３６をサーボ制御する。
　インストゥルメント（手術器具）９の先端には、動作する関節を有するエンドエフェクタ（たとえば、シザーズ、把持鉗子（グラスパー）、持針器（ニードルホルダ）、モノポーラフック、モノポーラスパチュラ、バイポーラインストゥルメント、マイクロジセクター、ステープラー、タッカー、吸引洗浄ツール、メス、クリップアプライヤーなど）９Ｅが設けられている。以下では、一例として、インストゥルメント９の先端部分が把持鉗子（グラスパー）である形態を例に説明する。
　［操作装置の構成例］
　操作装置３は、ロボット手術システム１と術者Ｏのインターフェースを構成し、患者側システム２を遠隔操作するための装置である。操作装置３は、術者Ｏがインストゥルメント９の動作指令を入力するための入力装置（マスターコントローラ）３ａ、クラッチなどの各種機能を行うための操作ペダル３ｂ、及び内視鏡１０で捕捉された画像を表示するビューワとしてのモニタ３ｃを含む。術者Ｏは、モニタ３ｃで体腔内部を視認しながら、手動で入力装置３ａを操作して動作指令を生成する。生成された動作指令は、有線または無線により患者側システム２の後述するコントローラ６に伝達される。
　［入力装置の構成例］
　図３は、入力装置（マスターコントローラ）３ａの構成例を示す図である。 図３に示すように、入力装置３ａは、複数のリンク部材１０１，１０２，１０３，１０４と、昇降ガイド１０５と、把持部１１０と含み、それぞれが回転または直進ジョイントで連結されている。また、把持部１１０には、さらに、把持部１１０に対して開閉可能に連結された操作レバー１１２が取り付けられている。このような構成により、入力装置３ａは、最大８自由度の入力が可能となっている。
　なお、たとえば、リンク部材１０１とリンク部材１０２とを連動して動作させることにより自由度を減らしたり、リンク部材１０１およびリンク部材１０２の少なくともいずれか１つを設けないことにより、１または２の自由度を減らしてもよい。
　図４は、右手用の入力装置３ａが実際に操作される際の様子を示す把持部１１０の左側面図である。左手用の入力装置３ａの動作は、右手用の動作に対して左右の関係が逆転するだけで実質的な動作は図４に示すものと同様である。図４に示すように、入力操作に際して、操作者は、右手で把持部１１０のグリップ１１０ｂを把持するとともに、親指と人差し指を、本体のリンク１１０ａの左右の操作レバー１１２と保護カバー１１１の間に挿入する。
　把持部１１０は、アーム５を介してインストゥルメント９の先端に設けられたエンドエフェクタ９Ｅの駆動量を直接的に指令するための操作レバー１１２を備えることにより、操作者は、入力操作の際に、親指と人差し指で、本体のリンク１１０ａの左右の操作レバー１１２を操作して、アーム５先端の把持鉗子９Ｅの開閉量を直接的に操作することができる。
　また、把持部１１０は、操作レバー１１２の操作量を検出する操作量検出器Ｅと、操作レバー１１２を駆動するモータＭを備えることにより（図示せず）、操作量検出器Ｅで検出された操作レバー１１２の操作量に基づいて、インストゥルメント９先端の術具の開閉動作に反映させることができる。
　上記構成のロボット手術システム１では、術者Ｏがモニタ３ｃで内視鏡１０を通して映された体腔内部を視認しながら入力装置３ａを操作して動作指令を生成する。
　しかしながら、入力装置３ａ及びエンドエフェクタ９Ｅはロボット座標で操作されるのに対し、内視鏡１０を通して映される体腔内部の映像は内視鏡１０のレンズを基準としたカメラ座標で映されることから、術者Ｏがモニタ３ｃを見ながら入力装置３ａの操作によりエンドエフェクタ９Ｅを操作した場合、意に反した方向に操作され、直感的な操作が実現できない場合がある。
　例えば図５に示すように、内視鏡がロボット座標を基準として水平となっている場合、入力装置の操作に対するエンドエフェクタ９Ｅの運動に差はないが、内視鏡が時計回りに９０°回転したとき、カメラ座標におけるインストゥルメント９の動きを基準とすると、インストゥルメント９がロボット座標に従って動作する場合、術者Ｏによる入力装置３ａの左右の操作がエンドエフェクタ９Ｅの上下運動を引き起こすように見える。
　上述の特許文献２では、このような問題を解決して直感性を担保するためにロボットアームに内視鏡を把持させて、ロボットアームの各軸情報より運動学を用いてロボット座標系における内視鏡の位置及び姿勢を算出し、これに応答した変換（トランスフォーメーション）の生成によって入力装置をエンドエフェクタにマッピングしていた。
　しかし、図１に示したようにロボットアームではなく内視鏡把持者Ｔが内視鏡を把持している場合、内視鏡がロボットアームではなく単純な支持装置で固定されている場合、内視鏡がロボットアームで把持されていても患者側システム２とは異なるシステムであり内視鏡を把持しているロボットアームと患者側システムとが位置及び姿勢の情報を交換していない場合、又は内視鏡がロボットアームで把持されていても内視鏡が軟性内視鏡であり内視鏡先端のレンズの向き及び姿勢が把握できない場合などにおいては、上記特許文献２のような方法で直感性を担保することができず、内視鏡先端に角度センサを設けて入力装置と連携させるなど別の対応をしなければならない。
　以下では、内視鏡がロボットに把持されていない場合であっても、また内視鏡にセンサを設けられていない場合であっても、入力装置３ａによるエンドエフェクタ９Ｅの直感操作が可能なように、カメラ座標とロボットに関する座標との関係を推定する方法を説明する。
　［画像座標における位置座標とロボット座標における位置座標との関係］
　ロボット座標における任意の点の位置座標（Ｘｒ，Ｙｒ，Ｚｒ）と、ロボット座標における当該点を内視鏡で捕捉し２次元画像上に映し出された点の位置座標（ｘｉ，ｙｉ）との関係を示す式の導出過程について、順を追って説明する。
　図６は、ロボット座標、カメラ座標、及び画像座標の間の関係を模式的に示した図であり、これらの座標の関係は以下のように要約できる。
　＜１＞ロボット座標とカメラ座標とは、ロボット座標のある点がカメラ（内視鏡）の外部パラメーターを用いてカメラ座標に変換できるという関係にある。
　＜２＞カメラ座標と画像座標とは、カメラ座標のある点がカメラの内部パラメーターを用いて２次元のイメージ平面（画像座標）への射影変換をすることができるという関係にある。
　＜３＞ロボット座標と画像座標とは、ロボット座標のある点がカメラの外部パラメーター及び内部パラメーターを用いて２次元のイメージ平面（画像座標）への射影変換をすることができるという関係にある。
　カメラの外部パラメーターは３次元ロボット座標におけるカメラの位置を表し、カメラの内部パラメーターはカメラ固有の値で、光学的中心や画素数を表す。
　図７は、上記＜１＞の関係を説明するための、カメラ座標とロボット座標との関係を示す模式図である。外部パラメーターは、回転行列Ｒと並進ベクトルｔｒで構成され、カメラ座標とロボット座標との間の変換は、外部パラメーターを用いて座標の回転及び平行移動を行うことにより可能である。例えば、ロボット座標における任意点の位置をベクトルｍｒ＝（Ｘｒ、Ｙｒ、Ｚｒ）で示し、カメラ座標における前記任意点の位置をベクトルｍｃ＝（ｘｃ、ｙｃ、ｚｃ）で示した場合、ベクトルｍｒとベクトルｍｃとの関係は、回転行列Ｒ及び平行移動を表すベクトルｔｒを用いて以下の式で表すことができる。
　　ｍｃ＝Ｒｍｒ＋ｔｒ　…（１）
　式（１）及び図７におけるベクトルｔｒは、ロボット座標の原点を基準とした、カメラ座標の原点へのベクトルで示したものであり、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000001
　また、Ｘ軸まわり、Ｙ軸まわり、Ｚ軸まわりの一般的な回転行列ＲＸ、ＲＹ、ＲＺは、
　
Figure JPOXMLDOC01-appb-I000002
であるから、式（１）における回転行列Ｒは、ロボット座標系におけるＸ軸、Ｙ軸、Ｚ軸回りの回転角をγ、β、α、それぞれの回転行列をＲＸ γ、ＲＹ β、ＲＺ αとすると、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000003

　
Figure JPOXMLDOC01-appb-I000004
　以上より、ロボット座標とカメラ座標の関係は、回転後平行移動を表すものとして、同次座標を用いると、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000005
　図８は、上記＜２＞の関係を説明するための、ピンホールカメラモデルを示す図である。ピンホールカメラモデルとは、理想的な単レンズによる結像の幾何学的なモデルであり、ピンホールの位置を光学中心、すなわちレンズの中心にとる。３次元被写体の任意の点は、光学中心を通る直線（視線）に沿って進んで画像面と交わったところに像を結ぶ。光学中心を原点とし、ｚ軸をレンズの中心を通りレンズ面と直交する方向（光軸）にとり、この原点を通って光軸に垂直なｘ-ｙ平面で規定される座標系がカメラ座標となる。カメラ座標原点から３次元被写体の任意点までのｚ軸方向における距離をｚｃ、ｘ軸方向における距離をｘｃ、カメラ座標原点から撮像面（撮像素子やフィルム）における結像の上記３次元被写体の任意点に対応する点までのｚ軸方向における距離（焦点距離）をｆ、ｘ軸方向における距離をｘｉ ｃとすると、図５（Ｂ）に示す２つの三角形の相似関係から、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-I000006
　ｘｉ ｃは、画像座標に射影された点のｘ成分をカメラ座標で示している。同様に、カメラ座標原点から３次元被写体の上記任意点までのｙ軸方向における距離をｙｃ、カメラ座標原点から撮像面における結像の上記３次元被写体の任意点に対応する点までのｙ軸方向における距離をｙｉ ｃすると、以下の式が成り立つ。
　
Figure JPOXMLDOC01-appb-I000007
　ｙｉ ｃは、画像座標に射影された点のｙ成分をカメラ座標で示している。これらを行列で表すと、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000008
　これを同次座標を用いると以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000009
　上記ではカメラ座標におけるある点（ｘｃ，ｙｃ，ｚｃ）を画像座標上の点に射影した場合の画像座標上の点をカメラ座標基準で（ｘｉ ｃ，ｙｉ ｃ）として示したが、実際、カメラ座標と画像座標との間には、
　・光軸（カメラ座標のｚ軸）は画像面の中心を通る訳ではない
　・画像座標（ｘｉ，ｙｉ）でのスケールとカメラ座標（ｘｃ，ｙｃ，ｚｃ）のスケールが異なる
という相違があるため、カメラ座標と画像座標との間には以下のような関係が成立する。
　ｘｉ＝ｋｘ・ｘｉ ｃ＋ｏｘ　…（９）
　ｙｉ＝ｋｙ・ｙｉ ｃ＋ｏｙ　…（１０）
　なお、（ｏｘ，ｏｙ）は画像中心、（ｋｘ，ｋｙ）はカメラ（内視鏡）の画素の有効サイズである。これらを行列を用いて表すと、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000010
　これを同次座標を用いて表すと、以下のように表すことができる。
　
Figure JPOXMLDOC01-appb-I000011
　式（８）と式（１２）より、カメラ座標の任意の点を撮像素子などの画像面に射影した場合の、画像面上の点と上記任意の点との関係は、以下のように導かれる。
　
Figure JPOXMLDOC01-appb-I000012
　上記＜３＞に示した関係は、式（１３）と式（４）から、以下のようになる。
　
Figure JPOXMLDOC01-appb-I000013
　上記内部パラメータ及び外部パラメータにより規定される行列Ｐが、ロボット座標の任意点を画像座標に射影する行列であり射影行列（透視投影行列）Ｐは以下の通りとなる。
　
Figure JPOXMLDOC01-appb-I000014
　［外部パラメータの推定方法］
　上記の３行４列の変換行列Ｐはいわゆるカメラパラメータであり、カメラパラメータ行列は定数倍しても意味が不変であるため、ひとつのパラメータは１に置き換えることができる。例えば、Ｐ３４を１に置き換えると、式（１５）は以下のように表すことができる。
Figure JPOXMLDOC01-appb-I000015
　これを展開すると以下のようになる。
　ｈｘｉ＝Ｐ１１Ｘｒ＋Ｐ１２Ｙｒ＋Ｐ１３Ｚｒ＋Ｐ１４
　ｈｙｉ＝Ｐ２１Ｘｒ＋Ｐ２２Ｙｒ＋Ｐ２３Ｚｒ＋Ｐ２４
　ｈ＝Ｐ３１Ｘｒ＋Ｐ３２Ｙｒ＋Ｐ３３Ｚｒ＋１
　ｈを消去すると、以下のようになる。
　ｘｉ＝ＸｒＰ１１＋ＹｒＰ１２＋ＺｒＰ１３＋Ｐ１４－ＸｒｘｉＰ３１－ＹｒｘｉＰ３２－ＺｒｘｉＰ３３
　ｙｉ＝ＸｒＰ２１＋ＹｒＰ２２＋ＺｒＰ２３＋Ｐ２４－ＸｒｙｉＰ３１－ＹｒｙｉＰ３２－ＺｒｙｉＰ３３
　これを行列方式で記載すると、以下のように表すことができる。
Figure JPOXMLDOC01-appb-I000016
　式（１７）は、行列及びベクトルで、Ａｎ・ｐ＝ｗｎ　…（１８）、と表すことができる。ｎは特徴点の数であり、Ａｎは上記式（１７）の２ｎ行１１列の行列、ｗｎは２ｎ次元ベクトル（ｘｉ１，ｙｉ１，・・・，ｘｉｎ，ｙｉｎ）である。これを、ｍｉｎ｜Ａｎ・ｐ－ｗｎ｜…（１９）、として最小２乗法を用いることにより（重回帰分析を行うことにより）、ベクトルｐを推定することができる。未知数は１１であり、式が２ｎであるから、画像上の点（ｘｉ，ｙｉ）とこれに対応するロボット座標の点（Ｘｒ，Ｙｒ，Ｚｒ）の組を６つ以上準備すれば、Ｐを推定することができる。なお、ベクトルｐの推定方法は重回帰分析に限らず、最尤推定法など他の方法を用いてもよい。
　行列Ｐが推定されると、式（１５）を利用して回転行列Ｒ及び並進ベクトルｔｒを決定することができる。なお、カメラの内部パラメータである画像中心（ｏｘ，ｏｙ）、画素の有効サイズ（ｋｘ，ｋｙ）は内視鏡固有の値であるので用いる内視鏡ごとに具体的な数値を与えればよい。焦点距離ｆについては内視鏡の向きを知るうえで必ずしも必要な情報ではないので、任意の値を与えてもよい。
　ロボット座標とカメラ座標との関係としては、図６及び７に示したように、カメラの外部パラメータである回転行列Ｒと並進ベクトルｔｒで与えられる。これらを用いて入力装置３ａによるエンドエフェクタ９Ｅの直感操作を実現することができるが、カメラ座標に基づいてエンドエフェクタ９Ｅを操作するという点では、少なくとも回転行列Ｒが分かればよい。従って、並進ベクトルｔｒも任意の値を与えてもよいパラメータであるということができる。
　［入力装置とエンドエフェクタの連携］
　カメラ座標とロボット座標とを変換する外部パラメータが推定されると、この外部パラメータを座標の変換行列として用いることにより、入力装置３ａとエンドエフェクタ９Ｅとをマッピングすることができる。
　具体的には、ロボット座標に基づく入力装置３ａの操作をカメラ座標に基づく操作に変換（マッピング）することにより、内視鏡を傾けたり軸回転させても、入力装置３ａによるエンドエフェクタ９Ｅの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ９Ｅの操作が可能となる。
　もしくは、カメラ座標で映し出している画像を、推定した外部パラメータを用いて（回転行列の逆行列を用いて逆回転させて）ロボット座標に変換することにより、内視鏡を傾けたり回転させても、入力装置３ａによるエンドエフェクタ９Ｅの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ９Ｅの操作が可能となる。
　［ロボット手術システムの構成］
　図９は、本構成例に係るロボット手術システム１の構成を示すブロック図である。ロボット手術システム１は、患者側システム２及び操作装置３を備えている。
　内視鏡１０は、例えば内視鏡把持者Ｔによって把持され、体腔内の画像を取得する。取得された画像は、随時、コントローラ６の画像取得部１６を介してモニタ３ｃに伝送され表示される。
　コントローラ６は、画像解析部１１と、記憶部１２と、特徴点空間座標算出部１３と、外部パラメータ推定部１４（座標関係推定部）と、制御ユニット１５と、画像取得部１６と、タイマー１７とを有している。コントローラ６は、ハードウェア・プロセッサ（例えば、ＣＰＵ、ＦＰＧＡ等）及び不揮発性メモリ等で構成される。例えば、ＣＰＵが不揮発性メモリからプログラムを読み出して実行することにより、ハードウェア・プロセッサが、画像解析部１１、記憶部１２、特徴点空間座標算出部１３等を有するコントローラ６として機能する。
　画像解析部１１は、画像内特徴点取得部１１ａと、類似度算出部１１ｂと、判定部１１ｃとを有している。
　図１０は、内視鏡１０によって撮影されてモニタ３ｃに表示される画像Ｐｃｔの一例を示す図である。画像Ｐｃｔには把持鉗子９Ｅが表示されている。
　類似度算出部１１ｂは、予め記憶部１２に記憶されている把持鉗子９Ｅの画像と、内視鏡１０によって得られた画像Ｐｃｔとをパターンマッチング等により比較して類似度を算出し、その類似度に基づき、判定部１１ｃが画像Ｐｃｔ内における把持鉗子９Ｅの有無を判断する。判定部１１ｃにより画像Ｐｃｔ内に把持鉗子９Ｅが含まれていると判定した場合、画像内特徴点取得部１１ａは、画像Ｐｃｔ内における特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３を抽出し、画像座標におけるその特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３の位置座標（ｘｉ，ｙｉ）を取得する。記憶部１２には把持鉗子９Ｅの形状とともに把持鉗子９Ｅのジョーの先端、支点など複数を特徴点の抽出対象として記憶している。そして、例えば、画像内特徴点取得部１１ａは、パターンマッチングにより、把持鉗子９Ｅが有するジョー９ａの各先端部９ｂと、ジョー９ａの支点部分９ｃとを、特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３として抽出する。
　特徴点空間座標算出部１３は、エンコーダＥ３１～Ｅ３６から出力される各リンク２１～２６の位置情報及び姿勢情報に基づいてアーム５の位置及び姿勢を算出し、それに基づいて把持鉗子９Ｅの各特徴点Ｐ１～Ｐ３のロボット座標系における位置座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。
　外部パラメータ推定部１４は、画像内特徴点取得部１１ａから出力された画像座標系における複数の特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３の位置座標（ｘｉ１，ｙｉ１）、（ｘｉ２，ｙｉ２）、（ｘｉ３，ｙｉ３）及び特徴点空間座標算出部１３から出力されたロボット座標系における複数の特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３の位置座標（Ｘｒ１，Ｙｒ１，Ｚｒ１）、（Ｘｒ２，Ｙｒ２，Ｚｒ２）、（Ｘｒ３，Ｙｒ３，Ｚｒ３）に基づき、内視鏡１０の外部パラメータＲ，ｔＲを推定する。
　なお、エンドエフェクタ９Ｅ付近にマーカーＭを設けておき、このマーカーの情報（形、色、材質など）を記憶部１２に記憶させておき、これを画像解析部１１で解析することにより、画像上の特徴点（ｘｉＭ、ｙｉＭ）と、その特徴点に対応するロボット座標（ＸｒＭ、ＹｒＭ、ＺｒＭ）を抽出するようにしてもよい。マーカーはＭ１、Ｍ２、…と複数設けてもよい。マーカーの検出は画像のパターンマッチングのみならず、専用のマーカー検出器により検出してもよい。
　マーカーを用いることで、座標抽出の信頼性を向上することができる。また、マーカーの位置は画像の縁などの認識しやすい場所に限られないため、特徴点の抽出個数を増やすことができる。
　制御ユニット１５は、外部パラメータ推定部１４に記憶されている外部パラメータＲ，ｔｒに基づいて、アーム５を駆動制御する。具体的には、制御ユニット１５は、操作入力部４から入力された、カメラ座標系に基づく動作指令を、外部パラメータＲ，ｔｒを用いてロボット座標系に基づく動作指令に変換する。そして、制御ユニット１５は、ロボット座標系に変換された動作指令に基づいて、サーボモータＭ３１～Ｍ３６を駆動制御する。
　［ロボット手術システムの動作方法］
　図１２は、本構成例に係るロボット手術システム１を用いたロボット手術システムの動作方法に含まれる各工程を示すフローチャートである。以下で説明するロボット手術システムの動作方法には、アーム５に連結された手術器具としての把持鉗子９Ｅを遠隔で操作する手術器具の動作方法が含まれる。
　ステップＳ１では、まず、ロボット手術システム１が起動され、モニタ３ｃに内視鏡１０により捕捉された処置対象Ｋの体腔内部の画像が表示される。術者Ｏは、その画像を見ながら入力装置３ａを操作することにより、把持鉗子９Ｅを動作させることが可能な状態にある。
　ステップＳ２では、エンドエフェクタ９Ｅ位置のキャリブレーションなどのシステムの準備を行う。
　ステップＳ３では、トロカーに手術器具９や内視鏡１０を挿入し、入力装置３ａにより手術器具９を遠隔操作することによって手術を開始する。
　ステップＳ４では、内視鏡１０から得られた画像の画像認識を行い、画像内特徴点取得部１１ａによって、画像Ｐｃｔ中における複数の特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３の画像座標における位置座標（ｘｉ１，ｙｉ２）、（ｘｉ２，ｙｉ２）、（ｘｉ３，ｙｉ３）が取得される。
　ステップＳ５では、特徴点空間座標算出部１３によって、上述した複数の特徴点Ｐｔ１，Ｐｔ２，Ｐｔ３（具体的には、ジョーの２つの先端部９ｂ，９ｂ、及びジョーの支点部分９ｃ）のロボット座標における位置座標（Ｘｒ１，Ｙｒ１，Ｚｒ１）、（Ｘｒ２，Ｙｒ２，Ｚｒ２）、（Ｘｒ３，Ｙｒ３，Ｚｒ３）が、エンコーダＥ３１～Ｅ３６によって得られた各リンク２１～２６の位置情報及び姿勢情報に基づいて算出される。
　ステップＳ６においては、複数の特徴点の組（ｘｉｎ，ｙｉｎ）と（Ｘｒｎ，Ｙｒｎ，Ｚｒｎ）が設定個数以上記憶されたか否かを確認する。上述の通り、収集する特徴点の数（設定個数）は６組以上であり、６組以上記憶されていない場合はＳ４に戻って特徴点の抽出及び記憶を続ける。手術中、エンドエフェクタ９Ｅは頻繁に動作しているから、時系列的に特徴点を抽出することにより、設定個数以上の特徴点の組を記憶することができる。若しくは、図１１に示したように、１つのエンドエフェクタ９Ｅより３つの特徴点を抽出すれば、２つのエンドエフェクタ９Ｅから一度に６点抽出できる。収集する特徴点の数の設定値は、多いほど外部パラメータの推定精度が向上するので、ステップＳ４～ステップＳ６は少なくとも３回くらい繰り返すように特徴点の収集個数を設定しておくことが好ましい。なお、エンドエフェクタ９Ｅが動作していない間は特徴点の数が増えないので、ステップＳ４～ステップＳ６を繰り返す。
　ステップＳ７では入力装置３ａとエンドエフェクタ９Ｅの連携（マッピング）の必要性を確認する。連携条件は様々に設定できるが、本実施例では一定時間の経過を条件とする。例えば、連携条件をタイマー１７の経過１分以上と設定しておくと、ステップＳ６で設定個数以上の特徴点の組が収集され、さらにタイマー１７が１分以上経過している場合にＳ８の外部パラメータの推定ステップへと進む。タイマー１７が１分未満の場合はステップＳ４に戻り、特徴点の抽出を行う。
　このように、連携条件を一定時間の経過とすると、内視鏡のずれによる入力装置３ａとエンドエフェクタ９Ｅとの操作関係のずれを定期的に修正することができる。
　次に、ステップＳ８では、記憶されたｎ個以上の複数の特徴点の組を用いて外部パラメータを推定する。具体的には、式（１９）及び式（１５）を用いて、カメラの外部パラメータＲ，ｔｒを推定する。
　そして、ステップＳ９では、推定されたカメラ座標とロボット座標との相対関係に基づいて、入力装置３ａとエンドエフェクタ９Ｅとがマッピングされる。これにより、ロボット座標に基づく入力装置３ａの操作はカメラ座標に変換されて内視鏡に映し出され、入力装置３ａによるエンドエフェクタ９Ｅの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ９Ｅの操作が可能となる。若しくは、推定した回転行列の逆行列を用いて、内視鏡１０で捕捉された画像を回転させてロボット座標に変換することにより、直感的なエンドエフェクタ９Ｅの操作を可能なものとしてもよい。
　ステップＳ１０では、一時記憶した特徴点とタイマー１７をリセットし、ステップＳ４に戻って特徴点の抽出を行う。そして、ステップＳ６及びステップＳ７での条件を持たすと、外部パラメータを再推定し、入力装置３ａとエンドエフェクタ９Ｅを再推定した外部パラメータによって再マッピングする。
　［変形例１］
　図１３は、第１の変形例に係るロボット手術システム１ａの構成を示すブロック図である。上述の構成例と異なる点について説明し、それ以外の部分については説明を省略する。
　モーションセンサ１８は、内視鏡１０の所定の位置に取り付けられている。モーションセンサ１８は、内視鏡１０の動き（変位量、回転角度等）を検出し、その大きさが所定の閾値以上の場合には、制御ユニット１５を介して外部パラメータ推定部１４に外部パラメータの推定指令を送信する。この外部パラメータ推定指令を外部パラメータ推定部１４が受信していることが、図１２においてステップＳ７からＳ８に進む条件となる。
　以上のように、第１の変形例によれば、内視鏡１０に固定されたモーションセンサ１８で検出された内視鏡１０の動きの大きさに基づいて、外部パラメータの再推定が行われる。内視鏡１０の動きの大きさが所定の閾値未満の場合には、外部パラメータの再推定が行われず、内視鏡１０の動きの大きさが所定の閾値以上の場合には、外部パラメータの再推定が行われる。
　［変形例２］
　本変形例においては、操作装置３に、再推定支持部３ｄを設ける（図９及び図１３参照）。再推定支持部３ｄは、例えば、入力装置３ａ付近に設けられた再推定指示ボタンで構成される。術者Ｏがこの再推定指示ボタンを押すと、制御ユニット１５を介して外部パラメータ推定部１４に外部パラメータの推定指令を送信する。
　この外部パラメータ推定指令を外部パラメータ推定部１４が受信するまでは、図１２においてステップＳ７からＳ８に進まない。そして、外部パラメータ推定指令を外部パラメータ推定部１４が受信すると、Ｓ６でｎ個以上の特徴点が抽出されていなくとも、直ちにステップＳ８に進む。Ｓ８においては、６点以上の特徴点がなければ外部パラメータの推定は行わず、現状の画像表示を行い、６点以上の特徴点がある場合は外部パラメータの推定を行って、Ｓ９へと進む。
　これにより、外部パラメータの推定を術者Ｏのタイミングで行うことができる。なお、本変形例は、上述の構成例及び第１の変形例と同時に用いることができる。
　［共通事項］
　（１）図１４（Ａ）は、立体内視鏡１０ａによって体腔内部を撮影している様子を模式的に示す図であり、図１４（Ｂ）は、立体内視鏡１０ａにおける第１撮影部ａ１で得られた画像Ｐｃｔ１を実線で示すとともに、第２撮影部ａ２で得られた画像Ｐｃｔ２を破線で示した図である。
　内視鏡として立体内視鏡１０ａを用いる場合、外部パラメータ推定部１４に出力される画像座標系における特徴点の位置座標として、各撮影部ａ１，ａ２で得られた特徴点の位置座標の平均値をとったものを採用してもよい。
　具体的には、図１４（Ｂ）を参照して、外部パラメータ推定部１４に出力される特徴点Ｐｔ１の位置座標を、（（ｘｉ１＋ｘｉ４）／２，（ｙｉ１＋ｙｉ４）／２）、とすることができる。同様に、特徴点Ｐｔ２の位置座標を、（（ｘｉ２＋ｘｉ５）／２，（ｙｉ２＋ｙｉ５）／２）とすることができる。同様に、特徴点Ｐｔ３の位置座標を、（（ｘｉ３＋ｘｉ６）／２，（ｙｉ３＋ｙｉ６）／２）とすることができる。
　また、例えば、外部パラメータ推定部１４に出力される特徴点の位置座標として、第１撮影部ａ１又は第２撮影部ａ２の何れかのみで得られた特徴点の位置座標を用いることもできる。
　（２）上述した構成例及び変形例では、エンドエフェクタ９Ｅを動作させる基準としてロボット座標を用いたが、エンドエフェクタ９Ｅを動作させる基準としてワールド座標を用いてもよい。その場合、ロボット座標における位置座標（Ｘｒ，Ｙｒ，Ｚｒ）を、ワールド座標における位置座標（ＸＷ，ＹＷ，ＺＷ）に置き換えて考えればよい。
　さらに、ロボット座標やカメラ座標の全ての基準をワールド座標とし、エンドエフェクタ９Ｅを、ワールド座標からロボット座標に変換されたものを基準として、動作させてもよい。
　ロボット座標やワールド座標のように、入力装置３ａに基づきエンドエフェクタ９Ｅを動作させる基準となる座標を「ロボットに関する座標」と称する。
　［システムへの応用］
　上述した構成例及び変形例では、内視鏡１０は内視鏡把持者Ｔが把持しているが、他の態様でも利用できる。
　図１５は内視鏡１０を手術台のサイドに取り付けられた支持装置としての内視鏡ホルダ３０に保持固定させている場合の概略図である。この内視鏡ホルダ３０では、各リンク部材３１の間に関節３２が設けられていて、各リンク部材３１を手動で所望の姿勢に位置付けることができる。このように、位置や姿勢の情報を検出しない単純な支持装置によって内視鏡が固定されている場合でも、上述した構成例及び変形例を用いて入力装置３ａによるエンドエフェクタ９Ｅの直感的な操作が実現できる。
　図１６は、インストゥルメント９を把持しているロボットアーム５が取り付けられた患者側システム２とは物理的に独立した異なる他の移動機器３５に取り付けられた内視鏡用ロボットアーム３６に内視鏡１０を保持固定させている場合の概略図である。これはいわゆるモジュラー型のロボット手術システムであり、物理的に独立した異なる移動機器２ａ，３５にそれぞれロボットアーム５，３６が設けられ、各移動機器２ａ，３５は小型で、必要な機器だけを必要最小限で利用でき、省スペース化にも有効なシステムである。モジュラー型システムでは、異なる移動機器２ａ，３５に取り付けられたロボットアーム５，３６間での位置連携が必要となるが、上述した構成例及び変形例を利用すれば、異なる移動機器２ａ，３５に取り付けられたロボットアーム５，３６の間で位置連携をせずとも、入力装置３ａによるエンドエフェクタ９Ｅの直感的な操作が実現できる。
　また、上述した構成例及び変形例は内視鏡１０が軟性内視鏡である場合にも有効である。内視鏡１０が軟性内視鏡である場合、内視鏡１０をロボットアームに把持させていても内視鏡１０の先端（レンズ）がどちらの方向を向いているかを検出することができない。また、ジャイロセンサなどを用いて内視鏡１０の先端がどちらの方向を向いているかを検出しようとすると、センサを内視鏡１０の先端付近に取り付ける必要があるが、内視鏡先端にそのようなセンサを取り付けることは体内に挿入する部分である先端部の小型化の妨げとなるし、先端部が重たくなるので操作性も悪くなる。また、センサにより取得した情報を取り出すための配線や手術器具を把持するロボットアームとの連携なども必要となる。これに対して、述した構成例及び変形例では、内視鏡１０から得られた画像情報を用いてソフトウェアで外部パラメータの推定を行うだけなので、そのような不都合は一切なく、低コストでの実現が可能である。
　本発明は上述した構成例や変形例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、入力装置３ａやアーム５の形状や軸構成は例示したものに限られない。
　本発明は、ロボット手術システムに適用することができる。
　１，１ａ　　　　　ロボット手術システム
　２，２ａ　　　　　患者側システム
　３ａ      　　　　　　　　　　入力装置
　５　　　　　　　　　　　アーム（ロボットアーム）
　９　　　　　　　　　　　インストゥルメント（手術器具）
　１０，１０ａ　　　　　　内視鏡（画像捕捉装置）
　１１ａ　　　　　　　　　画像内特徴点取得部
　１３　　　　　　　　　　特徴点空間座標算出部
　１４　　　　　　　　　　外部パラメータ推定部（座標関係推定部）
　Ｅ３１～Ｅ３６　　　　　エンコーダ（位置検出器）
　Ｊ３１～Ｊ３６　　　　　関節

Claims (18)

  1. 　入力装置の操作に基づいて、各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する、手術器具の動作方法であって、
    　画像捕捉装置により捕捉した画像から、該画像内における複数の特徴点の位置座標を取得するステップと、
    　前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出するステップと、
    　前記取得した画像上の複数の前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定するステップとを含む手術器具の動作方法。
  2. 　前記カメラ座標と前記ロボットに関する座標との関係は、前記カメラ座標と前記ロボットに関する座標とに関する回転行列である、請求項１に記載の手術器具の動作方法。
  3. 　前記カメラ座標と前記ロボットに関する座標との関係は、前記カメラ座標と前記ロボットに関する座標とに関する回転行列及び並進ベクトルである、請求項１に記載の手術器具の動作方法。
  4. 　前記推定された前記カメラ座標と前記ロボットに関する座標との関係に基づいて、前記入力装置を前記手術器具のエンドエフェクタにマッピングするステップを更に含む、請求項１乃至３の何れかに記載の手術器具の動作方法。
  5. 　前記推定された前記カメラ座標と前記ロボットに関する座標との関係に基づいて、前記画像捕捉装置で捕捉された前記画像を回転するステップを更に含む、請求項１乃至３の何れかに記載の手術器具の動作方法。
  6. 　前記ロボットに関する座標は、ロボット座標である、請求項１乃至５の何れかに記載の手術器具の動作方法。
  7. 　前記ロボットに関する座標は、ワールド座標系である、請求項１乃至５の何れかに記載の手術器具の動作方法。
  8. 　前記推定は前記特徴点が６点以上取得されたことを条件として行われる、請求項１乃至７の何れかに記載の手術器具の動作方法。
  9. 　前記推定は所定時間周期で行われる、請求項１乃至８の何れかに記載の手術器具の動作方法。
  10. 　複数の前記特徴点の取得は、単一画像における複数の対象を用いて行われる、請求項１乃至９の何れかに記載の手術器具の動作方法。
  11. 　複数の前記特徴点の取得は、複数の時刻のそれぞれで捕捉された前記画像における同一対象を用いて行われる、請求項１乃至１０の何れかに記載の手術器具の動作方法。
  12. 　前記特徴点の取得に用いられる対象は１又は複数の前記手術器具のエンドエフェクタである、請求項１０又は１１に記載の手術器具の動作方法。
  13. 　前記特徴点の取得は、前記画像捕捉装置により捕捉した前記画像内に存在するマーカーを用いて行う、請求項１乃至１２の何れかに記載の手術器具の動作方法。
  14. 　各関節に対応して設けられた位置検出器を有し、手術器具を把持するロボットアームと、
    　画像捕捉装置と、
    　前記画像捕捉装置により捕捉した画像から、該画像内における特徴点を取得する画像内特徴点取得部と、
    　前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出する特徴点空間座標算出部と、
    　前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定する座標関係推定部と、
    　を備えている、ロボット手術システム。
  15. 　前記画像捕捉装置は、前記ロボットアームと位置情報を共有しない支持装置によって支持されている、請求項１４に記載のロボット手術システム。
  16. 　前記画像捕捉装置は軟性内視鏡である、請求項１４に記載のロボット手術システム。
  17. 　前記画像捕捉装置と前記ロボットアームとは、それぞれ物理的に独立した異なる移動機器に備えられている、請求項１４に記載のロボット手術システム。
  18. 　画像捕捉装置により捕捉した画像より取得された複数の特徴点の位置座標と、複数の前記特徴点に対応するロボットに関する座標の座標位置とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係の推定をコンピュータに実行させる、カメラ座標とロボットに関する座標との関係の推定プログラム。
PCT/JP2017/005550 2017-02-15 2017-02-15 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム WO2018150489A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005550 WO2018150489A1 (ja) 2017-02-15 2017-02-15 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005550 WO2018150489A1 (ja) 2017-02-15 2017-02-15 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム

Publications (1)

Publication Number Publication Date
WO2018150489A1 true WO2018150489A1 (ja) 2018-08-23

Family

ID=63170644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005550 WO2018150489A1 (ja) 2017-02-15 2017-02-15 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム

Country Status (1)

Country Link
WO (1) WO2018150489A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000634A (zh) * 2018-10-06 2020-04-14 希森美康株式会社 手术支援机器人的远程支援方法以及远程支援系统
CN112309560A (zh) * 2020-09-27 2021-02-02 深圳精匠云创科技有限公司 远程种植牙方法、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06143161A (ja) * 1992-10-29 1994-05-24 Kobe Steel Ltd マニピュレータの制御方法及びその装置
WO2000060521A1 (en) * 1999-04-07 2000-10-12 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
JP2003181785A (ja) * 2001-12-20 2003-07-02 Yaskawa Electric Corp 遠隔操作装置
JP2003265500A (ja) * 2002-03-15 2003-09-24 Hitachi Ltd 手術支援装置
WO2014156217A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステムとその駆動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06143161A (ja) * 1992-10-29 1994-05-24 Kobe Steel Ltd マニピュレータの制御方法及びその装置
WO2000060521A1 (en) * 1999-04-07 2000-10-12 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
JP2003181785A (ja) * 2001-12-20 2003-07-02 Yaskawa Electric Corp 遠隔操作装置
JP2003265500A (ja) * 2002-03-15 2003-09-24 Hitachi Ltd 手術支援装置
WO2014156217A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステムとその駆動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000634A (zh) * 2018-10-06 2020-04-14 希森美康株式会社 手术支援机器人的远程支援方法以及远程支援系统
CN112309560A (zh) * 2020-09-27 2021-02-02 深圳精匠云创科技有限公司 远程种植牙方法、服务器及存储介质

Similar Documents

Publication Publication Date Title
KR101957302B1 (ko) 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법
CN111315309B (zh) 用于控制机器人操纵器或相关工具的系统和方法
US9801690B2 (en) Synthetic representation of a surgical instrument
JP4916011B2 (ja) マスタ・スレーブ式マニピュレータシステム
JP6284284B2 (ja) ジェスチャ制御を用いるロボットシステム制御用の制御装置及び方法
JP4911701B2 (ja) マスタ・スレーブ式マニピュレータシステム
US9615890B2 (en) Surgical robot system and method of controlling the same
KR102222124B1 (ko) 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템
US8374723B2 (en) Obtaining force information in a minimally invasive surgical procedure
US8594841B2 (en) Visual force feedback in a minimally invasive surgical procedure
WO2018214840A1 (zh) 手术机器人系统及手术器械位置的显示方法
US20160213435A1 (en) Phantom degrees of freedom for manipulating the movement of mechanical bodies
KR20200078422A (ko) 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법
KR20140113209A (ko) 로봇 및 그 제어방법
JP2012529971A (ja) 低侵襲手術のための仮想測定ツール
KR20080027256A (ko) 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
CN113876434A (zh) 主从运动的控制方法、机器人系统、设备及存储介质
WO2022002155A1 (zh) 主从运动的控制方法、机器人系统、设备及存储介质
WO2018150489A1 (ja) 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム
JP2020141833A (ja) 外科手術システムの制御方法および外科手術システム
EP3954319A1 (en) Surgical operation system and method for controlling surgical operation system
Lobontiu et al. Robotic surgery and tele-surgery: Basic principles and description of a novel concept
US20200315740A1 (en) Identification and assignment of instruments in a surgical system using camera recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896859

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896859

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP