WO2018150489A1 - 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム - Google Patents
手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム Download PDFInfo
- Publication number
- WO2018150489A1 WO2018150489A1 PCT/JP2017/005550 JP2017005550W WO2018150489A1 WO 2018150489 A1 WO2018150489 A1 WO 2018150489A1 JP 2017005550 W JP2017005550 W JP 2017005550W WO 2018150489 A1 WO2018150489 A1 WO 2018150489A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- coordinates
- robot
- image
- surgical instrument
- feature points
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Definitions
- the present invention relates to a method for estimating the relationship between camera coordinates and robot coordinates.
- a slave robot arm holds a surgical instrument such as forceps and an endoscope (image capture device), and the operator remotely operates the robot arm by operating the master side input device. The position of the endoscope and surgical instruments was adjusted.
- the operator operates the input device so that the operation of the distal end of the surgical instrument captured by the endoscope matches, and the operator selects the surgical instrument. It is important to secure a sense of intuitive operation.
- Patent Document 2 when the position or angle of the endoscope held by the robot is changed, the relationship between the hand control and the forceps is remapped, and an intuitive operation is performed even when the endoscope is moved. It is described that it can be maintained.
- Patent Document 3 describes that in order to realize an augmented reality surgery support system, the parameters of the projection model are estimated by a perspective endoscope, and the world coordinate system and the image coordinate system are estimated.
- Patent Document 4 in a surgical robot equipped with an endoscope and a tool, the position and posture of the endoscope and the tool, and the position of the feature point based on the mechanism information and the information provided by the sensor provided in the endoscope. Is predicted.
- an endoscope is gripped by a robot arm, and the position and orientation of the endoscope in the robot coordinate system are calculated using kinematics from each axis information of the robot arm, and the conversion ( By mapping the input device to the end effector of the surgical instrument by generating a transformation, the operation of the slave surgical instrument is intuitively performed by operating the master side input device.
- a dedicated endoscope suitable for the robot has been used.
- the method includes the step of obtaining the position coordinates of a plurality of feature points in the image from the image captured by the image capturing device, and the position coordinates of the coordinates corresponding to the plurality of feature points using the position detector.
- the viewpoint of the image capturing device is determined based on the step of calculating the position coordinates of the plurality of feature points on the acquired image and the position coordinates of coordinates relating to the robot corresponding to the plurality of feature points. And estimating the relationship between the camera coordinates and the coordinates relating to the robot.
- the tip of the surgical instrument captured by the image capturing device can be operated intuitively by the input device on the master side.
- FIG. 1 It is the schematic which shows the whole structure of the robotic surgery system which concerns on the structural example of this invention. It is a figure which shows schematic structure of the arm shown in FIG. It is a figure which shows the structural example of an input device. It is a left view of the holding part for right hands, and shows a state when it is actually operated. It is a table
- FIG. 14A is a diagram schematically showing a state in which the inside of the body cavity is imaged by the stereoscopic endoscope, and FIG.
- 14B is an image obtained by the first imaging unit in the stereoscopic endoscope. Is a diagram showing the image obtained by the second imaging unit with a broken line. It is the schematic of the system by which the endoscope is hold
- FIG. 1 is a schematic diagram showing an overall configuration of a robotic surgery system 1 according to a configuration example of the present invention.
- the robot surgical system 1 is a system in which an operator O performs an endoscopic surgical operation on a treatment target K such as a human being or an animal by remotely operating a patient-side system 2 with an operation device 3.
- the robot surgery system 1 includes a patient-side system 2 and an operation device 3 for operating the patient-side system 2 remotely.
- the operator O operates the input device 3a of the operation device 3 to generate an operation command to be performed by the patient side system 2, and the operation command is transmitted to the patient side system 2 through the control unit.
- the patient-side system 2 receives the operation command transmitted from the operating device 3, and operates the instrument (surgical instrument) 9 included in the patient-side system 2 based on the operation command.
- the operating device 3 may be arranged immediately next to the treatment target K so that the treatment target K can be quickly accessed, or may be arranged at a remote location, for example, outside the treatment room.
- the operator O's assistant holds the endoscope 10 as an image capturing device as the endoscope grasper T.
- the endoscope grasper T adjusts the position and orientation of the endoscope 10 so that the inside of the body cavity of the treatment target K is imaged by the endoscope 10.
- the patient-side system 2 includes a positioner 7, a platform 8 attached to the tip of the positioner 7, and a plurality of detachably attached platforms 2 (in this configuration example, two )
- Patient-side manipulator arm also referred to as a robot arm; hereinafter simply referred to as “arm”
- instrument 9 detachably attached to the tip of each arm 5
- controller that controls the operation of the patient-side system 2 6 and is movable with respect to the floor surface.
- FIG. 2 shows a schematic configuration of the arm 5 provided in the patient side system 2. As shown in FIGS. 1 and 2, the arm 5 is configured such that the distal end portion can be moved in a three-dimensional space with respect to the proximal end portion.
- the arm 5 includes a base 20 that is detachably attached to the platform 8, and a first link 21 to a sixth link 26 that are sequentially connected from the base 20 toward the tip. More specifically, the proximal end portion of the first link 21 is connected to the distal end portion of the base 20 via a torsional joint J31. A proximal end portion of the second link 22 is connected to a distal end portion of the first link 21 via a torsional joint J32. The proximal end portion of the third link 23 is connected to the distal end portion of the second link 22 via a bending joint J33. A proximal end portion of the fourth link 24 is connected to a distal end portion of the third link 23 via a torsional joint J34.
- a proximal end portion of the fifth link 25 is connected to a distal end portion of the fourth link 24 via a bending joint J35.
- the proximal end portion of the sixth link 26 is connected to the distal end portion of the fifth link 25 via a torsional joint J36.
- the proximal end portion of the instrument 9 is connected to the distal end portion of the sixth link 26.
- the servomotors M31 to M36 for driving corresponding to the joints J31 to J36, the servomotors M31 to M36 for driving, encoders E31 to E36 (position detectors) for detecting the rotation angles of the servomotors M31 to M36, and Reducers R31 to R36 are provided that decelerate the outputs of the servo motors M31 to M36 to increase the torque.
- the controller 6 has the position and posture of the tip of the arm 5 corresponding to the position and orientation command based on the operation command transmitted from the controller device 3 and the rotation angles detected by the encoders E31 to E36.
- the servomotors M31 to M36 are servo controlled so as to reach.
- At the tip of the instrument (surgical instrument) 9 is an end effector having a moving joint (for example, scissors, grasping forceps (graspers), needle holder (needle holder), monopolar hook, monopolar spatula, bipolar instrument, (E.g., microdissector, stapler, tucker, suction cleaning tool, scalpel, clip applier, etc.) 9E.
- a moving joint for example, scissors, grasping forceps (graspers), needle holder (needle holder), monopolar hook, monopolar spatula, bipolar instrument, (E.g., microdissector, stapler, tucker, suction cleaning tool, scalpel, clip applier, etc.) 9E.
- a grasping forceps grassper
- the operation device 3 constitutes an interface between the robot surgery system 1 and the operator O, and is a device for remotely operating the patient side system 2.
- the operation device 3 is captured by an input device (master controller) 3a for an operator O to input an operation command of the instrument 9, an operation pedal 3b for performing various functions such as a clutch, and the endoscope 10.
- a monitor 3c as a viewer for displaying the captured image.
- the surgeon O manually operates the input device 3a to generate an operation command while visually confirming the inside of the body cavity with the monitor 3c.
- the generated operation command is transmitted to a later-described controller 6 of the patient side system 2 by wire or wireless.
- FIG. 3 is a diagram illustrating a configuration example of the input device (master controller) 3a.
- the input device 3 a includes a plurality of link members 101, 102, 103, 104, an elevating guide 105, and a gripping part 110, each of which is connected by a rotation or rectilinear joint.
- an operating lever 112 is attached to the grip 110 so as to be openable and closable with respect to the grip 110.
- the input device 3a can input a maximum of 8 degrees of freedom.
- the link member 101 and the link member 102 are operated in conjunction with each other, the degree of freedom is reduced, or at least one of the link member 101 and the link member 102 is not provided, so that one or two freedoms are provided. You may reduce the degree.
- FIG. 4 is a left side view of the grip portion 110 showing a state when the input device 3a for the right hand is actually operated.
- the operation of the left-hand input device 3a is substantially the same as that shown in FIG. 4 except that the left-right relationship is reversed with respect to the right-hand operation.
- the operator holds the grip 110b of the holding unit 110 with the right hand and puts the thumb and index finger between the left and right operation levers 112 of the main body link 110a and the protective cover 111. insert.
- the grip portion 110 includes an operation lever 112 for directly instructing the driving amount of the end effector 9E provided at the tip of the instrument 9 via the arm 5 so that the operator can perform an input operation.
- the opening and closing amount of the grasping forceps 9E at the tip of the arm 5 can be directly operated by operating the left and right operation levers 112 of the link 110a of the main body with the thumb and the index finger.
- the grip 110 includes an operation amount detector E that detects the operation amount of the operation lever 112 and a motor M that drives the operation lever 112 (not shown), and is detected by the operation amount detector E. Based on the operation amount of the operation lever 112, it can be reflected in the opening / closing operation of the surgical instrument at the tip of the instrument 9.
- the operator O operates the input device 3a to generate an operation command while visually confirming the inside of the body cavity imaged through the endoscope 10 on the monitor 3c.
- the image inside the body cavity projected through the endoscope 10 is projected with camera coordinates based on the lens of the endoscope 10. Therefore, when the surgeon O operates the end effector 9E by operating the input device 3a while looking at the monitor 3c, the operator O may be operated in an unexpected direction, and an intuitive operation may not be realized.
- the robot arm is made to grasp an endoscope, and kinematics is used in the robot coordinate system from each axis information of the robot arm.
- the position and orientation of the endoscope are calculated, and the input device is mapped to the end effector by generating a transformation (transformation) in response to the calculation.
- FIG. 6 is a diagram schematically showing the relationship among robot coordinates, camera coordinates, and image coordinates, and the relationship between these coordinates can be summarized as follows.
- the robot coordinates and the camera coordinates have a relationship that a certain point of the robot coordinates can be converted into the camera coordinates using an external parameter of the camera (endoscope).
- the camera coordinates and the image coordinates have a relationship that a certain point of the camera coordinates can be projected and converted to a two-dimensional image plane (image coordinates) using the internal parameters of the camera.
- the robot coordinates and the image coordinates have a relationship that a certain point of the robot coordinates can be projected and converted to a two-dimensional image plane (image coordinates) using the external parameters and the internal parameters of the camera.
- the external parameter of the camera represents the position of the camera in the 3D robot coordinates
- the internal parameter of the camera is a value specific to the camera and represents the optical center and the number of pixels.
- FIG. 7 is a schematic diagram showing the relationship between camera coordinates and robot coordinates for explaining the relationship ⁇ 1>.
- the external parameters are composed of a rotation matrix R and a translation vector tr , and conversion between camera coordinates and robot coordinates can be performed by rotating and translating the coordinates using the external parameters.
- the rotation matrix R in the equation (1) has rotation angles around the X, Y, and Z axes in the robot coordinate system as ⁇ , ⁇ , ⁇ , and the respective rotation matrices as R X ⁇ , R Y ⁇ , Assuming R Z ⁇ , it can be expressed as follows.
- the relationship between the robot coordinates and the camera coordinates can be expressed as follows using the homogeneous coordinates as representing the parallel movement after rotation.
- FIG. 8 is a diagram showing a pinhole camera model for explaining the relationship ⁇ 2>.
- the pinhole camera model is a geometric model of image formation by an ideal single lens, and the position of the pinhole is set at the optical center, that is, the center of the lens.
- Arbitrary points on the three-dimensional object travel along a straight line (line of sight) passing through the optical center and form an image at the intersection with the image plane.
- the coordinate system defined by the xy plane that passes through this origin and is perpendicular to the optical axis is defined as the camera coordinate. Become.
- the distance from the camera coordinate origin to an arbitrary point of the three-dimensional object in the z-axis direction is z c
- the distance in the x-axis direction is x c
- the above three-dimensional object for imaging on the imaging surface (imaging device or film) from the camera coordinate origin distance in z-axis direction to a point corresponding to an arbitrary point (focal length) f, when the distance in the x-axis direction is defined as x i c, the similarity relationship between the two triangles shown in FIG. 5 (B), the following The formula holds.
- x i c is the x component of points projected on the image coordinates shown in camera coordinates.
- the distance in the y-axis direction from the camera coordinate origin to the arbitrary point of the three-dimensional subject is y c
- the y-axis from the camera coordinate origin to the point corresponding to the arbitrary point of the three-dimensional subject imaged on the imaging surface the distance in the direction.
- y i c is the y component of points projected on the image coordinates shown in camera coordinates. These can be expressed as a matrix as follows.
- Point in the camera coordinate in the above indicated (x c, y c, z c) a point on the image coordinates in the case of projecting the points on the image coordinates in the camera coordinate reference as (x i c, y i c )
- the optical axis (z axis of the camera coordinates) does not pass through the center of the image plane.
- the scale at the image coordinates (x i , y i ) and the scale of the camera coordinates (x c , y c , z c ) are different. Therefore, the following relationship is established between the camera coordinates and the image coordinates.
- (o x , o y ) is the center of the image
- (k x , k y ) is the effective size of the camera (endoscope) pixel.
- Equation (8) and Equation (12) the relationship between the point on the image plane and the above arbitrary point when an arbitrary point of the camera coordinates is projected onto the image plane such as an image sensor is derived as follows. It is burned.
- the matrix P defined by the internal parameters and the external parameters is a matrix that projects an arbitrary point of the robot coordinates onto the image coordinates, and the projection matrix (perspective projection matrix) P is as follows.
- Equation (15) can be expressed as follows.
- Erasing h is as follows.
- n is the number of feature points, A n is 2n rows 11 columns matrix of the equation (17), the w n is 2n-dimensional vector (x i1, y i1, ⁇ , x in, y in) .
- the vector p can be estimated by using the least square method (by performing multiple regression analysis) as min
- the method for estimating the vector p is not limited to multiple regression analysis, and other methods such as a maximum likelihood estimation method may be used.
- the image center (o x , o y ) and the effective pixel size (k x , k y ), which are internal parameters of the camera, are values inherent to the endoscope. Give it.
- the focal length f is not necessarily information necessary for knowing the direction of the endoscope, and an arbitrary value may be given.
- the relationship between the robot coordinate and the camera coordinate, as shown in FIGS. 6 and 7, given by the translation vector t r and the rotation matrix R is the external parameters of the camera.
- the intuitive operation of the end effector 9E by the input device 3a can be realized using these, at least the rotation matrix R may be known in that the end effector 9E is operated based on the camera coordinates. Therefore, it can be said that the translation vector tr is also a parameter that may be given an arbitrary value.
- the operation of the end effector 9E by the input device 3a can be performed even if the endoscope is tilted or rotated. It is possible to operate the end effector 9E intuitively as if the operation is performed based on the camera coordinates.
- the endoscope image can be tilted or rotated by converting the image shown in the camera coordinates into robot coordinates using the estimated external parameters (reverse rotation using the inverse matrix of the rotation matrix). Intuitive operation of the end effector 9E is possible as if the operation of the end effector 9E by the input device 3a is performed based on the camera coordinates.
- FIG. 9 is a block diagram showing a configuration of the robotic surgery system 1 according to this configuration example.
- the robot surgical system 1 includes a patient side system 2 and an operation device 3.
- the endoscope 10 is grasped by, for example, an endoscope grasper T and acquires an image in the body cavity.
- the acquired image is transmitted and displayed on the monitor 3c via the image acquisition unit 16 of the controller 6 as needed.
- the controller 6 includes an image analysis unit 11, a storage unit 12, a feature point space coordinate calculation unit 13, an external parameter estimation unit 14 (coordinate relationship estimation unit), a control unit 15, an image acquisition unit 16, and a timer 17. And have.
- the controller 6 includes a hardware processor (for example, CPU, FPGA, etc.), a nonvolatile memory, and the like. For example, when the CPU reads a program from the nonvolatile memory and executes it, the hardware processor functions as the controller 6 having the image analysis unit 11, the storage unit 12, the feature point space coordinate calculation unit 13, and the like.
- the image analysis unit 11 includes an in-image feature point acquisition unit 11a, a similarity calculation unit 11b, and a determination unit 11c.
- FIG. 10 is a diagram illustrating an example of an image Pct that is captured by the endoscope 10 and displayed on the monitor 3c. A grasping forceps 9E is displayed in the image Pct.
- the similarity calculation unit 11b calculates the similarity by comparing the image of the grasping forceps 9E stored in the storage unit 12 in advance with the image Pct obtained by the endoscope 10 by pattern matching or the like. Based on the degree, the determination unit 11c determines the presence or absence of the grasping forceps 9E in the image Pct. When the determination unit 11c determines that the grasping forceps 9E is included in the image Pct, the in-image feature point acquisition unit 11a extracts the feature points Pt1, Pt2, and Pt3 in the image Pct, and the feature in the image coordinates. The position coordinates (x i , y i ) of the points Pt1, Pt2, Pt3 are acquired.
- the storage unit 12 stores the shape of the grasping forceps 9E and a plurality of features such as the tips and fulcrums of the jaws of the grasping forceps 9E as feature point extraction targets. Then, for example, the in-image feature point acquisition unit 11a extracts the tip portions 9b of the jaws 9a and the fulcrum portions 9c of the jaws 9a as feature points Pt1, Pt2, and Pt3 by pattern matching. .
- the feature point space coordinate calculation unit 13 calculates the position and posture of the arm 5 based on the position information and posture information of the links 21 to 26 output from the encoders E31 to E36, and based on that, each feature of the grasping forceps 9E.
- the position coordinates (X r , Y r , Z r ) of the points P1 to P3 in the robot coordinate system are calculated.
- the external parameter estimation unit 14 includes position coordinates (x i1 , y i1 ), (x i2 , y i2 ) of a plurality of feature points Pt1, Pt2, Pt3 in the image coordinate system output from the in-image feature point acquisition unit 11a.
- a marker M is provided in the vicinity of the end effector 9E, information (shape, color, material, etc.) of the marker is stored in the storage unit 12, and this is analyzed by the image analysis unit 11 so that the image Feature points (x iM , y iM ) and robot coordinates (X rM , Y rM , Z rM ) corresponding to the feature points may be extracted.
- a plurality of markers such as M 1 , M 2 ,... May be provided. The marker may be detected not only by pattern matching of the image but also by a dedicated marker detector.
- the reliability of coordinate extraction can be improved by using markers. Further, since the position of the marker is not limited to an easily recognizable place such as the edge of the image, the number of extracted feature points can be increased.
- FIG. 12 is a flowchart showing each process included in the operation method of the robotic surgery system using the robotic surgery system 1 according to this configuration example.
- the operation method of the robot surgical system described below includes an operation method of the surgical instrument that remotely operates the grasping forceps 9E as a surgical instrument connected to the arm 5.
- step S1 first, the robotic surgery system 1 is activated, and an image inside the body cavity of the treatment target K captured by the endoscope 10 is displayed on the monitor 3c.
- the surgeon O can operate the grasping forceps 9E by operating the input device 3a while viewing the image.
- step S2 system preparation such as calibration of the position of the end effector 9E is performed.
- step S3 the surgical instrument 9 and the endoscope 10 are inserted into the trocar, and the surgical instrument 9 is remotely operated by the input device 3a to start the operation.
- step S4 image recognition of the image obtained from the endoscope 10 is performed, and the position coordinates (x i1) in the image coordinates of the plurality of feature points Pt1, Pt2, and Pt3 in the image Pct are performed by the in-image feature point acquisition unit 11a. , Y i2 ), (x i2 , y i2 ), (x i3 , y i3 ) are acquired.
- the feature point space coordinate calculation unit 13 causes the robot coordinates of the plurality of feature points Pt1, Pt2, and Pt3 (specifically, the two tip portions 9b and 9b of the jaw and the fulcrum portion 9c of the jaw).
- the position coordinates (X r1 , Y r1 , Z r1 ), (X r2 , Y r2 , Z r2 ) and (X r3 , Y r3 , Z r3 ) at the links 21 to 26 obtained by the encoders E31 to E36 are obtained. Is calculated based on the position information and the posture information.
- step S6 it is confirmed whether or not a plurality of sets of feature points (x in , y in ) and (X rn , Y rn , Z rn ) have been stored for a set number or more.
- the number of feature points to be collected (set number) is 6 sets or more, and when 6 sets or more are not stored, the process returns to S4 to continue extracting and storing the feature points. Since the end effector 9E operates frequently during the operation, a set of feature points equal to or more than the set number can be stored by extracting feature points in time series. Alternatively, as shown in FIG. 11, if three feature points are extracted from one end effector 9E, six points can be extracted from two end effectors 9E at a time.
- steps S4 to S6 are repeated at least three times. Since the number of feature points does not increase while the end effector 9E is not operating, steps S4 to S6 are repeated.
- step S7 the necessity for cooperation (mapping) between the input device 3a and the end effector 9E is confirmed.
- Various linkage conditions can be set, but in this embodiment, a certain time has passed. For example, if the linkage condition is set to be one minute or more after the timer 17 has elapsed, a set of feature points equal to or more than the set number is collected in step S6, and if the timer 17 has passed one minute or more, the external of S8 Proceed to the parameter estimation step. If the timer 17 is less than 1 minute, the process returns to step S4 to extract feature points.
- step S8 an external parameter is estimated using a set of n or more feature points stored. Specifically, using equation (19) and (15), the external parameter R of the camera, estimating a t r.
- step S9 the input device 3a and the end effector 9E are mapped based on the relative relationship between the estimated camera coordinates and robot coordinates.
- the operation of the input device 3a based on the robot coordinates is converted into camera coordinates and displayed on the endoscope, and the operation of the end effector 9E by the input device 3a is performed as if based on the camera coordinates.
- the end effector 9E can be operated.
- an intuitive operation of the end effector 9E may be possible by rotating an image captured by the endoscope 10 and converting it into robot coordinates using an inverse matrix of the estimated rotation matrix.
- step S10 the temporarily stored feature points and timer 17 are reset, and the process returns to step S4 to extract feature points. Then, given the conditions in step S6 and step S7, the external parameters are re-estimated, and the input device 3a and the end effector 9E are re-mapped using the re-estimated external parameters.
- FIG. 13 is a block diagram showing a configuration of the robotic surgery system 1a according to the first modification. Differences from the above configuration example will be described, and description of other parts will be omitted.
- the motion sensor 18 is attached to a predetermined position of the endoscope 10.
- the motion sensor 18 detects the movement (displacement amount, rotation angle, etc.) of the endoscope 10, and when the magnitude is equal to or larger than a predetermined threshold value, the external parameter estimation unit 14 is informed to the external parameter estimation unit 14 via the control unit 15. Send an estimation command.
- the fact that the external parameter estimation unit 14 receives this external parameter estimation command is a condition for proceeding from step S7 to S8 in FIG.
- the external parameter is re-estimated based on the magnitude of the movement of the endoscope 10 detected by the motion sensor 18 fixed to the endoscope 10. .
- the external parameter is not re-estimated.
- Re-estimation is performed.
- the operation device 3 is provided with a re-estimation support portion 3d (see FIGS. 9 and 13).
- the re-estimation support unit 3d is constituted by, for example, a re-estimation instruction button provided in the vicinity of the input device 3a.
- an external parameter estimation command is transmitted to the external parameter estimation unit 14 via the control unit 15.
- step S7 The process does not proceed from step S7 to step S8 in FIG. 12 until the external parameter estimation unit 14 receives this external parameter estimation command.
- the process immediately proceeds to step S8 even if n or more feature points are not extracted in S6.
- step S8 if there are no more than 6 feature points, the external parameters are not estimated, the current image is displayed, and if there are 6 or more feature points, the external parameters are estimated, and the process proceeds to S9. .
- This modification can be used simultaneously with the above-described configuration example and the first modification.
- FIG. 14 (A) is a diagram schematically showing a state in which the inside of a body cavity is imaged by the stereoscopic endoscope 10a
- FIG. 14 (B) is a first imaging unit in the stereoscopic endoscope 10a. It is the figure which showed the image Pct1 obtained by 2nd imaging
- the position coordinates of the feature points obtained by the imaging units a1 and a2 are used as the position coordinates of the feature points in the image coordinate system output to the external parameter estimation unit 14. You may adopt what took the value.
- the position coordinates of the feature point Pt1 output to the external parameter estimation unit 14 are expressed as ((x i1 + x i4 ) / 2, (y i1 + y i4 ) / 2. ).
- the position coordinates of the feature point Pt2 can be ((x i2 + x i5 ) / 2, (y i2 + y i5 ) / 2).
- the position coordinates of the feature point Pt3 can be ((x i3 + x i6 ) / 2, (y i3 + y i6 ) / 2).
- the position coordinates of the feature points output to the external parameter estimation unit 14 can be used.
- robot coordinates are used as a reference for operating the end effector 9E.
- world coordinates may be used as a reference for operating the end effector 9E.
- the position coordinates (X r , Y r , Z r ) in the robot coordinates may be replaced with the position coordinates (X W , Y W , Z W ) in world coordinates.
- coordinates that serve as a reference for operating the end effector 9E based on the input device 3a are referred to as “coordinates related to the robot”.
- the endoscope 10 is held by the endoscope holder T, but may be used in other modes.
- FIG. 15 is a schematic view when the endoscope 10 is held and fixed to an endoscope holder 30 as a support device attached to the side of the operating table.
- an endoscope holder 30 As a support device attached to the side of the operating table.
- a joint 32 is provided between each link member 31, and each link member 31 can be manually positioned in a desired posture.
- the input effector 9E can be intuitively operated by the input device 3a using the above-described configuration example and modification example. Can be realized.
- FIG. 16 shows an internal view of an endoscopic robot arm 36 attached to another mobile device 35 that is physically independent of the patient-side system 2 to which the robot arm 5 that holds the instrument 9 is attached. It is the schematic in the case of holding and fixing the endoscope 10.
- This is a so-called modular robotic surgery system, in which different physically independent mobile devices 2a and 35 are provided with robot arms 5 and 36, respectively, and each mobile device 2a and 35 is small and requires only necessary equipment. It is a system that can be used at a minimum and is also effective in saving space. In the modular system, positional cooperation between the robot arms 5 and 36 attached to the different mobile devices 2a and 35 is required.
- the mobile devices 2a and 35 can be connected to different mobile devices 2a and 35. Intuitive operation of the end effector 9E by the input device 3a can be realized without coordinated position between the attached robot arms 5 and 36.
- the configuration example and the modification example described above are also effective when the endoscope 10 is a flexible endoscope.
- the endoscope 10 is a flexible endoscope, it is impossible to detect which direction the tip (lens) of the endoscope 10 is facing even if the endoscope 10 is held by a robot arm.
- it is attempted to detect in which direction the distal end of the endoscope 10 is directed using a gyro sensor or the like it is necessary to attach the sensor in the vicinity of the distal end of the endoscope 10. Attaching such a sensor hinders the miniaturization of the tip portion which is a portion to be inserted into the body, and the tip portion becomes heavy, so that the operability is also deteriorated.
- the present invention can be applied to a robotic surgery system.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Endoscopes (AREA)
Abstract
本発明は、画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることを目的とする。 入力装置の操作に基づいて各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する手術器具の動作方法は、画像捕捉装置により捕捉した画像から画像内における複数の特徴点の位置座標を取得するステップ(S4)と、位置検出器を用いて複数の特徴点に対応するロボットに関する座標の位置座標を算出するステップ(S5)と、取得した画像上の複数の特徴点の位置座標と、複数の特徴点に対応するロボットに関する座標の位置座標とに基づいて、画像捕捉装置の視点を基準とするカメラ座標とロボットに関する座標との関係を推定するステップ(S8)とを含む。
Description
本発明は、カメラ座標とロボットに関する座標との関係の推定方法に関する。
手術支援ロボットによる手術では、スレーブ側のロボットアームに鉗子などの手術器具と内視鏡(画像捕捉装置)を把持させ、操作者がマスター側の入力装置を操作することによりロボットアームを遠隔操作して内視鏡と手術器具の位置調整を行っていた。そして、このようなマスタースレーブ方式の手術支援ロボットにおいては、操作者による入力装置の操作と内視鏡により捕捉した手術器具先端の動作とが一致するように制御して、操作者が手術器具を直感的に操作している感覚を確保することが重要である。
例えば、特許文献1には、カメラ位置情報、マニピュレータ位置情報、及びハンドコントロール位置情報がそれぞれセンサを用いて検出され、これらの位置情報を用いて座標変換が成され、内視鏡の回転角に応じた画像の回転を行い、エンドエフェクタを備えたマニピュレータが常にハンドコントロールの底部(スクリーンの下半分)に現れるようにすることが記載されている。
特許文献2には、ロボットにより把持された内視鏡の位置や角度を変更した場合に、ハンドコントロールと鉗子の関係を再マッピングするようにし、内視鏡を動かした場合でも直感的な操作を維持できるようにすることが記載されている。
特許文献3には、拡張現実感手術支援システムを実現するために斜視内視鏡において投影モデルのパラメータ推定を行い、ワールド座標系と画像座標系の推定を行うことが記載されている。
特許文献4には、内視鏡及びツールが装着された手術ロボットにおいて、機構学情報及び内視鏡に設けたセンサによる情報に基づいて内視鏡及びツールの位置及び姿勢と、特徴点の位置とを予測することが記載されている。
特許文献2においては、ロボットアームに内視鏡を把持させて、ロボットアームの各軸情報より運動学を用いてロボット座標系における内視鏡の位置及び姿勢を算出し、これに応答した変換(トランスフォーメーション)の生成によって入力装置を手術器具のエンドエフェクタにマッピングすることによりマスター側入力装置の操作によってスレーブ側手術器具の動作を直感的に行っていた。そしてロボットに内視鏡を把持させるために、そのロボットに適合する専用の内視鏡が用いられていた。
ロボットアームに内視鏡を把持させずに直感的操作を実現しようとする場合には、特許文献1、3、及び4に記載のように、内視鏡に位置や姿勢情報を取得するためのセンサを設けてロボットと連携させていた。従って、センサを設ける必要があり、さらにこれをロボットと連携されるシステムを構築する必要があった。
本発明は、画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることを目的とする。
上記目的を達成するための本発明のある局面に係る、入力装置の操作に基づいて、各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する、手術器具の動作方法は、画像捕捉装置により捕捉した画像から、該画像内における複数の特徴点の位置座標を取得するステップと、前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出するステップと、前記取得した画像上の複数の前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定するステップとを含む。
画像捕捉装置の位置や姿勢の情報がない場合であっても、マスター側の入力装置により、画像捕捉装置によって捕捉された手術器具の先端を直感的に動作させることができる。
[ロボット手術システムの概要]
図1は、本発明の構成例に係るロボット手術システム1の全体的な構成を示す概略図である。図1に示すように、ロボット手術システム1は、術者Oが操作装置3により患者側システム2を遠隔操作して人間や動物などの処置対象Kに内視鏡外科手術を施すシステムである。
図1は、本発明の構成例に係るロボット手術システム1の全体的な構成を示す概略図である。図1に示すように、ロボット手術システム1は、術者Oが操作装置3により患者側システム2を遠隔操作して人間や動物などの処置対象Kに内視鏡外科手術を施すシステムである。
ロボット手術システム1は、患者側システム2と、この患者側システム2を遠隔で操作する操作装置3とを備えている。術者Oは操作装置3の入力装置3aを操作することにより患者側システム2に行わせる動作指令を生成し、当該動作指令は制御部を通じて患者側システム2に伝送される。そして、患者側システム2は、操作装置3から伝送された動作指令を受け取り、この動作指令に基づいて、患者側システム2が有するインストゥルメント(手術器具)9を動作させる。なお、操作装置3は処置対象Kに素早くアクセスできるように、処置対象Kのすぐ隣に配置してもよいし、遠く離れた場所、例えば処置室の外に配置しても構わない。
ロボット手術システム1の一実施形態では、術者Oの助手が内視鏡把持者Tとして、画像捕捉装置としての内視鏡10を把持する。内視鏡把持者Tは、内視鏡10によって処置対象Kの体腔内部が撮影されるように、内視鏡10の位置及び向きを調整する。
[患者側システムの構成例]
患者側システム2は、図1に示すように、ポジショナ7と、ポジショナ7の先端部に取り付けられたプラットホーム8と、プラットホーム8に着脱可能に取り付けられた複数の(本構成例の場合、2つの)患者側マニピュレータアーム(ロボットアームともいう。以下、単に「アーム」という)5と、各アーム5の先端部に着脱可能に取り付けられたインストゥルメント9と、患者側システム2の動作を司るコントローラ6を備え、床面に対して移動可能である。
患者側システム2は、図1に示すように、ポジショナ7と、ポジショナ7の先端部に取り付けられたプラットホーム8と、プラットホーム8に着脱可能に取り付けられた複数の(本構成例の場合、2つの)患者側マニピュレータアーム(ロボットアームともいう。以下、単に「アーム」という)5と、各アーム5の先端部に着脱可能に取り付けられたインストゥルメント9と、患者側システム2の動作を司るコントローラ6を備え、床面に対して移動可能である。
図2は、患者側システム2が備えるアーム5の概略構成を示している。図1および図2に示すように、アーム5は、基端部に対し先端部を3次元空間内で移動させることができるように構成されている。
アーム5は、プラットホーム8に着脱可能に取り付けられるベース20と、ベース20から先端部に向けて順次連結された第1リンク21~第6リンク26とを含む。より詳細には、ベース20の先端部に、捩り関節J31を介して第1リンク21の基端部が連結されている。第1リンク21の先端部に、捩り関節J32を介して第2リンク22の基端部が連結されている。第2リンク22の先端部に、曲げ関節J33を介して第3リンク23の基端部が連結されている。第3リンク23の先端部に、捩り関節J34を介して第4リンク24の基端部が連結されている。第4リンク24の先端部に、曲げ関節J35を介して第5リンク25の基端部が連結されている。第5リンク25の先端部に、捩り関節J36を介して第6リンク26の基端部が連結されている。第6リンク26の先端部に、インストゥルメント9の基端部が連結されている。
上記構成のアーム5には、各関節J31~J36に対応して、駆動用のサーボモータM31~M36、サーボモータM31~M36の回転角を検出するエンコーダE31~E36(位置検出器)、および、サーボモータM31~M36の出力を減速させてトルクを増大させる減速機R31~R36が設けられる。
上記構成において、コントローラ6は、操作装置3より伝送された動作指令と、エンコーダE31~E36で検出された回転角とに基づいて、アーム5の先端部が位置姿勢指令と対応する位置および姿勢に到達するように、各サーボモータM31~M36をサーボ制御する。
インストゥルメント(手術器具)9の先端には、動作する関節を有するエンドエフェクタ(たとえば、シザーズ、把持鉗子(グラスパー)、持針器(ニードルホルダ)、モノポーラフック、モノポーラスパチュラ、バイポーラインストゥルメント、マイクロジセクター、ステープラー、タッカー、吸引洗浄ツール、メス、クリップアプライヤーなど)9Eが設けられている。以下では、一例として、インストゥルメント9の先端部分が把持鉗子(グラスパー)である形態を例に説明する。
[操作装置の構成例]
操作装置3は、ロボット手術システム1と術者Oのインターフェースを構成し、患者側システム2を遠隔操作するための装置である。操作装置3は、術者Oがインストゥルメント9の動作指令を入力するための入力装置(マスターコントローラ)3a、クラッチなどの各種機能を行うための操作ペダル3b、及び内視鏡10で捕捉された画像を表示するビューワとしてのモニタ3cを含む。術者Oは、モニタ3cで体腔内部を視認しながら、手動で入力装置3aを操作して動作指令を生成する。生成された動作指令は、有線または無線により患者側システム2の後述するコントローラ6に伝達される。
操作装置3は、ロボット手術システム1と術者Oのインターフェースを構成し、患者側システム2を遠隔操作するための装置である。操作装置3は、術者Oがインストゥルメント9の動作指令を入力するための入力装置(マスターコントローラ)3a、クラッチなどの各種機能を行うための操作ペダル3b、及び内視鏡10で捕捉された画像を表示するビューワとしてのモニタ3cを含む。術者Oは、モニタ3cで体腔内部を視認しながら、手動で入力装置3aを操作して動作指令を生成する。生成された動作指令は、有線または無線により患者側システム2の後述するコントローラ6に伝達される。
[入力装置の構成例]
図3は、入力装置(マスターコントローラ)3aの構成例を示す図である。 図3に示すように、入力装置3aは、複数のリンク部材101,102,103,104と、昇降ガイド105と、把持部110と含み、それぞれが回転または直進ジョイントで連結されている。また、把持部110には、さらに、把持部110に対して開閉可能に連結された操作レバー112が取り付けられている。このような構成により、入力装置3aは、最大8自由度の入力が可能となっている。
図3は、入力装置(マスターコントローラ)3aの構成例を示す図である。 図3に示すように、入力装置3aは、複数のリンク部材101,102,103,104と、昇降ガイド105と、把持部110と含み、それぞれが回転または直進ジョイントで連結されている。また、把持部110には、さらに、把持部110に対して開閉可能に連結された操作レバー112が取り付けられている。このような構成により、入力装置3aは、最大8自由度の入力が可能となっている。
なお、たとえば、リンク部材101とリンク部材102とを連動して動作させることにより自由度を減らしたり、リンク部材101およびリンク部材102の少なくともいずれか1つを設けないことにより、1または2の自由度を減らしてもよい。
図4は、右手用の入力装置3aが実際に操作される際の様子を示す把持部110の左側面図である。左手用の入力装置3aの動作は、右手用の動作に対して左右の関係が逆転するだけで実質的な動作は図4に示すものと同様である。図4に示すように、入力操作に際して、操作者は、右手で把持部110のグリップ110bを把持するとともに、親指と人差し指を、本体のリンク110aの左右の操作レバー112と保護カバー111の間に挿入する。
把持部110は、アーム5を介してインストゥルメント9の先端に設けられたエンドエフェクタ9Eの駆動量を直接的に指令するための操作レバー112を備えることにより、操作者は、入力操作の際に、親指と人差し指で、本体のリンク110aの左右の操作レバー112を操作して、アーム5先端の把持鉗子9Eの開閉量を直接的に操作することができる。
また、把持部110は、操作レバー112の操作量を検出する操作量検出器Eと、操作レバー112を駆動するモータMを備えることにより(図示せず)、操作量検出器Eで検出された操作レバー112の操作量に基づいて、インストゥルメント9先端の術具の開閉動作に反映させることができる。
上記構成のロボット手術システム1では、術者Oがモニタ3cで内視鏡10を通して映された体腔内部を視認しながら入力装置3aを操作して動作指令を生成する。
しかしながら、入力装置3a及びエンドエフェクタ9Eはロボット座標で操作されるのに対し、内視鏡10を通して映される体腔内部の映像は内視鏡10のレンズを基準としたカメラ座標で映されることから、術者Oがモニタ3cを見ながら入力装置3aの操作によりエンドエフェクタ9Eを操作した場合、意に反した方向に操作され、直感的な操作が実現できない場合がある。
例えば図5に示すように、内視鏡がロボット座標を基準として水平となっている場合、入力装置の操作に対するエンドエフェクタ9Eの運動に差はないが、内視鏡が時計回りに90°回転したとき、カメラ座標におけるインストゥルメント9の動きを基準とすると、インストゥルメント9がロボット座標に従って動作する場合、術者Oによる入力装置3aの左右の操作がエンドエフェクタ9Eの上下運動を引き起こすように見える。
上述の特許文献2では、このような問題を解決して直感性を担保するためにロボットアームに内視鏡を把持させて、ロボットアームの各軸情報より運動学を用いてロボット座標系における内視鏡の位置及び姿勢を算出し、これに応答した変換(トランスフォーメーション)の生成によって入力装置をエンドエフェクタにマッピングしていた。
しかし、図1に示したようにロボットアームではなく内視鏡把持者Tが内視鏡を把持している場合、内視鏡がロボットアームではなく単純な支持装置で固定されている場合、内視鏡がロボットアームで把持されていても患者側システム2とは異なるシステムであり内視鏡を把持しているロボットアームと患者側システムとが位置及び姿勢の情報を交換していない場合、又は内視鏡がロボットアームで把持されていても内視鏡が軟性内視鏡であり内視鏡先端のレンズの向き及び姿勢が把握できない場合などにおいては、上記特許文献2のような方法で直感性を担保することができず、内視鏡先端に角度センサを設けて入力装置と連携させるなど別の対応をしなければならない。
以下では、内視鏡がロボットに把持されていない場合であっても、また内視鏡にセンサを設けられていない場合であっても、入力装置3aによるエンドエフェクタ9Eの直感操作が可能なように、カメラ座標とロボットに関する座標との関係を推定する方法を説明する。
[画像座標における位置座標とロボット座標における位置座標との関係]
ロボット座標における任意の点の位置座標(Xr,Yr,Zr)と、ロボット座標における当該点を内視鏡で捕捉し2次元画像上に映し出された点の位置座標(xi,yi)との関係を示す式の導出過程について、順を追って説明する。
ロボット座標における任意の点の位置座標(Xr,Yr,Zr)と、ロボット座標における当該点を内視鏡で捕捉し2次元画像上に映し出された点の位置座標(xi,yi)との関係を示す式の導出過程について、順を追って説明する。
図6は、ロボット座標、カメラ座標、及び画像座標の間の関係を模式的に示した図であり、これらの座標の関係は以下のように要約できる。
<1>ロボット座標とカメラ座標とは、ロボット座標のある点がカメラ(内視鏡)の外部パラメーターを用いてカメラ座標に変換できるという関係にある。
<2>カメラ座標と画像座標とは、カメラ座標のある点がカメラの内部パラメーターを用いて2次元のイメージ平面(画像座標)への射影変換をすることができるという関係にある。
<3>ロボット座標と画像座標とは、ロボット座標のある点がカメラの外部パラメーター及び内部パラメーターを用いて2次元のイメージ平面(画像座標)への射影変換をすることができるという関係にある。
<1>ロボット座標とカメラ座標とは、ロボット座標のある点がカメラ(内視鏡)の外部パラメーターを用いてカメラ座標に変換できるという関係にある。
<2>カメラ座標と画像座標とは、カメラ座標のある点がカメラの内部パラメーターを用いて2次元のイメージ平面(画像座標)への射影変換をすることができるという関係にある。
<3>ロボット座標と画像座標とは、ロボット座標のある点がカメラの外部パラメーター及び内部パラメーターを用いて2次元のイメージ平面(画像座標)への射影変換をすることができるという関係にある。
カメラの外部パラメーターは3次元ロボット座標におけるカメラの位置を表し、カメラの内部パラメーターはカメラ固有の値で、光学的中心や画素数を表す。
図7は、上記<1>の関係を説明するための、カメラ座標とロボット座標との関係を示す模式図である。外部パラメーターは、回転行列Rと並進ベクトルtrで構成され、カメラ座標とロボット座標との間の変換は、外部パラメーターを用いて座標の回転及び平行移動を行うことにより可能である。例えば、ロボット座標における任意点の位置をベクトルmr=(Xr、Yr、Zr)で示し、カメラ座標における前記任意点の位置をベクトルmc=(xc、yc、zc)で示した場合、ベクトルmrとベクトルmcとの関係は、回転行列R及び平行移動を表すベクトルtrを用いて以下の式で表すことができる。
mc=Rmr+tr …(1)
式(1)及び図7におけるベクトルtrは、ロボット座標の原点を基準とした、カメラ座標の原点へのベクトルで示したものであり、以下のように表すことができる。
また、X軸まわり、Y軸まわり、Z軸まわりの一般的な回転行列RX、RY、RZは、
であるから、式(1)における回転行列Rは、ロボット座標系におけるX軸、Y軸、Z軸回りの回転角をγ、β、α、それぞれの回転行列をRX
γ、RY
β、RZ
αとすると、以下のように表すことができる。
以上より、ロボット座標とカメラ座標の関係は、回転後平行移動を表すものとして、同次座標を用いると、以下のように表すことができる。
図8は、上記<2>の関係を説明するための、ピンホールカメラモデルを示す図である。ピンホールカメラモデルとは、理想的な単レンズによる結像の幾何学的なモデルであり、ピンホールの位置を光学中心、すなわちレンズの中心にとる。3次元被写体の任意の点は、光学中心を通る直線(視線)に沿って進んで画像面と交わったところに像を結ぶ。光学中心を原点とし、z軸をレンズの中心を通りレンズ面と直交する方向(光軸)にとり、この原点を通って光軸に垂直なx-y平面で規定される座標系がカメラ座標となる。カメラ座標原点から3次元被写体の任意点までのz軸方向における距離をzc、x軸方向における距離をxc、カメラ座標原点から撮像面(撮像素子やフィルム)における結像の上記3次元被写体の任意点に対応する点までのz軸方向における距離(焦点距離)をf、x軸方向における距離をxi
cとすると、図5(B)に示す2つの三角形の相似関係から、以下の式が成り立つ。
xi
cは、画像座標に射影された点のx成分をカメラ座標で示している。同様に、カメラ座標原点から3次元被写体の上記任意点までのy軸方向における距離をyc、カメラ座標原点から撮像面における結像の上記3次元被写体の任意点に対応する点までのy軸方向における距離をyi
cすると、以下の式が成り立つ。
yi
cは、画像座標に射影された点のy成分をカメラ座標で示している。これらを行列で表すと、以下のように表すことができる。
これを同次座標を用いると以下のように表すことができる。
上記ではカメラ座標におけるある点(xc,yc,zc)を画像座標上の点に射影した場合の画像座標上の点をカメラ座標基準で(xi
c,yi
c)として示したが、実際、カメラ座標と画像座標との間には、
・光軸(カメラ座標のz軸)は画像面の中心を通る訳ではない
・画像座標(xi,yi)でのスケールとカメラ座標(xc,yc,zc)のスケールが異なる
という相違があるため、カメラ座標と画像座標との間には以下のような関係が成立する。
・光軸(カメラ座標のz軸)は画像面の中心を通る訳ではない
・画像座標(xi,yi)でのスケールとカメラ座標(xc,yc,zc)のスケールが異なる
という相違があるため、カメラ座標と画像座標との間には以下のような関係が成立する。
xi=kx・xi
c+ox …(9)
yi=ky・yi c+oy …(10)
yi=ky・yi c+oy …(10)
なお、(ox,oy)は画像中心、(kx,ky)はカメラ(内視鏡)の画素の有効サイズである。これらを行列を用いて表すと、以下のように表すことができる。
これを同次座標を用いて表すと、以下のように表すことができる。
式(8)と式(12)より、カメラ座標の任意の点を撮像素子などの画像面に射影した場合の、画像面上の点と上記任意の点との関係は、以下のように導かれる。
上記<3>に示した関係は、式(13)と式(4)から、以下のようになる。
上記内部パラメータ及び外部パラメータにより規定される行列Pが、ロボット座標の任意点を画像座標に射影する行列であり射影行列(透視投影行列)Pは以下の通りとなる。
[外部パラメータの推定方法]
上記の3行4列の変換行列Pはいわゆるカメラパラメータであり、カメラパラメータ行列は定数倍しても意味が不変であるため、ひとつのパラメータは1に置き換えることができる。例えば、P34を1に置き換えると、式(15)は以下のように表すことができる。
上記の3行4列の変換行列Pはいわゆるカメラパラメータであり、カメラパラメータ行列は定数倍しても意味が不変であるため、ひとつのパラメータは1に置き換えることができる。例えば、P34を1に置き換えると、式(15)は以下のように表すことができる。
これを展開すると以下のようになる。
hxi=P11Xr+P12Yr+P13Zr+P14
hyi=P21Xr+P22Yr+P23Zr+P24
h=P31Xr+P32Yr+P33Zr+1
hyi=P21Xr+P22Yr+P23Zr+P24
h=P31Xr+P32Yr+P33Zr+1
hを消去すると、以下のようになる。
xi=XrP11+YrP12+ZrP13+P14-XrxiP31-YrxiP32-ZrxiP33
yi=XrP21+YrP22+ZrP23+P24-XryiP31-YryiP32-ZryiP33
yi=XrP21+YrP22+ZrP23+P24-XryiP31-YryiP32-ZryiP33
これを行列方式で記載すると、以下のように表すことができる。
式(17)は、行列及びベクトルで、An・p=wn …(18)、と表すことができる。nは特徴点の数であり、Anは上記式(17)の2n行11列の行列、wnは2n次元ベクトル(xi1,yi1,・・・,xin,yin)である。これを、min|An・p-wn|…(19)、として最小2乗法を用いることにより(重回帰分析を行うことにより)、ベクトルpを推定することができる。未知数は11であり、式が2nであるから、画像上の点(xi,yi)とこれに対応するロボット座標の点(Xr,Yr,Zr)の組を6つ以上準備すれば、Pを推定することができる。なお、ベクトルpの推定方法は重回帰分析に限らず、最尤推定法など他の方法を用いてもよい。
行列Pが推定されると、式(15)を利用して回転行列R及び並進ベクトルtrを決定することができる。なお、カメラの内部パラメータである画像中心(ox,oy)、画素の有効サイズ(kx,ky)は内視鏡固有の値であるので用いる内視鏡ごとに具体的な数値を与えればよい。焦点距離fについては内視鏡の向きを知るうえで必ずしも必要な情報ではないので、任意の値を与えてもよい。
ロボット座標とカメラ座標との関係としては、図6及び7に示したように、カメラの外部パラメータである回転行列Rと並進ベクトルtrで与えられる。これらを用いて入力装置3aによるエンドエフェクタ9Eの直感操作を実現することができるが、カメラ座標に基づいてエンドエフェクタ9Eを操作するという点では、少なくとも回転行列Rが分かればよい。従って、並進ベクトルtrも任意の値を与えてもよいパラメータであるということができる。
[入力装置とエンドエフェクタの連携]
カメラ座標とロボット座標とを変換する外部パラメータが推定されると、この外部パラメータを座標の変換行列として用いることにより、入力装置3aとエンドエフェクタ9Eとをマッピングすることができる。
カメラ座標とロボット座標とを変換する外部パラメータが推定されると、この外部パラメータを座標の変換行列として用いることにより、入力装置3aとエンドエフェクタ9Eとをマッピングすることができる。
具体的には、ロボット座標に基づく入力装置3aの操作をカメラ座標に基づく操作に変換(マッピング)することにより、内視鏡を傾けたり軸回転させても、入力装置3aによるエンドエフェクタ9Eの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ9Eの操作が可能となる。
もしくは、カメラ座標で映し出している画像を、推定した外部パラメータを用いて(回転行列の逆行列を用いて逆回転させて)ロボット座標に変換することにより、内視鏡を傾けたり回転させても、入力装置3aによるエンドエフェクタ9Eの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ9Eの操作が可能となる。
[ロボット手術システムの構成]
図9は、本構成例に係るロボット手術システム1の構成を示すブロック図である。ロボット手術システム1は、患者側システム2及び操作装置3を備えている。
図9は、本構成例に係るロボット手術システム1の構成を示すブロック図である。ロボット手術システム1は、患者側システム2及び操作装置3を備えている。
内視鏡10は、例えば内視鏡把持者Tによって把持され、体腔内の画像を取得する。取得された画像は、随時、コントローラ6の画像取得部16を介してモニタ3cに伝送され表示される。
コントローラ6は、画像解析部11と、記憶部12と、特徴点空間座標算出部13と、外部パラメータ推定部14(座標関係推定部)と、制御ユニット15と、画像取得部16と、タイマー17とを有している。コントローラ6は、ハードウェア・プロセッサ(例えば、CPU、FPGA等)及び不揮発性メモリ等で構成される。例えば、CPUが不揮発性メモリからプログラムを読み出して実行することにより、ハードウェア・プロセッサが、画像解析部11、記憶部12、特徴点空間座標算出部13等を有するコントローラ6として機能する。
画像解析部11は、画像内特徴点取得部11aと、類似度算出部11bと、判定部11cとを有している。
図10は、内視鏡10によって撮影されてモニタ3cに表示される画像Pctの一例を示す図である。画像Pctには把持鉗子9Eが表示されている。
類似度算出部11bは、予め記憶部12に記憶されている把持鉗子9Eの画像と、内視鏡10によって得られた画像Pctとをパターンマッチング等により比較して類似度を算出し、その類似度に基づき、判定部11cが画像Pct内における把持鉗子9Eの有無を判断する。判定部11cにより画像Pct内に把持鉗子9Eが含まれていると判定した場合、画像内特徴点取得部11aは、画像Pct内における特徴点Pt1,Pt2,Pt3を抽出し、画像座標におけるその特徴点Pt1,Pt2,Pt3の位置座標(xi,yi)を取得する。記憶部12には把持鉗子9Eの形状とともに把持鉗子9Eのジョーの先端、支点など複数を特徴点の抽出対象として記憶している。そして、例えば、画像内特徴点取得部11aは、パターンマッチングにより、把持鉗子9Eが有するジョー9aの各先端部9bと、ジョー9aの支点部分9cとを、特徴点Pt1,Pt2,Pt3として抽出する。
特徴点空間座標算出部13は、エンコーダE31~E36から出力される各リンク21~26の位置情報及び姿勢情報に基づいてアーム5の位置及び姿勢を算出し、それに基づいて把持鉗子9Eの各特徴点P1~P3のロボット座標系における位置座標(Xr,Yr,Zr)を算出する。
外部パラメータ推定部14は、画像内特徴点取得部11aから出力された画像座標系における複数の特徴点Pt1,Pt2,Pt3の位置座標(xi1,yi1)、(xi2,yi2)、(xi3,yi3)及び特徴点空間座標算出部13から出力されたロボット座標系における複数の特徴点Pt1,Pt2,Pt3の位置座標(Xr1,Yr1,Zr1)、(Xr2,Yr2,Zr2)、(Xr3,Yr3,Zr3)に基づき、内視鏡10の外部パラメータR,tRを推定する。
なお、エンドエフェクタ9E付近にマーカーMを設けておき、このマーカーの情報(形、色、材質など)を記憶部12に記憶させておき、これを画像解析部11で解析することにより、画像上の特徴点(xiM、yiM)と、その特徴点に対応するロボット座標(XrM、YrM、ZrM)を抽出するようにしてもよい。マーカーはM1、M2、…と複数設けてもよい。マーカーの検出は画像のパターンマッチングのみならず、専用のマーカー検出器により検出してもよい。
マーカーを用いることで、座標抽出の信頼性を向上することができる。また、マーカーの位置は画像の縁などの認識しやすい場所に限られないため、特徴点の抽出個数を増やすことができる。
制御ユニット15は、外部パラメータ推定部14に記憶されている外部パラメータR,trに基づいて、アーム5を駆動制御する。具体的には、制御ユニット15は、操作入力部4から入力された、カメラ座標系に基づく動作指令を、外部パラメータR,trを用いてロボット座標系に基づく動作指令に変換する。そして、制御ユニット15は、ロボット座標系に変換された動作指令に基づいて、サーボモータM31~M36を駆動制御する。
[ロボット手術システムの動作方法]
図12は、本構成例に係るロボット手術システム1を用いたロボット手術システムの動作方法に含まれる各工程を示すフローチャートである。以下で説明するロボット手術システムの動作方法には、アーム5に連結された手術器具としての把持鉗子9Eを遠隔で操作する手術器具の動作方法が含まれる。
図12は、本構成例に係るロボット手術システム1を用いたロボット手術システムの動作方法に含まれる各工程を示すフローチャートである。以下で説明するロボット手術システムの動作方法には、アーム5に連結された手術器具としての把持鉗子9Eを遠隔で操作する手術器具の動作方法が含まれる。
ステップS1では、まず、ロボット手術システム1が起動され、モニタ3cに内視鏡10により捕捉された処置対象Kの体腔内部の画像が表示される。術者Oは、その画像を見ながら入力装置3aを操作することにより、把持鉗子9Eを動作させることが可能な状態にある。
ステップS2では、エンドエフェクタ9E位置のキャリブレーションなどのシステムの準備を行う。
ステップS3では、トロカーに手術器具9や内視鏡10を挿入し、入力装置3aにより手術器具9を遠隔操作することによって手術を開始する。
ステップS4では、内視鏡10から得られた画像の画像認識を行い、画像内特徴点取得部11aによって、画像Pct中における複数の特徴点Pt1,Pt2,Pt3の画像座標における位置座標(xi1,yi2)、(xi2,yi2)、(xi3,yi3)が取得される。
ステップS5では、特徴点空間座標算出部13によって、上述した複数の特徴点Pt1,Pt2,Pt3(具体的には、ジョーの2つの先端部9b,9b、及びジョーの支点部分9c)のロボット座標における位置座標(Xr1,Yr1,Zr1)、(Xr2,Yr2,Zr2)、(Xr3,Yr3,Zr3)が、エンコーダE31~E36によって得られた各リンク21~26の位置情報及び姿勢情報に基づいて算出される。
ステップS6においては、複数の特徴点の組(xin,yin)と(Xrn,Yrn,Zrn)が設定個数以上記憶されたか否かを確認する。上述の通り、収集する特徴点の数(設定個数)は6組以上であり、6組以上記憶されていない場合はS4に戻って特徴点の抽出及び記憶を続ける。手術中、エンドエフェクタ9Eは頻繁に動作しているから、時系列的に特徴点を抽出することにより、設定個数以上の特徴点の組を記憶することができる。若しくは、図11に示したように、1つのエンドエフェクタ9Eより3つの特徴点を抽出すれば、2つのエンドエフェクタ9Eから一度に6点抽出できる。収集する特徴点の数の設定値は、多いほど外部パラメータの推定精度が向上するので、ステップS4~ステップS6は少なくとも3回くらい繰り返すように特徴点の収集個数を設定しておくことが好ましい。なお、エンドエフェクタ9Eが動作していない間は特徴点の数が増えないので、ステップS4~ステップS6を繰り返す。
ステップS7では入力装置3aとエンドエフェクタ9Eの連携(マッピング)の必要性を確認する。連携条件は様々に設定できるが、本実施例では一定時間の経過を条件とする。例えば、連携条件をタイマー17の経過1分以上と設定しておくと、ステップS6で設定個数以上の特徴点の組が収集され、さらにタイマー17が1分以上経過している場合にS8の外部パラメータの推定ステップへと進む。タイマー17が1分未満の場合はステップS4に戻り、特徴点の抽出を行う。
このように、連携条件を一定時間の経過とすると、内視鏡のずれによる入力装置3aとエンドエフェクタ9Eとの操作関係のずれを定期的に修正することができる。
次に、ステップS8では、記憶されたn個以上の複数の特徴点の組を用いて外部パラメータを推定する。具体的には、式(19)及び式(15)を用いて、カメラの外部パラメータR,trを推定する。
そして、ステップS9では、推定されたカメラ座標とロボット座標との相対関係に基づいて、入力装置3aとエンドエフェクタ9Eとがマッピングされる。これにより、ロボット座標に基づく入力装置3aの操作はカメラ座標に変換されて内視鏡に映し出され、入力装置3aによるエンドエフェクタ9Eの操作をあたかもカメラ座標に基づいて行っているかのような、直感的なエンドエフェクタ9Eの操作が可能となる。若しくは、推定した回転行列の逆行列を用いて、内視鏡10で捕捉された画像を回転させてロボット座標に変換することにより、直感的なエンドエフェクタ9Eの操作を可能なものとしてもよい。
ステップS10では、一時記憶した特徴点とタイマー17をリセットし、ステップS4に戻って特徴点の抽出を行う。そして、ステップS6及びステップS7での条件を持たすと、外部パラメータを再推定し、入力装置3aとエンドエフェクタ9Eを再推定した外部パラメータによって再マッピングする。
[変形例1]
図13は、第1の変形例に係るロボット手術システム1aの構成を示すブロック図である。上述の構成例と異なる点について説明し、それ以外の部分については説明を省略する。
図13は、第1の変形例に係るロボット手術システム1aの構成を示すブロック図である。上述の構成例と異なる点について説明し、それ以外の部分については説明を省略する。
モーションセンサ18は、内視鏡10の所定の位置に取り付けられている。モーションセンサ18は、内視鏡10の動き(変位量、回転角度等)を検出し、その大きさが所定の閾値以上の場合には、制御ユニット15を介して外部パラメータ推定部14に外部パラメータの推定指令を送信する。この外部パラメータ推定指令を外部パラメータ推定部14が受信していることが、図12においてステップS7からS8に進む条件となる。
以上のように、第1の変形例によれば、内視鏡10に固定されたモーションセンサ18で検出された内視鏡10の動きの大きさに基づいて、外部パラメータの再推定が行われる。内視鏡10の動きの大きさが所定の閾値未満の場合には、外部パラメータの再推定が行われず、内視鏡10の動きの大きさが所定の閾値以上の場合には、外部パラメータの再推定が行われる。
[変形例2]
本変形例においては、操作装置3に、再推定支持部3dを設ける(図9及び図13参照)。再推定支持部3dは、例えば、入力装置3a付近に設けられた再推定指示ボタンで構成される。術者Oがこの再推定指示ボタンを押すと、制御ユニット15を介して外部パラメータ推定部14に外部パラメータの推定指令を送信する。
本変形例においては、操作装置3に、再推定支持部3dを設ける(図9及び図13参照)。再推定支持部3dは、例えば、入力装置3a付近に設けられた再推定指示ボタンで構成される。術者Oがこの再推定指示ボタンを押すと、制御ユニット15を介して外部パラメータ推定部14に外部パラメータの推定指令を送信する。
この外部パラメータ推定指令を外部パラメータ推定部14が受信するまでは、図12においてステップS7からS8に進まない。そして、外部パラメータ推定指令を外部パラメータ推定部14が受信すると、S6でn個以上の特徴点が抽出されていなくとも、直ちにステップS8に進む。S8においては、6点以上の特徴点がなければ外部パラメータの推定は行わず、現状の画像表示を行い、6点以上の特徴点がある場合は外部パラメータの推定を行って、S9へと進む。
これにより、外部パラメータの推定を術者Oのタイミングで行うことができる。なお、本変形例は、上述の構成例及び第1の変形例と同時に用いることができる。
[共通事項]
(1)図14(A)は、立体内視鏡10aによって体腔内部を撮影している様子を模式的に示す図であり、図14(B)は、立体内視鏡10aにおける第1撮影部a1で得られた画像Pct1を実線で示すとともに、第2撮影部a2で得られた画像Pct2を破線で示した図である。
(1)図14(A)は、立体内視鏡10aによって体腔内部を撮影している様子を模式的に示す図であり、図14(B)は、立体内視鏡10aにおける第1撮影部a1で得られた画像Pct1を実線で示すとともに、第2撮影部a2で得られた画像Pct2を破線で示した図である。
内視鏡として立体内視鏡10aを用いる場合、外部パラメータ推定部14に出力される画像座標系における特徴点の位置座標として、各撮影部a1,a2で得られた特徴点の位置座標の平均値をとったものを採用してもよい。
具体的には、図14(B)を参照して、外部パラメータ推定部14に出力される特徴点Pt1の位置座標を、((xi1+xi4)/2,(yi1+yi4)/2)、とすることができる。同様に、特徴点Pt2の位置座標を、((xi2+xi5)/2,(yi2+yi5)/2)とすることができる。同様に、特徴点Pt3の位置座標を、((xi3+xi6)/2,(yi3+yi6)/2)とすることができる。
また、例えば、外部パラメータ推定部14に出力される特徴点の位置座標として、第1撮影部a1又は第2撮影部a2の何れかのみで得られた特徴点の位置座標を用いることもできる。
(2)上述した構成例及び変形例では、エンドエフェクタ9Eを動作させる基準としてロボット座標を用いたが、エンドエフェクタ9Eを動作させる基準としてワールド座標を用いてもよい。その場合、ロボット座標における位置座標(Xr,Yr,Zr)を、ワールド座標における位置座標(XW,YW,ZW)に置き換えて考えればよい。
さらに、ロボット座標やカメラ座標の全ての基準をワールド座標とし、エンドエフェクタ9Eを、ワールド座標からロボット座標に変換されたものを基準として、動作させてもよい。
ロボット座標やワールド座標のように、入力装置3aに基づきエンドエフェクタ9Eを動作させる基準となる座標を「ロボットに関する座標」と称する。
[システムへの応用]
上述した構成例及び変形例では、内視鏡10は内視鏡把持者Tが把持しているが、他の態様でも利用できる。
上述した構成例及び変形例では、内視鏡10は内視鏡把持者Tが把持しているが、他の態様でも利用できる。
図15は内視鏡10を手術台のサイドに取り付けられた支持装置としての内視鏡ホルダ30に保持固定させている場合の概略図である。この内視鏡ホルダ30では、各リンク部材31の間に関節32が設けられていて、各リンク部材31を手動で所望の姿勢に位置付けることができる。このように、位置や姿勢の情報を検出しない単純な支持装置によって内視鏡が固定されている場合でも、上述した構成例及び変形例を用いて入力装置3aによるエンドエフェクタ9Eの直感的な操作が実現できる。
図16は、インストゥルメント9を把持しているロボットアーム5が取り付けられた患者側システム2とは物理的に独立した異なる他の移動機器35に取り付けられた内視鏡用ロボットアーム36に内視鏡10を保持固定させている場合の概略図である。これはいわゆるモジュラー型のロボット手術システムであり、物理的に独立した異なる移動機器2a,35にそれぞれロボットアーム5,36が設けられ、各移動機器2a,35は小型で、必要な機器だけを必要最小限で利用でき、省スペース化にも有効なシステムである。モジュラー型システムでは、異なる移動機器2a,35に取り付けられたロボットアーム5,36間での位置連携が必要となるが、上述した構成例及び変形例を利用すれば、異なる移動機器2a,35に取り付けられたロボットアーム5,36の間で位置連携をせずとも、入力装置3aによるエンドエフェクタ9Eの直感的な操作が実現できる。
また、上述した構成例及び変形例は内視鏡10が軟性内視鏡である場合にも有効である。内視鏡10が軟性内視鏡である場合、内視鏡10をロボットアームに把持させていても内視鏡10の先端(レンズ)がどちらの方向を向いているかを検出することができない。また、ジャイロセンサなどを用いて内視鏡10の先端がどちらの方向を向いているかを検出しようとすると、センサを内視鏡10の先端付近に取り付ける必要があるが、内視鏡先端にそのようなセンサを取り付けることは体内に挿入する部分である先端部の小型化の妨げとなるし、先端部が重たくなるので操作性も悪くなる。また、センサにより取得した情報を取り出すための配線や手術器具を把持するロボットアームとの連携なども必要となる。これに対して、述した構成例及び変形例では、内視鏡10から得られた画像情報を用いてソフトウェアで外部パラメータの推定を行うだけなので、そのような不都合は一切なく、低コストでの実現が可能である。
本発明は上述した構成例や変形例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、入力装置3aやアーム5の形状や軸構成は例示したものに限られない。
本発明は、ロボット手術システムに適用することができる。
1,1a ロボット手術システム
2,2a 患者側システム
3a 入力装置
5 アーム(ロボットアーム)
9 インストゥルメント(手術器具)
10,10a 内視鏡(画像捕捉装置)
11a 画像内特徴点取得部
13 特徴点空間座標算出部
14 外部パラメータ推定部(座標関係推定部)
E31~E36 エンコーダ(位置検出器)
J31~J36 関節
2,2a 患者側システム
3a 入力装置
5 アーム(ロボットアーム)
9 インストゥルメント(手術器具)
10,10a 内視鏡(画像捕捉装置)
11a 画像内特徴点取得部
13 特徴点空間座標算出部
14 外部パラメータ推定部(座標関係推定部)
E31~E36 エンコーダ(位置検出器)
J31~J36 関節
Claims (18)
- 入力装置の操作に基づいて、各関節に位置検出器を備えたロボットアームに連結された手術器具を遠隔で操作する、手術器具の動作方法であって、
画像捕捉装置により捕捉した画像から、該画像内における複数の特徴点の位置座標を取得するステップと、
前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出するステップと、
前記取得した画像上の複数の前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定するステップとを含む手術器具の動作方法。 - 前記カメラ座標と前記ロボットに関する座標との関係は、前記カメラ座標と前記ロボットに関する座標とに関する回転行列である、請求項1に記載の手術器具の動作方法。
- 前記カメラ座標と前記ロボットに関する座標との関係は、前記カメラ座標と前記ロボットに関する座標とに関する回転行列及び並進ベクトルである、請求項1に記載の手術器具の動作方法。
- 前記推定された前記カメラ座標と前記ロボットに関する座標との関係に基づいて、前記入力装置を前記手術器具のエンドエフェクタにマッピングするステップを更に含む、請求項1乃至3の何れかに記載の手術器具の動作方法。
- 前記推定された前記カメラ座標と前記ロボットに関する座標との関係に基づいて、前記画像捕捉装置で捕捉された前記画像を回転するステップを更に含む、請求項1乃至3の何れかに記載の手術器具の動作方法。
- 前記ロボットに関する座標は、ロボット座標である、請求項1乃至5の何れかに記載の手術器具の動作方法。
- 前記ロボットに関する座標は、ワールド座標系である、請求項1乃至5の何れかに記載の手術器具の動作方法。
- 前記推定は前記特徴点が6点以上取得されたことを条件として行われる、請求項1乃至7の何れかに記載の手術器具の動作方法。
- 前記推定は所定時間周期で行われる、請求項1乃至8の何れかに記載の手術器具の動作方法。
- 複数の前記特徴点の取得は、単一画像における複数の対象を用いて行われる、請求項1乃至9の何れかに記載の手術器具の動作方法。
- 複数の前記特徴点の取得は、複数の時刻のそれぞれで捕捉された前記画像における同一対象を用いて行われる、請求項1乃至10の何れかに記載の手術器具の動作方法。
- 前記特徴点の取得に用いられる対象は1又は複数の前記手術器具のエンドエフェクタである、請求項10又は11に記載の手術器具の動作方法。
- 前記特徴点の取得は、前記画像捕捉装置により捕捉した前記画像内に存在するマーカーを用いて行う、請求項1乃至12の何れかに記載の手術器具の動作方法。
- 各関節に対応して設けられた位置検出器を有し、手術器具を把持するロボットアームと、
画像捕捉装置と、
前記画像捕捉装置により捕捉した画像から、該画像内における特徴点を取得する画像内特徴点取得部と、
前記位置検出器を用いて複数の前記特徴点に対応するロボットに関する座標の位置座標を算出する特徴点空間座標算出部と、
前記特徴点の位置座標と、複数の前記特徴点に対応する前記ロボットに関する座標の位置座標とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係を推定する座標関係推定部と、
を備えている、ロボット手術システム。 - 前記画像捕捉装置は、前記ロボットアームと位置情報を共有しない支持装置によって支持されている、請求項14に記載のロボット手術システム。
- 前記画像捕捉装置は軟性内視鏡である、請求項14に記載のロボット手術システム。
- 前記画像捕捉装置と前記ロボットアームとは、それぞれ物理的に独立した異なる移動機器に備えられている、請求項14に記載のロボット手術システム。
- 画像捕捉装置により捕捉した画像より取得された複数の特徴点の位置座標と、複数の前記特徴点に対応するロボットに関する座標の座標位置とに基づいて、前記画像捕捉装置の視点を基準とするカメラ座標と前記ロボットに関する座標との関係の推定をコンピュータに実行させる、カメラ座標とロボットに関する座標との関係の推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005550 WO2018150489A1 (ja) | 2017-02-15 | 2017-02-15 | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005550 WO2018150489A1 (ja) | 2017-02-15 | 2017-02-15 | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018150489A1 true WO2018150489A1 (ja) | 2018-08-23 |
Family
ID=63170644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/005550 WO2018150489A1 (ja) | 2017-02-15 | 2017-02-15 | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018150489A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111000634A (zh) * | 2018-10-06 | 2020-04-14 | 希森美康株式会社 | 手术支援机器人的远程支援方法以及远程支援系统 |
CN112309560A (zh) * | 2020-09-27 | 2021-02-02 | 深圳精匠云创科技有限公司 | 远程种植牙方法、服务器及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06143161A (ja) * | 1992-10-29 | 1994-05-24 | Kobe Steel Ltd | マニピュレータの制御方法及びその装置 |
WO2000060521A1 (en) * | 1999-04-07 | 2000-10-12 | Intuitive Surgical, Inc. | Camera referenced control in a minimally invasive surgical apparatus |
JP2003181785A (ja) * | 2001-12-20 | 2003-07-02 | Yaskawa Electric Corp | 遠隔操作装置 |
JP2003265500A (ja) * | 2002-03-15 | 2003-09-24 | Hitachi Ltd | 手術支援装置 |
WO2014156217A1 (ja) * | 2013-03-29 | 2014-10-02 | オリンパス株式会社 | マスタスレーブシステムとその駆動方法 |
-
2017
- 2017-02-15 WO PCT/JP2017/005550 patent/WO2018150489A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06143161A (ja) * | 1992-10-29 | 1994-05-24 | Kobe Steel Ltd | マニピュレータの制御方法及びその装置 |
WO2000060521A1 (en) * | 1999-04-07 | 2000-10-12 | Intuitive Surgical, Inc. | Camera referenced control in a minimally invasive surgical apparatus |
JP2003181785A (ja) * | 2001-12-20 | 2003-07-02 | Yaskawa Electric Corp | 遠隔操作装置 |
JP2003265500A (ja) * | 2002-03-15 | 2003-09-24 | Hitachi Ltd | 手術支援装置 |
WO2014156217A1 (ja) * | 2013-03-29 | 2014-10-02 | オリンパス株式会社 | マスタスレーブシステムとその駆動方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111000634A (zh) * | 2018-10-06 | 2020-04-14 | 希森美康株式会社 | 手术支援机器人的远程支援方法以及远程支援系统 |
CN112309560A (zh) * | 2020-09-27 | 2021-02-02 | 深圳精匠云创科技有限公司 | 远程种植牙方法、服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101957302B1 (ko) | 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법 | |
CN111315309B (zh) | 用于控制机器人操纵器或相关工具的系统和方法 | |
US9801690B2 (en) | Synthetic representation of a surgical instrument | |
JP4916011B2 (ja) | マスタ・スレーブ式マニピュレータシステム | |
JP6284284B2 (ja) | ジェスチャ制御を用いるロボットシステム制御用の制御装置及び方法 | |
JP4911701B2 (ja) | マスタ・スレーブ式マニピュレータシステム | |
US9615890B2 (en) | Surgical robot system and method of controlling the same | |
KR102222124B1 (ko) | 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템 | |
US8374723B2 (en) | Obtaining force information in a minimally invasive surgical procedure | |
US8594841B2 (en) | Visual force feedback in a minimally invasive surgical procedure | |
WO2018214840A1 (zh) | 手术机器人系统及手术器械位置的显示方法 | |
US20160213435A1 (en) | Phantom degrees of freedom for manipulating the movement of mechanical bodies | |
KR20200078422A (ko) | 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법 | |
KR20140113209A (ko) | 로봇 및 그 제어방법 | |
JP2012529971A (ja) | 低侵襲手術のための仮想測定ツール | |
KR20080027256A (ko) | 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템 | |
CN113876434A (zh) | 主从运动的控制方法、机器人系统、设备及存储介质 | |
WO2022002155A1 (zh) | 主从运动的控制方法、机器人系统、设备及存储介质 | |
JP2020141833A (ja) | 外科手術システムの制御方法および外科手術システム | |
WO2018150489A1 (ja) | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム | |
EP3954319A1 (en) | Surgical operation system and method for controlling surgical operation system | |
Lobontiu et al. | Robotic surgery and tele-surgery: Basic principles and description of a novel concept | |
US20200315740A1 (en) | Identification and assignment of instruments in a surgical system using camera recognition | |
CN118319502A (zh) | 手术机器人的主从运动控制方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17896859 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17896859 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |