WO2020045538A1 - 推定装置、推定方法、およびプログラム - Google Patents

推定装置、推定方法、およびプログラム Download PDF

Info

Publication number
WO2020045538A1
WO2020045538A1 PCT/JP2019/033810 JP2019033810W WO2020045538A1 WO 2020045538 A1 WO2020045538 A1 WO 2020045538A1 JP 2019033810 W JP2019033810 W JP 2019033810W WO 2020045538 A1 WO2020045538 A1 WO 2020045538A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector
information
surgical tool
distance
movement
Prior art date
Application number
PCT/JP2019/033810
Other languages
English (en)
French (fr)
Inventor
耕太郎 只野
Original Assignee
リバーフィールド株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リバーフィールド株式会社 filed Critical リバーフィールド株式会社
Priority to CN201980024045.3A priority Critical patent/CN112004495B/zh
Priority to US16/967,058 priority patent/US11890062B2/en
Priority to EP19853872.0A priority patent/EP3735930A4/en
Publication of WO2020045538A1 publication Critical patent/WO2020045538A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/506—Supports for surgical instruments, e.g. articulated arms using a parallelogram linkage, e.g. panthograph
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Definitions

  • the present disclosure relates to an estimating device, an estimating method, and a program related to a surgery support robot used for an endoscopic surgery or the like.
  • Patent Document 1 discloses a technique for positioning the tip of a surgical tool on an organ model of a subject. Specifically, a technique has been proposed in which, when the inner wall of an organ comes into contact with the distal end of a surgical tool, the conversion formula between the actual coordinates of the distal end of the surgical tool and the corresponding model coordinates is updated to a new conversion formula. .
  • the technique described in Patent Document 1 can estimate a fixed position, that is, the position of the distal end of a surgical instrument, but cannot estimate the pivot position of the surgical instrument.
  • the pivot position relatively determined with respect to the position of the distal end of the surgical tool varies depending on, for example, the position or posture of the surgical assistance robot, the subject, or the surgical tool. For this reason, it is also difficult to estimate the pivot position based on the position of the tip. Therefore, there is a possibility that the accuracy of the alignment between the pivot position in the endoscope and the hole of the trocar arranged on the subject may be reduced.
  • An estimation device estimates a pivot position of a surgical tool whose rear end is gripped by a gripping portion of an arm having at least one joint.
  • the estimating device may be a length from the reference point on the rear end side of the surgical instrument to a first position that is a temporary pivot position, or a front end of the surgical instrument that is an end opposite to the rear end.
  • a storage unit that stores a first distance that is a length from the reference point on the side to the first position; vector information that is information on the direction of the grip unit of the arm or the direction of the surgical tool;
  • An acquisition unit configured to acquire first information relating to movement of the first position in the surgical instrument and second information relating to movement of a second position different from the first position in the surgical tool; and Calculating an axial direction of the surgical tool, and calculating a first component that is a component perpendicular to the axial direction in a vector of the movement of the first position based on the first information, the second information, and the axial direction of the surgical tool.
  • a vector calculation unit that calculates a second vertical vector, which is a component perpendicular to the axis direction in the vector of the movement of the second position, and an inner product that calculates an inner product of the first vertical vector and the second vertical vector.
  • a product calculating unit; and an updating unit that updates the first distance by adding a value obtained by multiplying a value of the inner product by a predetermined coefficient to the first distance stored in the storage unit.
  • the estimation method estimates a pivot position of a surgical instrument whose rear end is gripped by a gripping portion of an arm having at least one joint.
  • vector information that is information on the direction of the grip portion of the arm or the direction of the surgical tool is obtained, and first information on movement of a first position that is a temporary pivot position on the surgical tool, and Acquiring second information regarding movement of a second position different from the first position in the surgical tool, calculating an axial direction of the surgical tool based on the obtained vector information, and obtaining the first information, the first information;
  • a first vertical vector which is a component perpendicular to the axis direction in the vector of the movement of the first position, based on the information and the axial direction of the surgical tool, and the axis in a vector of the movement of the second position.
  • Calculating a second vertical vector which is a component perpendicular to the direction, calculating an inner product of the first vertical vector and the second vertical vector; The length from the reference point on the rear end side to the first position, or the length from the reference point on the front end side of the surgical instrument opposite to the rear end to the first position.
  • the first distance is updated by adding a value obtained by multiplying a value of the inner product by a predetermined coefficient to the first distance.
  • the program according to the present disclosure estimates a pivot position of a surgical tool whose rear end is gripped by the gripping part of an arm having at least one joint.
  • the program has a function of causing a computer to acquire vector information that is information relating to the orientation of the grip portion of the arm or the orientation of the surgical tool, and a first function relating to movement of a first position that is a temporary pivot position in the surgical tool.
  • a first vertical vector which is a component perpendicular to the axis direction in the vector of the movement of the first position, based on the first information, the second information, and the axial direction of the surgical tool, and the movement of the second position.
  • a function of calculating a second vertical vector which is a component perpendicular to the axis direction in the vector, and a function of calculating the first vertical vector and the second vertical vector.
  • a component of the vector of the movement of the first position of the surgical tool perpendicular to the axis direction of the surgical tool (first vertical vector) and a component of the vector of the movement of the second position perpendicular to the axis direction of the surgical tool
  • An inner product with the second vertical vector is calculated.
  • the first distance is updated based on the inner product, whereby the pivot position of the surgical instrument can be estimated.
  • the second position may be provided at the rear end of the surgical instrument.
  • the pivot position of the surgical instrument can be easily estimated.
  • the vector information is a rotation angle of the at least one joint measured by an angle sensor
  • the vector calculation unit determines an axis direction of the surgical instrument based on the rotation angle acquired from the angle sensor. May be calculated.
  • the first information and the second information include a rotation angle of the at least one joint measured at a predetermined time interval, and the vector calculation unit measures the rotation angle at the predetermined time interval.
  • the first vertical vector and the second vertical vector may be calculated based on a rotation angle of the at least one joint.
  • the obtaining unit obtains the vector information, the first information, and the second information for each predetermined sampling period
  • the vector calculating unit obtains the vector information for each of the predetermined sampling periods. Calculating a first vertical vector and the second vertical vector, the inner product calculating unit calculates the value of the inner product for each of the predetermined sampling periods, and the updating unit calculates the second product for each of the predetermined sampling periods.
  • One distance may be updated.
  • the accuracy of estimating the pivot position of the surgical instrument is improved. Furthermore, even if the pivot position of the surgical tool moves for some reason and the estimation accuracy of the pivot position deteriorates, the update of the first distance is repeated every sampling cycle. This makes it possible to increase the accuracy of estimating the pivot position of the surgical tool again.
  • the pivot position is estimated by updating the first distance based on the inner product of the first vertical vector and the second vertical vector. This makes it possible to estimate the pivot position of the surgical tool held by the surgery support robot.
  • FIG. 2 is a block diagram illustrating a configuration of an estimation device in FIG. 1. It is a figure explaining the formula which describes a pivot position. It is a flowchart of the calculation process which estimates a pivot position. It is explanatory drawing of the calculation process which estimates a pivot position. It is explanatory drawing of the calculation process which estimates a pivot position. It is explanatory drawing of the calculation process which estimates a pivot position. It is explanatory drawing of the calculation process which estimates a pivot position.
  • Reference Signs List 10 estimation device 11 acquisition unit, 12 storage unit, 13 vector calculation unit, 14 inner product calculation unit, 15 update unit, 50 arm device (arm), 52 rotation unit (joint), 52s ... Rotation sensor (angle sensor), 55p, 56p ... Pin (joint), 55s ... First link sensor (angle sensor), 56s ... Second link sensor (angle sensor), 62 ... First joint part (joint), 63 .. Second joint (joint), 64 third joint (joint), 62 s first joint sensor (angle sensor), 63 s second joint sensor (angle sensor), 64 s third joint sensor (angle sensor) ), 70 ... surgical tool, P p ... pivot position, P p '... temporary pivot position, ⁇ P p ' ... first movement vector, ⁇ P r ... second movement vector, ⁇ P p ⁇ '... first vertical vector, ⁇ P r ⁇ : second vertical vector, d ': first distance
  • the estimation device 10 is used for an arm device (arm) 50 such as a surgery support robot used for endoscopic surgery as shown in FIG.
  • the arm device 50 supports the position and the posture of the surgical instrument 70 so as to be changeable.
  • the arm device 50, changing the position and orientation of the surgical instrument 70, surgical instrument 70 is controlled so as to pass through the pivot position P p is a predetermined relative position with respect to the arm 50.
  • Pivot location P p is the position of the trocar 75 which is placed on the patient's abdominal wall 81 is the subject of an endoscopic surgical operation is generally coincident.
  • the surgical tool 70 may be various instruments used for endoscopic surgery, such as an endoscope or forceps.
  • an endoscope is used as the surgical instrument 70.
  • the surgical instrument 70 which is an endoscope, is mainly provided with a main body 71 and a tubular portion 72.
  • the main body 71 is held by the arm device 50 and accommodates an imaging device that converts an image guided by the cylindrical portion 72 into an electronic signal.
  • the cylindrical portion 72 is cylindrical or rod-shaped, and is inserted into the trocar 75 and inserted into the abdominal wall 81 of the patient.
  • the cylindrical portion 72 is configured to transmit an image from its tip to the main body 71.
  • the arm device 50 mainly includes a rotating portion (joint) 52, a first link portion 55, a second link portion 56, a gimbal portion 61, and a grip portion 65. ing.
  • the drive of the rotating unit 52, the first link unit 55, and the second link unit 56 is controlled based on a control signal input from a control unit or the like (not shown) of the arm device 50.
  • Rotating part 52 is a joint arranged at a portion of arm device 50 fixed to base 51.
  • the rotating section 52 is configured to be rotatable about a rotation axis extending in the up-down direction, and a specific configuration is not limited.
  • the rotation unit 52 is provided with a rotation sensor (angle sensor) 52s that detects the rotation angle of the rotation unit 52.
  • the first link portion 55 is disposed between the rotating portion 52 and the second link portion 56, and is driven by an actuator (not shown).
  • the first link portion 55 has two sets of a pair of parallel bars 55b, and is formed in a rectangular shape by these bars 55b.
  • the intersection of the bar 55b and the bar 55b is connected by a pin (joint) 55p that allows one-degree-of-freedom rotation.
  • the first link section 55 is provided with a first link sensor (angle sensor) 55s for detecting a rotation angle of the predetermined pin 55p.
  • the first link portion 55 extends in the up-down direction.
  • the second link 56 is disposed between the first link 55 and the gimbal 61, and is driven by an actuator (not shown). Like the first link portion 55, the second link portion 56 has two pairs of parallel bars 56b, and is formed in a rectangular shape by these bars 56b. Two adjacent bars 56b are connected by a pin (joint) 56p that allows rotation in a one-degree-of-freedom system.
  • the second link section 56 is provided with a second link sensor (angle sensor) 56s for detecting a rotation angle of the predetermined pin 56p.
  • the second link portion 56 extends in a lateral direction (a direction along a plane intersecting the vertical direction).
  • the gimbal portion 61 is disposed between the second link portion 56 and the grip portion 65.
  • the gimbal part 61 has a first joint part (joint) 62, a second joint part (joint) 63, and a third joint part (joint) 64 whose rotation axes cross each other.
  • the gimbal unit 61 includes a first joint sensor (angle sensor) 62s for detecting the rotation angle of the first joint unit 62, a second joint sensor (angle sensor) 63s for detecting the rotation angle of the second joint unit 63, and A third joint sensor (angle sensor) 64s for detecting the rotation angle of the third joint 64 is provided.
  • the first joint 62 is arranged adjacent to the second link 56.
  • the first joint 62 is arranged such that its rotation axis extends obliquely upward from the horizontal direction. More preferably, for example, the first joint portion 62 may be arranged such that its rotation axis extends obliquely upward at an angle of 45 ° with respect to the horizontal direction.
  • the second joint 63 is disposed between the first joint 62 and the third joint 64.
  • the third joint 64 is arranged adjacent to the grip 65.
  • the first to third joints 62 to 64 only need to be able to rotate around the rotation axis, and the specific configuration is not limited.
  • the grip 65 is arranged at a position adjacent to the gimbal 61, in other words, at the front end of the arm device 50.
  • the grip 65 may be any configuration as long as it can grip the surgical tool 70, and the specific configuration is not limited.
  • Estimating device 10 estimates the pivot position P p of the surgical tool 70 held by the arm 50.
  • the pivot location P p for example, is output to a control unit which controls the arm unit 50.
  • the pivot position P p may be expressed as a position in the coordinate system used by the arm arrangement 50.
  • the estimation device 10 is an information processing device such as a computer having a CPU 10a (central processing unit), a ROM 10b, a RAM 10c, and an input / output interface.
  • the CPU 10a executes a program stored in the ROM 10b or a program loaded in the RAM 10c.
  • the program By executing the program, at least functions as the acquisition unit 11, the storage unit 12, the vector calculation unit 13, the inner product calculation unit 14, and the update unit 15 are exhibited.
  • the program a method corresponding to the program is executed.
  • the ROM 10b or the RAM 10c corresponds to a non-transitional substantial storage medium storing a program.
  • an electronic circuit without a CPU for example, an integrated circuit such as an ASIC
  • all or a part of the functions of the estimating apparatus 10 may be realized by the electronic circuit.
  • the acquisition unit 11 acquires the rotation angles output from the rotation sensor 52s, the first link sensor 55s, the second link sensor 56s, the first joint sensor 62s, the second joint sensor 63s, and the third joint sensor 64s.
  • the acquisition unit 11 calculates, based on the acquired rotation angle, vector information that is information on a vector n representing the direction of the grip unit 65 of the arm device 50 or the direction of the surgical instrument 70.
  • the acquisition unit 11 also calculates information on the first movement vector ⁇ P p ′ (hereinafter, first information) and information on the second movement vector ⁇ P r (hereinafter, second information).
  • first information information
  • second information information on the second movement vector ⁇ P r
  • the first movement vector ⁇ P p ′ represents the movement of a temporary pivot position (in other words, the first position) P p ′ described later in the surgical instrument 70.
  • the first movement vector ⁇ P p ′ represents the movement of the portion of the surgical instrument 70 where the first position is provided.
  • the second motion vector [Delta] P r (in other words, the second position) the rear end portion is an end portion of the grip portion 65 side of the surgical instrument 70 represents the movement of P r.
  • the second movement vector ⁇ P r indicates the movement of the portion of the surgical instrument 70 where the second position is provided.
  • the second movement vector ⁇ P r represents the movement of the rear end P r of the surgical instrument 70.
  • the present invention is not limited to this.
  • a position other than the rear end portion of the surgical instrument 70 other than the temporary pivot position P p ′ is set as the second position, and the second movement vector ⁇ P r represents the movement of the second position. Is also good.
  • the storage unit 12 is configured as, for example, a RAM 10c, and stores a value of a predetermined first distance d '.
  • First distance d' includes a front end position of the arm unit 50, the vector n representing the orientation of the surgical tool 70, used to estimate the pivot position P p with respect to the arm 50.
  • the first distance d ' represents a distance from the front end position of the arm device 50 to the temporary pivot position P p '.
  • the front end position of the arm unit 50, the reference point of the rear end of the surgical tool 70 to be gripped by the arm mechanism 50, and more particularly, to a rear portion P r of the main body portion 71 I have.
  • the temporary pivot position P p ′ is predetermined and is used when estimating the true pivot position P p . Therefore, the true pivot position P p and the temporary pivot position P p ′ may be the same or different. Note that the temporary pivot position P p ′ is preferably set on the surgical tool 70, but may be set outside the surgical tool 70.
  • the first distance d ' is the length from the front end of the surgical instrument 70 to the temporary pivot position P p '.
  • the vector calculation unit 13 calculates the first vertical vector ⁇ P p ⁇ ′ and the second vertical vector ⁇ P r ⁇ ⁇ ⁇ while calculating the direction of the axis L of the surgical instrument 70.
  • the direction of the axis L of the surgical instrument 70 is calculated based on the vector information.
  • the first vertical vector ⁇ P p ⁇ ′ and the second vertical vector ⁇ P r ⁇ are components perpendicular to the direction of the axis L in the first motion vector ⁇ P p ′ and the second motion vector ⁇ P r , respectively.
  • the inner product calculation unit 14 calculates an inner product of the first vertical vector ⁇ P p ⁇ ′ and the second vertical vector ⁇ P r ⁇ .
  • the updating unit 15 calculates a new first distance d ′ by adding a value obtained by multiplying the value of the inner product by a predetermined coefficient k to the first distance d ′ stored in the storage unit 12. Further, the value of the first distance d ′ stored in the storage unit 12 is updated to a new value of the first distance d ′ obtained by the calculation.
  • Estimating device 10 the calculation process for estimation of the pivot position P p shown in FIG. 4 is started, according to a sampling period to a predetermined Repeated calculation process. The calculation process is continued at least until the operation of the arm device 50 ends.
  • the obtaining unit 11 obtains vector information that is information on the direction of the grasping unit 65 of the arm device 50 that holds the surgical tool 70 or the vector n indicating the direction of the surgical tool 70 (S11).
  • the acquisition unit 11 includes the rotation sensor 52s, the first and second link sensors 55s and 56s, and the first to third joint sensors 62s to 64s (hereinafter also referred to as “rotation sensor 52s and the like”). Get rotation angle output from.
  • the acquisition unit 11 calculates vector information, which is information on the vector n, based on the acquired rotation angle.
  • the acquisition unit 11 acquires the above-described first information about the first movement vector ⁇ P p ′ and the above-described second information about the second movement vector ⁇ P r (S12). Specifically, the acquisition unit 11 calculates the rotation angle output from the rotation sensor 52s or the like acquired most recently and the rotation angle output from the rotation sensor 52s or the like acquired before (for example, a further previous sampling cycle). , The first and second information are calculated.
  • the vector calculation unit 13 calculates the first vertical vector ⁇ P p ⁇ ′ and the second vertical vector ⁇ P r ((S13). Specifically, the vector calculation unit 13 first calculates the direction of the axis L of the surgical instrument 70 based on vector information that is information on the vector n. Next, the vector calculation unit 13 calculates the first vertical vector ⁇ P p ⁇ ′ and the second vertical vector ⁇ P r ⁇ based on the first and second information and the direction of the axis L of the surgical instrument 70 (FIG. 4). reference.).
  • the first distance d' is greater than the second distance d from the front end position of the arm 50 to the pivot location P p, the provisional pivot position P p 'is, pivot location P It is located on the front end side of the surgical instrument 70 than p .
  • the direction of the first vertical vector ⁇ P p ⁇ ′ is opposite to the direction of the second vertical vector ⁇ P r ⁇ . Therefore, the value ⁇ d ′ of the inner product of the first and second vertical vectors is a negative value.
  • the first distance d' is smaller than the second distance d
  • the temporary pivot position P p ' located in the rear portion P r side of the pivot position P p I do.
  • the direction of the first vertical vector ⁇ P p ⁇ ′ is the same as the direction of the second vertical vector ⁇ P r ⁇ . Therefore, the value ⁇ d ′ of the inner product of the first and second vertical vectors is a positive value.
  • the updating unit 15 corrects and updates the first distance d ′ (S15). Specifically, the updating unit 15 adds a value obtained by multiplying the inner product value ⁇ d ′ by a predetermined coefficient k (where k is a positive value) to the first distance d ′ stored in the storage unit 12. . Further, the updating unit 15 updates the stored value of the first distance d 'to a value obtained by the addition.
  • the first distance d ′ is reduced by the above update, and the first distance d ′ approaches the second distance d.
  • the coefficient k can be set to a desired value. For example, when the value of the coefficient k is increased, the first distance d 'can be made closer to the second distance d earlier. However, the first distance d 'may not easily converge on the second distance d. Further, when the value of the coefficient k is reduced, the first distance d 'slowly approaches the second distance d, and the first distance d' easily converges to the second distance d.
  • the first distance d ′ represents the distance from the front end of the surgical instrument 70 to the temporary pivot position P p ′
  • the first distance d ′ is updated in S15 as shown in FIG.
  • the sign of the inner product value ⁇ d ′ used in the above is inverted.
  • the inner product value ⁇ d' is a positive value
  • the inner product value ⁇ d' Becomes a negative value. Therefore, the coefficient k is preferably a negative value.
  • the pivot position of the temporary (first position) P p 'and the first vertical vector ⁇ P p ⁇ 'of the temporary pivot position P p' second vertical vector [Delta] P of the second position different from the r ⁇ is calculated.
  • the first distance d ′ is updated based on the inner product of the first and second vertical vectors. This allows estimation of the pivot position P p of the surgical tool 70.
  • the rear end portion P r at the surgical instrument 70 is set as the second position. This facilitates the estimation of the pivot position P p of the surgical tool 70.
  • a rotation angle measured by the rotation sensor 52s or the like with at least a predetermined time interval is used. Can be For this reason, acquisition of the first and second information is facilitated.
  • the update of the first distance d ' is repeatedly performed at every predetermined sampling period.
  • the update of the first distance d ′ is repeated every sampling period, so that the pivot position P p is updated.
  • the estimation accuracy can be increased again.
  • the estimation device 10 has been described as applied to an example in which the estimation device 10 is arranged separately from the arm device 50 and the control unit thereof. It may be incorporated.
  • a non-transitional actual recording medium such as a semiconductor memory storing the program

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

推定装置は、手術具における仮のピボット位置である第１位置の移動のベクトルにおける手術具の軸線方向に垂直な成分である第１垂直ベクトル、および、手術具における第２位置の移動のベクトルにおける該軸線方向に垂直な成分である第２垂直ベクトルを算出する。そして、第１及び第２垂直ベクトルの内積により、手術具における後端側の基準点又は前端側の基準点から第１位置までの長さである第１距離が更新される。

Description

推定装置、推定方法、およびプログラム 関連出願の相互参照
　本国際出願は、２０１８年８月３０日に日本国特許庁に出願された日本国特許出願第２０１８－１６１３６３号に基づく優先権を主張するものであり、日本国特許出願第２０１８－１６１３６３号の全内容を本国際出願に参照により援用する。
　本開示は、内視鏡外科手術等に用いられる手術支援ロボットに関する推定装置、推定方法、およびプログラムに関する。
　近年、手術支援ロボットを用いた内視鏡外科手術が普及しつつある。内視鏡外科手術では、手術支援ロボットに取り付けられた腹腔鏡、内視鏡、又は鉗子など（以下、「手術具」とも表記する。）が用いられる。これらの手術支援ロボットにおいては、手術支援ロボットに設定された座標系に基づいて手術具の移動を制御することが提案されている（例えば、特許文献１参照。）。
特開２０１８－０８８９９６号公報
　上述の特許文献１には、被検体の臓器モデル上で手術具の先端の位置合わせを行う技術が開示されている。具体的には、手術具の先端に臓器の内壁が接触した場合に、手術具の先端の実座標と対応するモデル座標との変換式を、新たな変換式に更新する技術が提案されている。
　しかしながら、特許文献１に記載の技術では、手術支援ロボットにおける不動点（以下、「ピボット位置」とも表記する。）と、手術具を被検体の体内に挿入する孔との位置合わせの精度が低下する恐れがある。言い換えると、手術支援ロボットに把持された手術具におけるピボット位置と、被検体に配置されるとともに手術具が挿通されるトロッカーの孔との位置合わせの精度が低下する恐れがある。
　つまり、特許文献１に記載の技術では、手術具の先端の位置という固定された位置を推定できるが、手術具におけるピボット位置については推定できない。また、手術具における先端の位置に対して相対的に定められるピボット位置は、例えば、手術支援ロボット、被検体、又は、手術具の位置或いは姿勢によって変化する。このため、該先端の位置に基づいてピボット位置を推定することも困難である。したがって、内視鏡におけるピボット位置と、被検体に配置されたトロッカーの孔との位置合わせの精度が低下する恐れがある。
　本開示の一局面では、手術支援ロボットに把持された手術具におけるピボット位置の推定を可能とすることが望ましい。
　本開示の推定装置は、少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行う。該推定装置は、前記手術具における
前記後端側の基準点から仮のピボット位置である第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さである第１距離が記憶される記憶部と、前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報と、前記手術具における前記第１位置の移動に関する第１情報と、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報と、を取得する取得部と、前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出するベクトル算出部と、前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出する内積算出部と、前記内積の値に所定の係数を乗じた値を、前記記憶部に記憶されている前記第１距離に加えることで、前記第１距離を更新する更新部と、を備える。
　本開示の推定方法は、少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行う。該推定方法では、前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報を取得し、前記手術具における仮のピボット位置である第１位置の移動に関する第１情報、および、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報を取得し、取得した前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出し、前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出し、前記手術具における前記後端側の基準点から前記第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さを第１距離とし、前記内積の値に所定の係数を乗じた値を、前記第１距離に加えることで、前記第１距離を更新する。
　本開示のプログラムは、少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行う。該プログラムは、コンピュータに前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報を取得する機能と、前記手術具における仮のピボット位置である第１位置の移動に関する第１情報、および、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報を取得する機能と、取得した前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出する機能と、前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出する機能と、前記手術具における前記後端側の基準点から前記第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さを第１距離とし、前記内積の値に所定の係数を乗じた値を、第１距離に加えることで、前記第１距離を更新する機能と、を実現させる。
　これらの構成によれば、手術具における第１位置の移動のベクトルの手術具の軸線方向に垂直な成分（第１垂直ベクトル）と、第２位置の移動のベクトルの該軸線方向に垂直な成分（第２垂直ベクトル）との内積が算出される。そして、内積に基づいて第１距離が更新され、これにより、手術具におけるピボット位置の推定が可能となる。
　なお、第２位置は、前記手術具における前記後端部に設けられても良い。
　上記構成によれば、手術具におけるピボット位置の推定が容易となる。
　また、前記ベクトル情報は、角度センサにより測定された前記少なくとも１つの関節における回転角度であり、前記ベクトル算出部は、前記角度センサから取得された前記回転角度に基づいて、前記手術具の軸線方向を算出しても良い。
　上記構成によれば、ベクトル情報の取得が容易になる。
　また、前記第１情報および前記第２情報は、所定の時間間隔をあけて測定された前記少なくとも１つの関節における回転角度を含み、前記ベクトル算出部は、前記所定の時間間隔をあけて測定された前記少なくとも１つの関節における回転角度に基づいて、前記第１垂直ベクトルおよび前記第２垂直ベクトルを算出しても良い。
　上記構成によれば、第１情報および第２情報の取得が容易になる。
　また、前記取得部は、予め定められた所定のサンプリング周期ごとに前記ベクトル情報、前記第１情報、および、前記第２情報を取得し、前記ベクトル算出部は、前記所定のサンプリング周期ごとに前記第１垂直ベクトルおよび前記第２垂直ベクトルを算出し、前記内積算出部は、前記所定のサンプリング周期ごとに前記内積の値を算出し、前記更新部は、前記所定のサンプリング周期ごとに前記第１距離を更新しても良い。
　上記構成によれば、手術具におけるピボット位置の推定精度が向上する。さらに、何らかの原因で手術具におけるピボット位置が移動し、ピボット位置の推定精度が悪化した場合であっても、サンプリング周期ごとに第１距離の更新が繰り返される。これにより、手術具におけるピボット位置の推定精度を再び高めることが可能となる。
　上記推定装置、推定方法、および、プログラムによれば、第１垂直ベクトルおよび第２垂直ベクトルの内積に基づいて第１距離を更新することで、ピボット位置が推定される。これにより、手術支援ロボットに把持された手術具におけるピボット位置の推定が可能になる。
推定装置および推定装置が適用されるアーム装置の模式図である。 図１の推定装置の構成を説明するブロック図である。 ピボット位置を記述する式を説明する図である。 ピボット位置の推定を行う算出処理のフローチャートである。 ピボット位置の推定を行う算出処理の説明図である。 ピボット位置の推定を行う算出処理の説明図である。 ピボット位置の推定を行う算出処理の説明図である。
　１０…推定装置、１１…取得部、１２…記憶部、１３…ベクトル算出部、１４…内積算出部、１５…更新部、５０…アーム装置（アーム）、５２…回転部（関節）、５２ｓ…回転センサ（角度センサ）、５５ｐ，５６ｐ…ピン（関節）、５５ｓ…第１リンクセンサ（角度センサ）、５６ｓ…第２リンクセンサ（角度センサ）、６２…第１関節部（関節）、６３…第２関節部（関節）、６４…第３関節部（関節）、６２ｓ…第１関節センサ（角度センサ）、６３ｓ…第２関節センサ（角度センサ）、６４ｓ…第３関節センサ（角度センサ）、７０…手術具、Ｐp…ピボット位置、Ｐp´…仮のピボット位置、ΔＰp´…第１移動ベクトル、ΔＰr…第２移動ベクトル、ΔＰp⊥´…第１垂直ベクトル、ΔＰr⊥…第２垂直ベクトル、ｄ´…第１距離
　以下、本開示の一実施形態に係る推定装置１０ついて図１から図７を参照しながら説明する。本実施形態では、一例として、推定装置１０は、図１に示すような内視鏡外科手術に用いられる手術支援ロボットなどのアーム装置（アーム）５０に用いられる。
　アーム装置５０は、手術具７０の位置および姿勢を変更可能に支持する。また、アーム装置５０は、手術具７０の位置や姿勢を変更しても、手術具７０がアーム装置５０に対する所定の相対位置であるピボット位置Ｐpを通過するように制御される。ピボット位置Ｐpは、内視鏡外科手術の対象である患者の腹壁８１に配置されたトロッカー７５の配置位置と概ね一致している。
　また、手術具７０とは、例えば、内視鏡又は鉗子など、内視鏡外科手術に用いられる各種の器具であっても良い。本実施形態では、一例として、手術具７０として内視鏡が用いられる。
　内視鏡である手術具７０には、本体部７１と、筒状部７２と、が主に設けられている。本体部７１は、アーム装置５０によって把持され、筒状部７２により導かれた画像を電子信号に変換する撮像機器が収納される。
　筒状部７２は、筒状または棒状であり、トロッカー７５に挿通されて患者の腹壁８１の内部に挿入される。また、筒状部７２は、その先端から本体部７１へ画像の伝達が可能に構成されている。
　アーム装置５０には、図１に示すように、回転部（関節）５２と、第１リンク部５５と、第２リンク部５６と、ジンバル部６１と、把持部６５と、が主に設けられている。回転部５２、第１リンク部５５、および第２リンク部５６は、アーム装置５０の制御部など（図示せず）から入力される制御信号に基づいて、駆動制御される。
　回転部５２は、アーム装置５０における土台５１に固定される部分に配置される関節である。回転部５２は、上下方向に延びる回転軸線まわりに回転駆動が可能な構成であり、具体的な構成は限定されない。回転部５２には、回転部５２の回転角度を検出する回転センサ（角度センサ）５２ｓが設けられている。
　第１リンク部５５は、回転部５２と第２リンク部５６との間に配置され、アクチュエータ（図示せず）により駆動される。第１リンク部５５は、一対の平行なバー５５ｂを２組有し、これらのバー５５ｂにより矩形状に形成されている。バー５５ｂとバー５５ｂとの交点は、一自由度系の回転を許容するピン（関節）５５ｐにより結合されている。
　また、第１リンク部５５には、所定のピン５５ｐにおける回転角度を検出する第１リンクセンサ（角度センサ）５５ｓが設けられている。本実施形態では、一例として、第１リンク部５５が上下方向へ延びている。
　第２リンク部５６は、第１リンク部５５とジンバル部６１との間に配置され、アクチュエータ（図示せず）により駆動される。第２リンク部５６は、第１リンク部５５と同様に、一対の平行なバー５６ｂを２組有し、これらのバー５６ｂにより矩形状に形成されている。隣接する２つのバー５６ｂは、一自由度系の回転を許容するピン（関節）５６ｐにより結合されている。
　また、第２リンク部５６には、所定のピン５６ｐにおける回転角度を検出する第２リンクセンサ（角度センサ）５６ｓが設けられている。本実施形態では、一例として、第２リンク部５６が横方向（上下方向と交差する面に沿った方向）へ延びている。
　ジンバル部６１は、第２リンク部５６と把持部６５との間に配置される。ジンバル部６１は、回転軸線が互いに交差する第１関節部（関節）６２、第２関節部（関節）６３、および第３関節部（関節）６４を有する。また、ジンバル部６１は、第１関節部６２の回転角度を検出する第１関節センサ（角度センサ）６２ｓ、第２関節部６３の回転角度を検出する第２関節センサ（角度センサ）６３ｓ、および第３関節部６４の回転角度を検出する第３関節センサ（角度センサ）６４ｓを有する。
　第１関節部６２は、第２リンク部５６に隣接して配置される。第１関節部６２は、その回転軸線が水平方向から斜め上方へ延びるように配置されている。より好ましくは、例えば、第１関節部６２は、その回転軸線が水平方向に対し４５°の角度で斜め上方へ延びるように配置されていても良い。
　第２関節部６３は、第１関節部６２と第３関節部６４との間に配置される。第３関節部６４は、把持部６５に隣接して配置される。なお、第１～第３関節部６２～６４は、回転軸回りの回転が可能であればよく、具体的な構成は限定されない。
　把持部６５は、ジンバル部６１と隣接する位置、言い換えるとアーム装置５０の前端に配置される。把持部６５は、手術具７０を把持することができる構成であればよく、具体的な構成は限定されない。
　推定装置１０は、アーム装置５０に把持された手術具７０におけるピボット位置Ｐpの推定を行う。該ピボット位置Ｐpは、例えば、アーム装置５０を制御する制御部などへ出力される。また、該ピボット位置Ｐpは、アーム装置５０にて用いられる座標系における位置として表現されても良い。
　推定装置１０は、図１および図２に示すように、ＣＰＵ１０ａ（中央演算処理ユニット）、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。ＣＰＵ１０ａは、ＲＯＭ１０ｂに記憶されたプログラム、又はＲＡＭ１０ｃにロードされたプログラムを実行する。該プログラムの実行により、少なくとも取得部１１、記憶部１２、ベクトル算出部１３、内積算出部１４、および、更新部１５としての機能が発揮される。また、プログラムを実行することで、プログラムに対応する方法が実行される。この例では、ＲＯＭ１０ｂ又はＲＡＭ１０ｃが、プログラムを格納した非遷移的実体的記憶媒体に該当する。なお、推定装置１０にＣＰＵを有さない電子回路（例えば、ＡＳＩＣ等の集積回路）を設け、該電子回路により、推定装置１０の全部又は一部の機能を実現しても良い。
　取得部１１は、回転センサ５２ｓ、第１リンクセンサ５５ｓ、第２リンクセンサ５６ｓ、第１関節センサ６２ｓ、第２関節センサ６３ｓ、および第３関節センサ６４ｓから出力される回転角度を取得する。
　取得部１１は、取得した回転角度に基づいて、アーム装置５０の把持部６５の向き、または、手術具７０の向きを表すベクトルｎに関する情報であるベクトル情報を算出する。また、取得部１１は、第１移動ベクトルΔＰp´の情報（以後、第１情報）、および、第２移動ベクトルΔＰrの情報（以後、第２情報）も同様に算出する。なお、第１移動ベクトルΔＰp´は、手術具７０における後述する仮のピボット位置（換言すれば、第１位置）Ｐp´の移動を表す。換言すれば、第１移動ベクトルΔＰp´は、手術具７０における第１位置が設けられた部分の移動を表す。また、第２移動ベクトルΔＰrは、手術具７０における把持部６５側の端部である後端部（換言すれば、第２位置）Ｐrの移動を表す。換言すれば、第２移動ベクトルΔＰrは、手術具７０における第２位置が設けられた部分の移動を表す。
　なお、本実施形態では、一例として、第２移動ベクトルΔＰrは、手術具７０における後端部Ｐrの移動を表す。しかし、これに限らず、手術具７０における仮のピボット位置Ｐp´とは異なる後端部以外の位置を第２位置とし、第２移動ベクトルΔＰrは、この第２位置の移動を表しても良い。
　記憶部１２は、例えばＲＡＭ１０ｃとして構成されており、予め定められた第１距離ｄ´の値が記憶される。第１距離ｄ´は、アーム装置５０の前端位置と、手術具７０の向きを表すベクトルｎとともに、アーム装置５０に対するピボット位置Ｐpの推定に用いられる。
　具体的には、第１距離ｄ´は、アーム装置５０の前端位置から仮のピボット位置Ｐp´までの距離を表す。本実施形態では、一例として、アーム装置５０の前端位置が、アーム装置５０に把持される手術具７０の後端側の基準点、より詳しくは、本体部７１の後端部Ｐrとなっている。つまり、手術具７０の後端部Ｐrから仮のピボット位置Ｐp´までの長さが、第１距離ｄ´となる。
　ここで、仮のピボット位置Ｐp´は、予め定められるものであり、真のピボット位置Ｐpの推定を行う際に用いられる。そのため、真のピボット位置Ｐpと、仮のピボット位置Ｐp´とは、一致していても良いし、異なっていても良い。なお、仮のピボット位置Ｐp´は、手術具７０上に設定されていることが好ましいが、手術具７０の外部に設定されていても良い。
　なお、第１距離ｄ´の算出に際して、アーム装置５０の前端位置に替えて、手術具７０の前端側の基準点、より詳しくは、例えば前端部を用いても良い。この場合、第１距離ｄ´は、手術具７０の前端部から仮のピボット位置Ｐp´までの長さとなる。
　ベクトル算出部１３は、手術具７０の軸線Ｌ方向を算出すると共に、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥を算出する。ここで、手術具７０の軸線Ｌ方向は、ベクトル情報に基づいて算出される。また、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥は、それぞれ、第１移動ベクトルΔＰp´および第２移動ベクトルΔＰrにおける軸線Ｌ方向に垂直な成分である。
　内積算出部１４は、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥の内積を算出する。
　更新部１５は、内積の値に所定の係数ｋを乗じた値を、記憶部１２に記憶されている第１距離ｄ´に加えることで、新たな第１距離ｄ´を算出する。さらに、記憶部１２に記憶されていた第１距離ｄ´の値を、当該算出により求められた新たな第１距離ｄ´の値に更新する。
　次に、推定装置１０によるピボット位置Ｐpの推定を行う算出処理について説明する。まず、図３を参照しながら、ピボット位置Ｐpを記述する式について説明する。ピボット位置Ｐpは、後端部Ｐr（アーム装置５０の前端位置）と、ベクトルｎと、距離ｄを用いて以下の式（１）により記述される。
Figure JPOXMLDOC01-appb-M000001
 　次に、ピボット位置Ｐpの推定を行う算出処理について説明する。推定装置１０は、図４に示すピボット位置Ｐpの推定を行う算出処理が開始されると、予め定められたサンプリング周期に従って、繰り返し算出処理を行う。算出処理は、少なくとも、アーム装置５０の操作が終了するまで継続される。
　算出処理では、まず、取得部１１が、アーム装置５０における手術具７０を把持する把持部６５の向きまたは手術具７０の向きを表すベクトルｎに関する情報であるベクトル情報を取得する（Ｓ１１）。具体的には、取得部１１は、回転センサ５２ｓ、第１、第２リンクセンサ５５ｓ、５６ｓ、及び、第１～第３関節センサ６２ｓ～６４ｓ（以後「回転センサ５２ｓ等」とも表記する。）から出力される回転角度を取得する。その後、取得部１１は、取得した回転角度に基づいて、ベクトルｎに関する情報であるベクトル情報を算出する。
　次に、取得部１１は、第１移動ベクトルΔＰp´についての上述した第１情報、および、第２移動ベクトルΔＰrについての上述した第２情報を取得する（Ｓ１２）。具体的には、取得部１１は、直近に取得した回転センサ５２ｓ等から出力された回転角度と、それ以前（例えば更に前のサンプリング周期）で取得した回転センサ５２ｓ等から出力された回転角度と、に基づいて、第１及び第２情報を算出する。
　その後、ベクトル算出部１３は、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥を算出する（Ｓ１３）。具体的には、ベクトル算出部１３は、まずベクトルｎに関する情報であるベクトル情報に基づいて手術具７０の軸線Ｌ方向を算出する。次いで、ベクトル算出部１３は、第１及び第２情報と、手術具７０の軸線Ｌ方向とに基づいて、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥を算出する（図４参照。）。
　第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥を算出すると、内積算出部１４は、第１垂直ベクトルΔＰp⊥´および第２垂直ベクトルΔＰr⊥の内積の値Δｄ´を算出する（Ｓ１４）。
　例えば、図５に示すように、第１距離ｄ´が、アーム装置５０の前端位置からピボット位置Ｐpまでの第２距離ｄよりも大きい場合、仮のピボット位置Ｐp´が、ピボット位置Ｐpよりも手術具７０の前端側に位置する。この場合、第１垂直ベクトルΔＰp⊥´の向きと、第２垂直ベクトルΔＰr⊥の向きとは逆方向となる。そのため、第１及び第２垂直ベクトルの内積の値Δｄ´は負の値となる。
　その一方で、図６に示すように、第１距離ｄ´が、第２距離ｄよりも小さい場合、仮のピボット位置Ｐp´が、ピボット位置Ｐpよりも後端部Ｐr側に位置する。この場合、第１垂直ベクトルΔＰp⊥´の向きと、第２垂直ベクトルΔＰr⊥の向きとは同方向となる。そのため、第１及び第２垂直ベクトルの内積の値Δｄ´は正の値となる。
　内積の値Δｄ´を算出すると、更新部１５は、第１距離ｄ´を修正して更新する（Ｓ１５）。具体的には、更新部１５は、内積の値Δｄ´に所定の係数ｋ（但しｋは正の値）を乗じた値を、記憶部１２に記憶されている第１距離ｄ´に加算する。さらに更新部１５は、記憶されている第１距離ｄ´の値を、当該加算により得られた値に更新する。
　例えば、図５に示す場合には、上記更新により第１距離ｄ´が小さくなり、第１距離ｄ´は第２距離ｄに近づく。その一方で、図６に示す場合には、上記更新により第１距離ｄ´が大きくなり、第１距離ｄ´は第２距離ｄに近づく。
　上記係数ｋは、所望の値に設定することができる。例えば、係数ｋの値を大きくすると、第１距離ｄ´を第２距離ｄに早く近づけることができる。しかし、第１距離ｄ´が第２距離ｄに収束しにくくなる可能性がある。また、係数ｋの値を小さくすると、第１距離ｄ´が第２距離ｄにゆっくりと近づき、第１距離ｄ´が第２距離ｄに収束しやすくなる。
　なお、第１距離ｄ´が手術具７０の前端部から仮のピボット位置Ｐp´までの距離を表す場合には、図７に示すように、Ｓ１５にて第１距離ｄ´を更新するために用いられる内積の値Δｄ´の正負が反転する。第１距離ｄ´が第２距離ｄよりも大きい場合には、内積の値Δｄ´が正の値となり、第１距離ｄ´が第２距離ｄよりも小さい場合には、内積の値Δｄ´が負の値となる。そのため、係数ｋは負の値であるのが好ましい。
　上記推定装置１０によれば、仮のピボット位置（第１位置）Ｐp´の第１垂直ベクトルΔＰp⊥´と、仮のピボット位置Ｐp´とは異なる第２位置の第２垂直ベクトルΔＰr⊥とが算出される。そして、第１及び第２垂直ベクトルの内積に基づいて、第１距離ｄ´が更新される。これにより、手術具７０におけるピボット位置Ｐpの推定が可能となる。
　また、手術具７０における後端部Ｐrが、第２位置として設定される。これにより、手術具７０におけるピボット位置Ｐpの推定が容易となる。
　また、ベクトル情報として、回転センサ５２ｓ等により測定されたアーム装置５０の関節の回転角度が用いられる。このため、ベクトル情報の取得が容易になる。
　また、第１移動ベクトルΔＰp´についての第１情報、および、第２移動ベクトルΔＰrについての第２情報として、少なくとも所定の時間間隔をあけて回転センサ５２ｓ等により測定された回転角度が用いられる。このため、第１及び第２情報の取得が容易になる。
　また、所定のサンプリング周期ごとに第１距離ｄ´の更新が繰り返し行われる。これにより、手術具７０におけるピボット位置Ｐpの推定精度を高めることができる。さらに、何らかの原因で手術具７０におけるピボット位置Ｐpが移動して推定精度が悪化した場合であっても、サンプリング周期ごとに第１距離ｄ´の更新が繰り返されることにより、ピボット位置Ｐpの推定精度を再び高めることができる。
　なお、本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、上記の実施の形態において推定装置１０は、アーム装置５０およびその制御部とは別に配置される例に適用して説明したが、推定装置１０は、アーム装置５０およびその制御部の内部に組み込まれたものであってもよい。
　また、上述した推定装置１０のほか、当該推定装置１０を構成要素とするシステム、当該推定装置１０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、推定装置１０が実行する処理に相当する方法等、種々の形態で本開示を実現することもできる。

Claims (7)

  1. 　少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行う推定装置であって、
    　前記手術具における前記後端側の基準点から仮のピボット位置である第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さである第１距離が記憶される記憶部と、
    　前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報と、前記手術具における前記第１位置の移動に関する第１情報と、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報と、を取得する取得部と、
    　前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出するベクトル算出部と、
    　前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出する内積算出部と、
    　前記内積の値に所定の係数を乗じた値を、前記記憶部に記憶されている前記第１距離に加えることで、前記第１距離を更新する更新部と、
    　を備える推定装置。
  2. 　前記第２位置は、前記手術具における後端部に設けられる
    　請求項１記載の推定装置。
  3. 　前記ベクトル情報は、角度センサにより測定された前記少なくとも１つの関節における回転角度であり、
    　前記ベクトル算出部は、前記角度センサから取得された前記回転角度に基づいて、前記手術具の軸線方向を算出する
    　請求項１または２に記載の推定装置。
  4. 　前記第１情報および前記第２情報は、所定の時間間隔をあけて測定された前記少なくとも１つの関節における回転角度を含み、
    　前記ベクトル算出部は、前記所定の時間間隔をあけて測定された前記少なくとも１つの関節における回転角度に基づいて、前記第１垂直ベクトルおよび前記第２垂直ベクトルを算出する
    　請求項１から３のいずれか１項に記載の推定装置。
  5. 　前記取得部は、予め定められた所定のサンプリング周期ごとに前記ベクトル情報、前記第１情報、および、前記第２情報を取得し、
    　前記ベクトル算出部は、前記所定のサンプリング周期ごとに前記第１垂直ベクトルおよび前記第２垂直ベクトルを算出し、
    　前記内積算出部は、前記所定のサンプリング周期ごとに前記内積を算出し、
    　前記更新部は、前記所定のサンプリング周期ごとに前記第１距離を更新する
    　請求項１から４のいずれか１項に記載の推定装置。
  6. 　少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行う推定方法であって、
    　前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報を取得し、
    　前記手術具における仮のピボット位置である第１位置の移動に関する第１情報、および、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報を取得し、
    　取得した前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出し、
    　前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出し、
    　前記手術具における前記後端側の基準点から前記第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さを第１距離とし、前記内積の値に所定の係数を乗じた値を、前記第１距離に加えることで、前記第１距離を更新する
    　推定方法。
  7. 　少なくとも１つの関節を有するアームの把持部により後端側が把持された手術具におけるピボット位置の推定を行うプログラムであって、
    　コンピュータに
    　前記アームの前記把持部の向きまたは前記手術具の向きに関する情報であるベクトル情報を取得する機能と、
    　前記手術具における仮のピボット位置である第１位置の移動に関する第１情報、および、前記手術具における前記第１位置とは異なる第２位置の移動に関する第２情報を取得する機能と、
    　取得した前記ベクトル情報に基づいて前記手術具の軸線方向を算出し、前記第１情報、前記第２情報、および前記手術具の軸線方向に基づいて、前記第１位置の移動のベクトルにおける前記軸線方向に垂直な成分である第１垂直ベクトル、および、前記第２位置の移動のベクトルにおける前記軸線方向に垂直な成分である第２垂直ベクトルをそれぞれ算出する機能と、
    　前記第１垂直ベクトルおよび前記第２垂直ベクトルの内積を算出する機能と、
    　前記手術具における前記後端側の基準点から前記第１位置までの長さ、または、前記手術具における前記後端とは反対側の端部である前端側の基準点から前記第１位置までの長さを第１距離とし、前記内積の値に所定の係数を乗じた値を、第１距離に加えることで、前記第１距離を更新する機能と、
    　を実現させるプログラム。
PCT/JP2019/033810 2018-08-30 2019-08-28 推定装置、推定方法、およびプログラム WO2020045538A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980024045.3A CN112004495B (zh) 2018-08-30 2019-08-28 推算装置、推算方法、以及程序
US16/967,058 US11890062B2 (en) 2018-08-30 2019-08-28 Estimation device, estimation method, and program
EP19853872.0A EP3735930A4 (en) 2018-08-30 2019-08-28 ESTIMATION DEVICE, ESTIMATION PROCESS AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-161363 2018-08-30
JP2018161363A JP6685052B2 (ja) 2018-08-30 2018-08-30 推定装置、推定方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2020045538A1 true WO2020045538A1 (ja) 2020-03-05

Family

ID=69642764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033810 WO2020045538A1 (ja) 2018-08-30 2019-08-28 推定装置、推定方法、およびプログラム

Country Status (5)

Country Link
US (1) US11890062B2 (ja)
EP (1) EP3735930A4 (ja)
JP (1) JP6685052B2 (ja)
CN (1) CN112004495B (ja)
WO (1) WO2020045538A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12075984B2 (en) * 2021-07-14 2024-09-03 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000505328A (ja) * 1996-02-20 2000-05-09 コンピュータ・モーション・インコーポレーテッド 侵襲を最小に抑えた心臓手術を施術するための方法および装置
WO2006124390A2 (en) * 2005-05-19 2006-11-23 Intuitive Surgical, Inc Software center and highly configurable robotic systems for surgery and other uses
JP2015524309A (ja) * 2012-08-02 2015-08-24 コーニンクレッカ フィリップス エヌ ヴェ ロボット遠隔運動中心のコントローラ定義
JP2018088996A (ja) 2016-11-30 2018-06-14 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US9517106B2 (en) * 1999-09-17 2016-12-13 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
JP5030639B2 (ja) * 2007-03-29 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置の処置具位置制御装置
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP6150130B2 (ja) * 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP6305088B2 (ja) * 2014-02-07 2018-04-04 オリンパス株式会社 手術システムおよび手術システムの作動方法
CN106456265B (zh) * 2014-03-17 2019-07-30 直观外科手术操作公司 使用逆运动学在关节极限下的遥控操作手术系统和控制方法
CN110478036B (zh) * 2014-10-27 2022-05-17 直观外科手术操作公司 用于集成手术台的系统和方法
GB201419645D0 (en) * 2014-11-04 2014-12-17 Cambridge Medical Robotics Ltd Characterising motion constraints
WO2017109912A1 (ja) * 2015-12-24 2017-06-29 オリンパス株式会社 医療用マニピュレータシステムとその画像表示方法
JP6831642B2 (ja) * 2016-04-15 2021-02-17 川崎重工業株式会社 外科手術システム
WO2018109851A1 (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 医療用マニピュレータシステム
CN107300100B (zh) * 2017-05-22 2019-05-14 浙江大学 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
WO2021067438A1 (en) * 2019-09-30 2021-04-08 Mako Surgical Corp. Systems and methods for guiding movement of a tool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000505328A (ja) * 1996-02-20 2000-05-09 コンピュータ・モーション・インコーポレーテッド 侵襲を最小に抑えた心臓手術を施術するための方法および装置
WO2006124390A2 (en) * 2005-05-19 2006-11-23 Intuitive Surgical, Inc Software center and highly configurable robotic systems for surgery and other uses
JP2015524309A (ja) * 2012-08-02 2015-08-24 コーニンクレッカ フィリップス エヌ ヴェ ロボット遠隔運動中心のコントローラ定義
JP2018088996A (ja) 2016-11-30 2018-06-14 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3735930A4

Also Published As

Publication number Publication date
US20210030484A1 (en) 2021-02-04
CN112004495A (zh) 2020-11-27
CN112004495B (zh) 2022-09-20
JP2020031902A (ja) 2020-03-05
EP3735930A4 (en) 2021-08-25
JP6685052B2 (ja) 2020-04-22
EP3735930A1 (en) 2020-11-11
US11890062B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
JP7229319B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
JP6112300B2 (ja) マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム
JP2020506436A5 (ja)
WO2020045538A1 (ja) 推定装置、推定方法、およびプログラム
JP2019072259A (ja) 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法
CN111936078B (zh) 臂装置、控制方法以及程序
CN114554998B (zh) 手术机器人系统、外力推定装置以及程序
JP6388686B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
CN115781690B (zh) 多关节机械臂的控制方法、装置、电子设备及存储介质
CN116831729A (zh) 一种手术机器人内窥镜视野下器械提示方法及系统
JP7153335B2 (ja) 手術支援装置
WO2018150489A1 (ja) 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム
JP2020028645A (ja) 推定システム、推定方法およびプログラム
WO2023021538A1 (ja) マニピュレータシステム、制御装置及び形状推定方法
WO2017169143A1 (ja) 情報処理装置、情報処理方法及びキャリブレーションシステム
JP5829164B2 (ja) 医療機器システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19853872

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019853872

Country of ref document: EP

Effective date: 20200803

NENP Non-entry into the national phase

Ref country code: DE