WO2018229825A1 - 挿入支援システムと挿入支援方法 - Google Patents

挿入支援システムと挿入支援方法 Download PDF

Info

Publication number
WO2018229825A1
WO2018229825A1 PCT/JP2017/021625 JP2017021625W WO2018229825A1 WO 2018229825 A1 WO2018229825 A1 WO 2018229825A1 JP 2017021625 W JP2017021625 W JP 2017021625W WO 2018229825 A1 WO2018229825 A1 WO 2018229825A1
Authority
WO
WIPO (PCT)
Prior art keywords
rotation
unit
information
vector
calculation unit
Prior art date
Application number
PCT/JP2017/021625
Other languages
English (en)
French (fr)
Inventor
良 東條
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201780091957.3A priority Critical patent/CN110740674B/zh
Priority to PCT/JP2017/021625 priority patent/WO2018229825A1/ja
Publication of WO2018229825A1 publication Critical patent/WO2018229825A1/ja
Priority to US16/703,978 priority patent/US11696675B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras

Definitions

  • an insertion support method includes a plurality of pieces of positional information regarding a plurality of positions of an insertion portion to be inserted into a body to be inserted, and a plurality of directions in the longitudinal axis direction of the insertion portion.
  • First information that is at least one of vector information is acquired, second information relating to a rotation amount of the insertion portion is calculated based on the first information, and the second information is output.
  • FIG. 11A is a diagram illustrating a positional relationship between a first rotation detection point and a first rotation reference point in the insertion unit.
  • FIG. 11B is a diagram illustrating a positional relationship between the first rotation detection point and the first rotation reference point in the insertion portion in the process of changing to an N shape.
  • FIG. 11C is a diagram illustrating a positional relationship between the first rotation detection point and the first rotation reference point in the N-shaped insertion portion.
  • FIG. 12A is a diagram of the positional relationship between the first rotation detection point and the first rotation reference point shown in FIG. 11A when viewed from the XZ plane with the first rotation reference point as the origin.
  • 12B is a diagram of the positional relationship between the first rotation detection point and the first rotation reference point shown in FIG.
  • the insertion device 20 is connected to the insertion portion 30 to be inserted into the body to be inserted, the base end portion of the insertion portion 30, the operation portion 40 for operating the insertion device 20, and the cord 50 connected to the operation portion 40. And have.
  • the cord 50 is disposed at an end portion of the cord 50 and has a connector portion (not shown) that is detachable from the control device 60.
  • the insertion part 30 is, for example, hollow and elongated.
  • the insertion portion 30 includes, in order from the distal end portion to the proximal end portion of the insertion portion 30, a distal end hard portion 31 in which various internal members (not shown) corresponding to the application of the insertion device 20 are disposed, and a desired direction. It has a bendable portion 33 that can be bent by a desired amount, and a flexible tube portion 35 that is flexible and bends by an external force.
  • the distal end hard portion 31 and the bendable portion 33 are shorter than the flexible tube portion 35. Therefore, in the present embodiment, the distal end hard portion 31, the bendable portion 33, and the distal end portion of the flexible tube portion 35 are regarded as the distal end portion of the insertion portion 30.
  • the bendable portion 33 has a length of about 15 cm, for example.
  • the bendable portion 33 is connected to a bending operation unit (not shown) arranged in the operation unit 40 via an operation wire (not shown) arranged inside the insertion unit 30.
  • the bendable portion 33 can be bent in a desired direction by a desired amount by pulling the operation wire by the operation of the bending operation portion.
  • the operation unit 40 is held by one hand of the operator of the insertion support system 10.
  • the operator inserts the insertion portion 30 into the inserted body from the opening of the inserted body (for example, the anus of the patient).
  • the display unit 70 displays an internal image of the insertion object imaged by the imaging element. Then, the operator observes and treats the inside of the insertion object while viewing the image displayed on the display unit 70.
  • the control device 60 includes an image processing unit (not shown), a support information calculation unit 61, an output unit 63, a detection control unit 81, and a position shape acquisition unit 87. At least one of the image processing unit, the support information calculation unit 61, the output unit 63, the detection control unit 81, and the position shape acquisition unit 87 is configured by a hardware circuit including, for example, an ASIC. At least one of these may be constituted by a processor. When at least one of these is constituted by a processor, an internal memory or an external memory (not shown) that can be accessed by the processor is arranged in the control device 60. The internal memory or the external memory stores program code for causing the processor to function as at least one of these when executed by the processor.
  • the detection control unit 81 is electrically connected to the magnetic field generation unit 83 through an electric signal line 89.
  • an electric signal line 89 For clarity of illustration, only one electric signal line 89 is illustrated across each magnetic field generation unit 83, but actually, two electric signal lines 89 are provided in each magnetic field generation unit 83.
  • Each of the electrical signal lines 89 is connected to the detection control unit 81.
  • the three magnetic field generators 83 arranged in the bendable portion 33 include the distal end portion of the bendable portion 33, the proximal end portion of the bendable portion 33, the distal end portion of the bendable portion 33, and the bendable portion 33. Located in the middle with the proximal end.
  • the magnetic field generator 83 is configured by, for example, a magnetic coil.
  • the state acquisition device 80 calculates a plurality of position information and a plurality of direction vector information, but at least a rotation amount described later between the plurality of position information of the insertion unit 30 and the plurality of direction vector information of the insertion unit 30. What is necessary is just to acquire the 1st information which is information required according to the calculation method.
  • the position shape acquisition unit 87 further acquires shape information of the insertion unit 30 based on a plurality of pieces of position information of the insertion unit 30.
  • the position shape acquisition unit 87 outputs the first information and the shape information of the insertion unit 30 as the acquisition result to the support information calculation unit 61.
  • the position shape acquisition unit 87 may output at least one of the first information and the shape information of the insertion unit 30 as an acquisition result to the display unit 70 through the output unit 63.
  • the position shape acquisition unit 87 can acquire the amount of rotation of the coil, that is, the amount of rotation of the insertion unit 30 based on the intensity of the changed magnetic field.
  • the internal space of the elongated member such as the insertion portion 30 is narrow, and it is not easy to arrange two coils.
  • the insertion part 30 becomes thick and there exists a possibility that the insertability of the insertion part 30 may fall.
  • FIG. 2 shows the insertion portion 30 and the magnetic field generation portion 83 that is a uniaxial coil disposed inside the insertion portion 30.
  • the support information calculation unit 61 rotates the rotation amount of the insertion unit 30. Cannot be computed. Therefore, in order to calculate the rotation amount of the insertion portion 30 using the two magnetic field generation portions 83a and 83b, the bendable portion 33 is bent in advance with respect to the distal end portion of the flexible tube portion 35. There is a need. Therefore, when the support information calculation unit 61 calculates the rotation amount of the insertion unit 30, the support information calculation unit 61 outputs an instruction to the display unit 70 through the output unit 63.
  • the display unit 70 may display that the bending operation on the bendable portion 33 is fixed and the bendable portion 33 is not bent. Thereby, the calculation accuracy is improved.
  • the shape of the insertion portion 30 is the shape of the insertion target.
  • the shape may change from one shape to another due to the insertion operation, and the orientation of the distal end portion of the insertion portion 30 may change inside the inserted body. That is, although not shown, the direction of the reference vector VB serving as a reference changes compared to before the insertion operation including the rotation operation is performed, and both the direction of the rotation detection vector VA and the direction of the reference vector VB change. End up. That is, when the shape changes, the rotation detection vector VA includes factors other than the rotation operation, and the direction changes.
  • the support information calculation unit 61 performs a rotation calculation for obtaining the rotation vector VA in a state where the reference vector VB faces the same direction before and after the insertion operation.
  • the X axis, the Y axis orthogonal to the X axis, and the Z axis orthogonal to the X axis and the Y axis are defined.
  • the reference vector VB is in the Y-axis direction before the insertion operation including the rotation operation is performed.
  • the shape of the insertion portion 30 is changed after the insertion operation including the rotation operation is performed, and the reference vector VB is in a direction different from the Y axis due to the change.
  • the support information calculation unit 61 performs a rotation calculation on the rotation detection vector VA.
  • the support information calculation unit 61 can calculate the rotation amount of the insertion unit 30 based on the rotation detection vector VA.
  • the support information calculation unit 61 sets an angle ⁇ 0 between a vector obtained by projecting the rotation detection vector VA on the XZ plane (hereinafter referred to as a projection vector VC) and the Z axis to the rotation amount of the insertion unit 30 with respect to the Z axis.
  • the support information calculation unit 61 performs the rotation calculation so that the reference vector VB after the rotation operation of the insertion unit 30 is in the same direction as the reference vector VB before the rotation operation of the insertion unit 30. Perform on vector VA. Further, the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the rotation detection vector VA rotated by the rotation calculation with respect to the rotation detection vector after the rotation operation.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on changes in a plurality of direction vector information such as the rotation detection vector VA and the reference vector VB.
  • the reference vector VB is in the Y-axis direction according to the shape of the insertion portion 30.
  • the loop of the insertion portion 30 extends in the direction of the patient's abdomen and back from the structure of the large intestine of the patient who is the insertion object. It is difficult to spread in the direction from one flank to the other flank of the patient or from the anus to the diaphragm.
  • the Y-axis direction indicates the direction from the anus to the diaphragm
  • the Z-axis direction indicates the direction from the back to the abdomen.
  • the loop of the insertion unit 30 is often made in a plane parallel to the XY plane and spreads in a plane parallel to the XY plane. Therefore, when the rotation operation is performed in the order around the Z axis and the X axis, the loop is eliminated and the insertion portion 30 returns to a substantially linear shape.
  • a loop may be formed on a plane parallel to the YZ plane.
  • the support information calculation unit 61 cannot calculate the rotation amount of the insertion unit 30 with respect to the Z axis. Therefore, when a loop is formed on the YZ plane as shown in FIG. 4B, for example, the rotation calculation is performed in the order of calculation of a rotation matrix rotating around the X axis and calculation of a rotation matrix rotating around the Z axis. The Then, factors other than the rotation operation are removed. Then, the support information calculation unit 61 can calculate the amount of rotation of the insertion unit 30 with respect to the Z axis.
  • the support information calculation unit 61 can calculate the rotation amount corresponding to various shapes of the insertion unit 30 by changing the calculation order of the rotation matrix according to the direction of the loop. Further, the vector rotation calculation increases the calculation accuracy by performing a calculation to return the shape of the insertion unit 30 on the operation unit 40 side to the shape before the rotation operation with respect to the reference vector VB.
  • the support information calculation unit 61 calculates the amount of rotation of the insertion unit 30 with respect to the Z axis, but is not limited to this.
  • the support information calculation unit 61 may calculate the amount of rotation of the insertion unit 30 with respect to the X axis or the Y axis. Further, the support information calculation unit 61 may calculate the rotation amount of the insertion unit 30 based on an arbitrary angle. As shown in FIG. 5, for example, the rotation detection vector at the time when a switch (not shown) arranged in the operation unit 40 is pressed is set as the rotation detection vector VA1, the projection vector of the rotation detection vector VA1 is set as the projection vector VC1, and the projection vector is displayed. An angle between VC1 and the Z axis is defined as an angle ⁇ 1.
  • the insertion section further rotates, the rotation detection vector after rotation is set as the rotation detection vector VA2, the projection vector of the rotation detection vector VA2 is set as the projection vector VC2, and the angle between the projection vector VC2 and the Z axis is set as the angle ⁇ 2. .
  • the support information calculation unit 61 calculates the angles ⁇ 1 and ⁇ 2 as the amount of rotation of the insertion unit 30 with respect to the Z axis. Then, the support information calculation unit 61 calculates the angle ( ⁇ 2 ⁇ 1) as the rotation amount of the insertion unit 30 from the time when the switch is pressed.
  • the rotation amount of the insertion unit 30 calculated by the support information calculation unit 61 is transmitted to the output unit 63.
  • the output unit 63 outputs the amount of rotation of the insertion unit 30 to the outside of the control device 60, for example, the display unit 70.
  • the display part 70 displays the rotation amount of the insertion part 30 with a character and a symbol, for example.
  • the display unit 70 may output the amount of rotation of the insertion unit 30 as a sound.
  • the output destination of the output unit 63 is not limited to the display unit 70.
  • the output unit 63 may feed back the rotation amount of the insertion unit 30 to a support system (not shown) that presents support information that supports the insertion operation.
  • the support system may present support information including the amount of rotation of the insertion unit 30 to the operator.
  • the support information is not limited to including the rotation amount of the insertion unit 30 calculated by the support information calculation unit 61 based on the calculation result of the state acquisition device 80.
  • a gravity sensor is disposed in the operation unit 40 or the insertion unit 30 and calculates a change in the direction of gravity.
  • the support information may include the rotation amount of the insertion unit 30 calculated by the support information calculation unit 61 based on the calculation result of the gravity sensor.
  • the rotation amount of the bending operation unit may be detected by a rotary encoder or a potentiometer, and the rotation amount of the bending operation unit may be presented as support information.
  • the control device 60 may include a storage unit (not shown) that stores the rotation amount of the insertion unit 30, and the output unit 63 may output the rotation amount of the insertion unit 30 to a storage unit as an output destination.
  • the shape change of the insertion portion 30 other than the bendable portion 33 that is, the change in the position coordinates of the insertion portion 30 is usually small.
  • the change in the position coordinates of the insertion portion 30 other than the bendable portion 33 is large. Therefore, before and after the direction of the projection vector VC changes, a threshold value is set in advance for the average of changes in a plurality of position coordinates of a portion other than the bendable portion 33 (for example, the flexible tube portion 35).
  • the plurality of direction vector information which is the first information used in the present embodiment, is based on the direction vector information of the magnetic field generation unit 83, but a plurality of direction vector information detected by other methods may be used.
  • the direction vector information that is the first information may be calculated based on the position information of the plurality of magnetic field generation units 83, and / or the direction information that is the first information by interpolating the position information of each of the magnetic field generation units 83.
  • Vector information may be computed. For example, with respect to the point P i at which the direction vector is calculated, in the longitudinal direction of the insertion portion 30, position information of a point P i-1 adjacent to the distal end side of the insertion portion 30 and a point P i + 1 adjacent to the operation portion 40 side. P i ⁇ 1 ⁇ P i + 1 may be used as the direction vector of P i .
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the plurality of direction vector information of each of the plurality of magnetic field generation units 83. Thereby, even if a magnetic state detection unit using a single-axis coil is arranged, the rotation amount of the insertion unit 30 can be calculated, and the rotation amount can be output by the output unit 63.
  • the output unit 63 outputs the rotation amount of the insertion unit 30 to the display unit 70, and the display unit 70 displays the rotation amount.
  • the rotation amount of the insertion portion 30 that cannot be directly seen because it is inserted into the inserted body can be provided to the operator as support information for insertion, insertion can be supported, and insertability can be improved.
  • the rotation detection vector VA in a state where the direction of the reference vector VB is directed to the Y-axis direction is obtained by rotation calculation.
  • the direction of the rotation detection vector VA is returned by the rotation calculation.
  • the rotation detection vector VA after the rotation operation in which the change in direction due to factors other than the rotation operation is eliminated or reduced is obtained.
  • the support information calculation unit 61 can calculate the rotation amount of the insertion unit 30 based on the rotation detection vector VA. That is, even if the orientation of the distal end portion of the insertion portion 30 changes before and after the insertion operation in the inserted body, the rotation amount of the insertion portion 30 can be calculated.
  • the support information calculation unit 61 includes the bendable unit 33 arranged based on a plurality of pieces of position information (position coordinates) in the bendable unit 33 acquired by the position shape acquisition unit 87.
  • Calculated plane (hereinafter referred to as rotation detection plane 101).
  • the rotation detection plane 101 is a plane that approximates a plurality of pieces of position information (position coordinates), and is used for calculating the rotation amount of the insertion unit 30.
  • the calculation of the rotation detection plane 101 can be obtained by, for example, a generally known least square method.
  • the support information calculation unit 61 calculates the amount of rotation of the insertion unit 30 with respect to the Z axis, but is not limited to this.
  • the support information calculation unit 61 may use the rotation detection plane 101 to calculate the rotation amount of the insertion unit 30 with respect to the X axis or the Y axis. Further, the support information calculation unit 61 may calculate the rotation amount of the insertion unit 30 using the rotation detection plane 101 with an arbitrary angle as a reference. As shown in FIG. 8, for example, the angle ⁇ 4 between the rotation detection plane 101 and the YZ plane at the time when a switch (not shown) arranged in the operation unit 40 is pressed, and the insertion unit further rotates and rotates after rotation.
  • the plurality of position information (position coordinates) used to calculate the rotation detection plane 101 may not use all the position information (position coordinates) in the bendable portion 33. For example, as shown in FIG. 9, position information (positional coordinates) of three points P1, P2, and P3 of the distal end portion, the proximal end portion, and the intermediate position between the distal end portion and the proximal end portion of the bendable portion 33 is obtained. May be used.
  • the support information calculation unit 61 calculates the rotation detection plane 101 on which these are arranged based on the position information (position coordinates). As the position information (position coordinates) used is reduced, the amount of calculation is reduced, and the load on the support information calculation unit 61 is reduced.
  • the modification 2 of this embodiment is demonstrated.
  • the first information is described as a plurality of position information, specifically, a plurality of position coordinates.
  • the insertion portion 30 needs to change from the shape shown in FIG. 11A to the N-shape shown in FIG. 11C.
  • a clockwise rotation operation is performed. If the operator can grasp how much the rotation operation should be performed during the rotation operation, the insertion is supported. That is, the amount of rotation of the insertion portion 30 that is insufficient for the insertion portion 30 to change from the shape shown in FIG. 11A to an N shape is required as support information.
  • this rotation amount is referred to as an insufficient rotation amount.
  • FIG. 12A, FIG. 12B, and FIG. 12C correspond to FIG. 11A, FIG. 11B, and FIG. 11C, respectively, and show the positional relationship between the first rotation reference point P5 and the rotation detection point P4, and the first rotation reference point P5. It is a figure when it sees on an XZ plane as an origin.
  • the rotation detection point P4 rotates counterclockwise (counterclockwise) around the first rotation reference point P5.
  • the position of the rotation detection point P4 is different from the position of the rotation detection point P4 shown in FIG. 12A. Arranged on the opposite side.
  • an axis formed by connecting the origin shown in FIG. 12C and the rotation detection point P4 shown in FIG. 12C that is, the X axis in the example of FIG. Called).
  • the calculation reference axis may be calculated by the support information calculation unit 61 as an extension line of the line connecting the rotation detection point P4 shown in FIG. 11A and the first rotation reference point P5 shown in FIG. 11A.
  • the calculation reference axis is a reference axis for calculating the rotation amount of the insertion unit 30.
  • An angle formed between the rotation detection point P4 and the first rotation reference point P5 and the calculation reference axis and equal to or less than 180 ° is defined as an angle ⁇ 6. As can be seen from FIG. 12A, FIG. 12B, and FIG. 12C, when the angle ⁇ 6 reaches 0 °, the rotation operation ends, and this angle ⁇ 6 corresponds to the insufficient rotation amount.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on relative changes in a plurality of position information (position coordinates).
  • the plurality of pieces of position information here indicate the rotation detection point P4, the first rotation reference point P5, and the calculation reference axis.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the change in the angle ⁇ 6.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the distance ⁇ X between the rotation detection point P4 and the first rotation reference point P5. More specifically, the support information calculation unit 61 changes the state shown in FIG. 11A to the insufficient rotation amount necessary for the state shown in FIG. 11C based on the difference between the distance ⁇ X and the threshold value in FIG. Is calculated.
  • the insufficient rotation amount is not an angle around the longitudinal axis of the insertion portion 30 but a distance ⁇ X, which can be used as an index.
  • the operation support information calculates the rotation amount of the insertion unit 30 based on the distance ⁇ X in the XZ plane or the X coordinate. Thereby, even if the shape of the insertion portion 30 changes during the rotation operation, the calculation accuracy is improved.
  • the support information calculation unit 61 calculates the insufficient rotation amount based on a plurality of pieces of position information, but is not limited to this.
  • the plurality of position information that is the first information includes the second rotation reference point P8 that is disposed closer to the operation unit 40 than the first rotation reference point P5. You may have.
  • the X coordinate of the second rotation reference point P8 is close to the X coordinate of the first rotation reference point P5.
  • the support information calculation unit 61 is inserted based on the position of the rotation detection point P4 with respect to the reference line L that is a straight line including the first rotation reference point P5 and the second rotation reference point P8, instead of the first rotation reference point P5.
  • the rotation amount of the unit 30 may be calculated.
  • the direction vector information may include a reference vector VB that serves as a reference by correcting the rotation detection point P4.
  • the reference vector VB is, for example, a direction vector of the first rotation reference point P5.
  • the support information calculation unit 61 performs a rotation calculation on the rotation detection point P4 so that the reference vector VB after the rotation operation of the insertion unit 30 is in the same direction as the reference vector VB before the rotation operation of the insertion unit 30. Then, the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the rotation detection point P4 rotated by the rotation calculation.
  • a reference line L or a vector may be used for the rotation detection point P4 side.
  • the modification 3 of this embodiment is demonstrated.
  • the first information is described as a plurality of position information, specifically, a plurality of position coordinates.
  • the insertion support system 10 includes a first storage unit 65 that stores a plurality of algorithms including a certain algorithm used by the support information calculation unit 61 to calculate the rotation amount of the insertion unit 30.
  • the first storage unit 65 is disposed in the control device 60.
  • the plurality of algorithms include, for example, a geometric operation algorithm and a machine learning algorithm.
  • the geometric calculation algorithm is first information that is at least one of a plurality of position information of the insertion unit 30 and direction vector information of the insertion unit 30. This is an algorithm for geometrically calculating the rotation amount of the insertion section 30 based on the above.
  • the machine learning algorithm is constructed in advance by machine learning based on training data to be described later, and outputs the rotation amount from at least one of the plurality of position information of the insertion unit 30 and the direction vector information of the insertion unit 30 (first information). It is an algorithm to do.
  • Training data refers to a plurality of known data in which the amount of rotation of the insertion unit 30 is associated with at least one of position information and direction vector information.
  • the training data is, for example, a large amount of data obtained by measuring the rotation amount of the distal end of the insertion portion 30 with respect to the Z axis with respect to various shapes of the insertion portion 30.
  • the support information calculation unit 61 can estimate the shape other than the training data, that is, the relationship between the shape and the rotation amount as the rotation amount for the unknown shape.
  • the machine learning algorithm is normally built in advance and stored in the first storage unit 65 before the insertion support system 10 is driven.
  • the support information calculation unit 61 is data that associates at least one of the plurality of position information of the insertion unit 30 and the direction vector information of the insertion unit 30 with the rotation amount of the insertion unit 30 while the insertion support system 10 is driven.
  • the training data may be created from the result of measuring the rotation amount by a geometric calculation algorithm or other methods.
  • the first storage unit 65 may store a result derived by machine learning based on training data created during driving of the insertion support system 10 as a machine learning algorithm.
  • the machine learning algorithm may be reconstructed by adding training data created during driving of the insertion support system 10 to the already constructed machine learning algorithm.
  • the accuracy of results derived from machine learning generally increases as the number of training data increases. For this reason, the support information calculation unit 61 can estimate the rotation amount with higher accuracy by the machine learning algorithm reconstructed by adding the training data.
  • the first storage unit 65 may function as an internal memory or an external memory (not shown) that can be accessed by the processor.
  • the insertion support system 10 selects an algorithm used by the support information calculation unit 61 from among a plurality of algorithms, and a selection instruction unit 67 that instructs the support information calculation unit 61 of the selected algorithm, and the selection instruction unit 67 selects the algorithm.
  • it has the 2nd storage part 69 which memorizes a plurality of training data referred for selection.
  • the selection instruction unit 67 and the second storage unit 69 are arranged in the control device 60.
  • the selection instruction unit 67 is configured by a hardware circuit including, for example, an ASIC.
  • the selection instruction unit 67 may be configured by a processor.
  • an internal memory or an external memory (not shown) that can be accessed by the processor is arranged in the control device 60.
  • the internal memory or the external memory stores program code for causing the processor to function as at least one of these when executed by the processor.
  • the second storage unit 69 may function as this memory.
  • the selection instruction unit 67 compares the position information input from the position shape acquisition unit 87 with the training data stored in the second storage unit 69 and approximates the position information acquired by the position shape acquisition unit 87. Determine the presence or absence of data.
  • the following describes an example of a method for determining the presence or absence of approximate training data.
  • the selection instruction unit 67 determines that training data close to the position information input from the position shape acquisition unit 87 is stored in the second storage unit 69. For all training data, if the total distance is equal to or greater than the threshold value, the selection instruction unit 67 determines that training data close to the position information input from the position shape acquisition unit 87 is not stored in the second storage unit 69. .
  • the selection instruction unit 67 outputs an instruction to select a machine learning algorithm to the support information calculation unit 61.
  • the selection instruction unit 67 outputs an instruction to select a geometric calculation algorithm to the support information calculation unit 61.
  • the selection instruction unit 67 compares the first information with the training data, and selects a machine learning algorithm or a geometric algorithm from a plurality of algorithms based on the comparison result. Then, the selection instruction unit 67 instructs the support information calculation unit 61 to calculate the rotation amount using the selected algorithm.
  • the support information calculation unit 61 accesses the first storage unit 65 and is stored in the first storage unit 65 using an algorithm stored in the first storage unit 65 in accordance with an instruction output from the selection instruction unit 67.
  • the rotation amount of the insertion unit 30 is calculated using the plurality of position information of the insertion unit 30 and the direction vector information of the insertion unit 30.
  • the algorithm selection method has been described based on the comparison between the position information input from the position shape acquisition unit 87 and the training data stored in the first storage unit 65, the algorithm selection method Other methods may be used.
  • the rotation amount (0 ° to 360 °) is, for example, 36 labels in 10 ° increments (hereinafter referred to as rotation amount labels).
  • the support information calculation unit 61 first calculates a rotation amount label and its reliability by using a machine learning algorithm as input with position information as described above, and selects the most reliable rotation amount label and its reliability. Output to the instruction unit 67.
  • the selection instruction unit 67 is preset with a threshold value for reliability.
  • the selection instruction unit 67 compares the input reliability with a threshold value. When the reliability is equal to or higher than the threshold, the selection instruction unit 67 instructs the support information calculation unit 61 so that the support information calculation unit 61 outputs the result of the rotation amount label already calculated by the machine learning algorithm to the output unit 63. Is output. When the reliability is equal to or lower than the threshold, the selection instruction unit 67 determines that the reliability of the result of the machine learning algorithm is low. Then, the selection instruction unit 67 outputs an instruction to the support information calculation unit 61 so that the support information calculation unit 61 selects a geometric calculation algorithm, calculates the rotation amount, and outputs the calculation result to the output unit 63.
  • This embodiment is different from the first embodiment in that the support information calculation unit 61 calculates the posture change of the insertion target 200 based on the rotation amount of the insertion unit 30 that is the second information.
  • the calculation of posture change here refers to the amount of rotation of the inserted body 200 accompanying the posture change.
  • the insertion part 30 will also rotate with a posture change.
  • the support information calculation unit 61 can calculate the posture change of the insertion target 200 based on the rotation amount of the insertion unit 30 that is the second information.
  • the support information calculation unit 61 is based on a plurality of pieces of position information (position coordinates) of the insertion unit 30 inserted into the large intestine. Then, a plane (hereinafter referred to as the insertion plane 103) on which the insertion portion 30 is arranged in the large intestine is calculated.
  • the insertion plane 103 is a plane that approximates a plurality of pieces of position information (position coordinates), and is used for calculation with respect to the rotation amount of the insertion unit 30.
  • the calculation of the insertion plane 103 can be obtained by, for example, a generally known least square method.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the insertion plane 103.
  • the support information calculation unit 61 calculates the posture change, the support information calculation unit 61 stores the initial position of the insertion plane 103 formed on the YZ plane, that is, the position coordinates of the insertion unit 30 before rotating.
  • the support information calculation unit 61 calculates the amount of rotation of the insertion unit 30 as the second information, and the calculation result indicates that the insertion plane 103 changes from the YZ plane to the XY plane, for example, approximately 90. ° Calculate the rotation. And the support information calculating part 61 determines with the insertion plane 103 having rotated based on this calculation result.
  • the support information calculation unit 61 determines that the rotation operation is not performed and the posture change is performed.
  • the support information calculation unit 61 calculates the rotation amount of the insertion unit 30 based on the change in the angle of the insertion plane 103 rotated by the posture change, and regards the calculated rotation amount of the insertion unit 30 as the rotation amount of the insertion target 200.
  • the support information calculation unit 61 transmits the rotation amount of the insertion unit 30 and the rotation amount of the insertion target 200 to the output unit 63.
  • the output unit 63 outputs the rotation amount of the insertion unit 30 and the rotation amount of the insertion target 200 to the display unit 70. Then, the display unit 70 displays the rotation amount of the insertion unit 30 and the rotation amount of the insertion target 200.
  • the determination may be always performed after the initial position is stored, or may be performed at a desired timing.
  • the support information calculation unit 61 may determine the type of posture based on the angle of the insertion plane 103 with respect to the YZ plane.
  • the loop of the insertion portion 30 is difficult to spread in the direction of the patient's abdomen and back, and the direction from one flank to the other flank or the anus It tends to spread in the direction from to the diaphragm.
  • the wider the loop the larger the insertion plane 103. Accordingly, the insertion plane 103 becomes larger in the direction from one flank to the other flank of the patient or in the direction from the anus to the diaphragm.
  • the support information calculation unit 61 stores the position coordinates of the insertion unit 30 before rotation. Moreover, even after the insertion unit 30 is rotated by the rotation operation or after the insertion unit 30 is rotated in accordance with the posture change, as shown in FIG. 61 memorize
  • the support information calculation unit 61 uses the second information calculated by the support information calculation unit 61 to the position coordinates of the insertion unit 30 before rotation shown in FIG.
  • the rotation calculation of the same amount as the rotation amount of a certain insertion portion 30 is performed. That is, the support information calculation unit 61 performs the rotation calculation of the same amount as the rotation amount when changing from (A) to (B) with respect to the position coordinates of (A). This result is (C).
  • the position coordinates derived by this calculation are referred to as virtual position coordinates.
  • the support information calculation unit 61 performs the rotation calculation of the same amount as the rotation amount as the second information with respect to the position information of the insertion unit 30 before or after rotation or the direction vector information of the insertion unit 30 before rotation. I do.
  • the support information calculation unit 61 performs the body position conversion. It is determined that it has been done.
  • the support information calculation unit 61 determines that the rotation operation has been performed if the change in the position coordinates or the direction vector information of the insertion unit 30 before and after the rotation is equal to or greater than the threshold value. Specifically, as shown as (D) in FIG. 18, the support information calculation unit 61 compares the virtual position coordinates with the actual position coordinates of the insertion unit 30 after the rotation. In the comparison, for example, the support information calculation unit 61 calculates the total distance difference for each position coordinate.
  • the support information calculation unit 61 determines that the insertion unit 30 has been rotated by the posture change. If the total distance of the position coordinates is equal to or greater than the threshold value, the support information calculation unit 61 determines that the insertion unit 30 has been rotated by a rotation operation.
  • the direction of gravity applied to the inserted body 200 changes, so that the shape of the insertion portion 30 changes, and the position coordinates of the insertion portion 30 change.
  • the degree of the shape change and the coordinate change can be corrected based on the physical property values of the insertion portion 30 such as the rigidity of the insertion portion 30 and the weight of the insertion portion 30. This correction will be described with reference to FIG.
  • the contents shown as (A), (B), and (C) in FIG. 19 are substantially the same as the contents shown as (A), (B), and (C) in FIG. As shown in (E) in FIG.
  • the support information calculation unit 61 corrects the change in the virtual position coordinate caused by the gravity direction that changes due to the posture change of the inserted body 200 by the physical property value.
  • the support information calculation unit 61 may correct the change in the position coordinates by adjusting a threshold with respect to the total distance of the position coordinates.
  • the support information calculation unit 61 compares the corrected position coordinates with the actual position coordinates of the insertion unit 30 after the rotation. The comparison here is substantially the same as the comparison in FIG. Therefore, if the sum of the distances of the position coordinates is less than the threshold value, the support information calculation unit 61 determines that the insertion unit 30 has been rotated by the posture change. If the total distance of the position coordinates is equal to or greater than the threshold value, the support information calculation unit 61 determines that the insertion unit 30 has been rotated by a rotation operation. By such correction, the support information calculation unit 61 can perform more accurate determination.
  • the position coordinates of the insertion unit 30 in the vicinity of the anus usually hardly change.
  • a threshold value is set in advance in the support information calculation unit 61 with respect to a change in the position coordinates of the insertion unit 30 in the vicinity of the anus. If the coordinate change is equal to or greater than the threshold value, the support information calculation unit 61 determines that the insertion unit 30 has been rotated by the posture change.
  • the support information calculation unit 61 determines that the insertion unit 30 has been rotated by the rotation operation. As described above, the support information calculation unit 61 determines that the posture change has been performed if the change in the position coordinates of the insertion unit 30 before and after the rotation in the vicinity of the entrance of the inserted body 200 is equal to or greater than the threshold value. . The support information calculation unit 61 determines that the rotation operation has been performed if the change in the position coordinates of the insertion unit 30 before and after the rotation in the vicinity of the entrance of the insertion target 200 is less than the threshold value.
  • the support information calculation unit 61 corrects the vector of the insertion unit 30 before the rotation based on the second information. If the change in the direction vector information of the insertion unit 30 before and after the rotation is less than the threshold value, the support information calculation unit 61 determines that the posture change has been performed. The support information calculation unit 61 corrects the change in the direction vector information caused by the gravity direction that changes due to the body posture change of the inserted body 200 based on the physical property value.
  • the insertion plane 103 of the insertion unit 30 is calculated, and the same calculation as the rotation of the insertion unit 30 is performed based on the insertion plane 103.
  • the posture change can be calculated based on the rotation amount of the insertion unit 30.
  • the same calculation as the rotation amount of the insertion unit 30 that has already been calculated is performed on the position coordinates of the insertion unit 30 before the rotation. Then, by comparing the difference between the virtual position coordinates and the actual position coordinates of the insertion portion 30 after the rotation, it is possible to improve the determination accuracy of the rotation by the body position conversion or the rotation by the rotation operation.
  • the determination accuracy can be improved by correcting the shape change.
  • the determination accuracy can be improved by determining the change in the position coordinates of the insertion near the anus based on the threshold value.
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage.
  • the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained.
  • the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

挿入支援システム(10)は、被挿入体に挿入される挿入部(30)の複数の位置に関する複数の位置情報と、挿入部(30)の長手軸方向における挿入部(30)の複数の方向ベクトルに関する挿入部(30)の複数の方向ベクトル情報との少なくとも一方の情報である第1情報を取得する状態取得装置(80)を有する。挿入支援システム(10)は、第1情報を基に、挿入部(30)の回転量に関する第2情報を演算する支援情報演算部(87)と、第2情報を出力する出力部(63)とを有する。

Description

挿入支援システムと挿入支援方法
 本発明は、挿入支援システムと挿入支援方法とに関する。
 例えば、日本国特開2000-175861号公報は、コイルを使った磁気式の形状検出処理によって挿入部の形状を検出し、挿入部におけるループなどの特定の形状をさらに検出し、検出結果に応じて警告を発生する内視鏡形状検出装置を開示している。ループなどの特定の形状の検出は、挿入部の挿入に対する支援情報として検出される。
 支援情報としての有益な情報は様々であり、日本国特開2000-175861号公報では、支援情報として特定の形状が検出されているのみであり、支援情報としての他の情報を検出していない。
 支援情報としては、例えば、挿入部の位置情報または挿入部の方向ベクトル情報から演算される、挿入部が捻られた際の挿入部の回転量が挙げられる。
 本発明は、これらの事情に鑑みてなされたものであり、挿入部の位置情報または挿入部の方向ベクトル情報を基に挿入部の回転量を支援情報として出力できる挿入支援システムと挿入支援方法とを提供することを目的とする。
 前記目的を達成するために、本発明の一態様の挿入支援システムは、被挿入体に挿入される挿入部の複数の位置に関する複数の位置情報と、前記挿入部の長手軸方向における複数の方向ベクトル情報との少なくとも一方である第1情報を取得する状態取得装置と、前記第1情報を基に、前記挿入部の回転量に関する第2情報を演算する支援情報演算部と、前記第2情報を出力する出力部と、を具備する。
 前記目的を達成するために、本発明の一態様の挿入支援方法は、被挿入体に挿入される挿入部の複数の位置に関する複数の位置情報と、前記挿入部の長手軸方向における複数の方向ベクトル情報との少なくとも一方である第1情報を取得し、前記第1情報を基に、前記挿入部の回転量に関する第2情報を演算し、前記第2情報を出力する。
図1は、本発明の第1の実施形態に関する挿入支援システムの概略図である。 図2は、湾曲可能部と可撓管部の先端部とにおける磁界発生部の配置を模式的に示す図である。 図3は、回転検出ベクトル及び基準ベクトルと、投影ベクトルとの関係を示す図である。 図4Aは、XY平面に配置される挿入部のループを模式的に示す図である。 図4Bは、YZ平面に配置される挿入部のループを模式的に示す図である。 図5は、支援情報演算部が回転検出ベクトルを用いて任意の角度を基準として挿入部の回転量を演算することを説明する図である。 図6は、回転演算によって回転する回転検出平面を説明する図である。 図7は、支援情報演算部が基準となるYZ平面と回転検出平面との間の角度を挿入部の回転量として演算することを説明する図である。 図8は、支援情報演算部が回転検出平面を用いて任意の角度を基準として挿入部の回転量を演算することを説明する図である。 図9は、支援情報演算部が湾曲可能部の3点における位置情報(位置座標)を基に回転検出平面を演算することを説明する図である。 図10は、支援情報演算部が一定以上の曲率を有する挿入部の湾曲部分における回転検出平面を演算することを説明する図である。 図11Aは、挿入部における第1回転検出点及び第1回転基準点の位置関係を示す図である。 図11Bは、N字形状に変化する過程の挿入部における第1回転検出点及び第1回転基準点の位置関係を示す図である。 図11Cは、N字形状の挿入部における第1回転検出点及び第1回転基準点の位置関係を示す図である。 図12Aは、図11Aに示す第1回転検出点及び第1回転基準点の位置関係を、第1回転基準点を原点として、XZ平面で見たときの図である。 図12Bは、図11Bに示す第1回転検出点及び第1回転基準点の位置関係を、第1回転基準点を原点として、XZ平面で見たときの図である。 図12Cは、図11Cに示す第1回転検出点及び第1回転基準点の位置関係を、第1回転基準点を原点として、XZ平面で見たときの図である。 図13Aは、挿入部における第1回転検出点及び第1,2回転基準点の位置関係を示す図である。 図13Bは、N字形状に変化する過程の挿入部における第1回転検出点及び第1,2回転基準点の位置関係を示す図である。 図13Cは、N字形状の挿入部における第1回転検出点及び第1,2回転基準点の位置関係を示す図である。 図14は、複数のアルゴリズムを用いる挿入支援システムの概略図である。 図15は、被挿入体に対する体位変換を示す図である。 図16は、体位変換を演算するために用いられる挿入平面を示す図である。 図17は、挿入平面のための演算の一例を示す図である。 図18は、体位変換が実施されずに回転操作による挿入部の回転か、体位変換の実施に伴う挿入部の回転かに対する判定の精度向上を説明する図である。 図19は、被挿入体の体位変換によって変化する重力方向によって生じる位置座標の変化に対する補正を説明する図である。 図20は、体位変換が実施されずに回転操作による挿入部の回転か、体位変換の実施に伴う挿入部の回転かに対する判定の精度向上を説明する図である。
実施形態
 以下、図面を参照して本発明の実施形態について詳細に説明する。なお、一部の図面では図示の明瞭化のために部材の一部の図示を省略する。
 [第1の実施形態]
 図1乃至図5を参照して第1の実施形態について説明する。
 図1に示すように、挿入支援システム10は、挿入装置20と、制御装置60と、表示部70と、磁気式の状態取得装置80とを有する。
 本実施形態の挿入装置20は、例えば医療用の大腸軟性内視鏡として説明するが、これに限定される必要はない。挿入装置20は、例えば、医療用の軟性内視鏡、工業用の軟性内視鏡、カテーテル、処置具といったように、被挿入体の内部に挿入される軟性の挿入部30を有していればよい。被挿入体は、例えば、人に限らず、動物、またはほかの構造物であってもよい。挿入装置20は、被挿入体における対象物に照明光を照明し、対象物を撮像する観察装置であってもよい。対象物とは、例えば、患部や病変部である。
 挿入装置20は、被挿入体の内部に挿入される挿入部30と、挿入部30の基端部に連結され、挿入装置20を操作する操作部40と、操作部40に連結されるコード50とを有する。コード50は、コード50の端部に配置され、制御装置60に着脱自在な図示しないコネクタ部を有する。
 挿入部30は、例えば、中空で、細長い。挿入部30は、挿入部30の先端部から基端部に向かって順に、挿入装置20の用途に応じた図示しない様々な内部部材が内部に配置される先端硬質部31と、所望の方向に所望の量だけ湾曲可能な湾曲可能部33と、可撓性を有し外力によって撓む可撓管部35とを有する。先端硬質部31と湾曲可能部33とは、可撓管部35に比べて短い。このため本実施形態では、先端硬質部31と湾曲可能部33と可撓管部35の先端部とは、挿入部30の先端部とみなすものとする。
 先端硬質部31は、被挿入体の内部または対象物を撮像する図示しない撮像素子を有する。撮像素子は、CCDまたはCMOSを有する。撮像素子は、挿入部30と操作部40とコード50との内部に配置される図示しない電気信号線に電気的に接続される。コネクタ部が制御装置60に接続された際、電気信号線は、制御装置60に電気的に接続される。撮像素子によって撮像された画像は、電気信号として電気信号線を通じて、制御装置60に配置される図示しない画像処理部に伝送される。画像処理部は画像を画像処理して表示部70に出力し、表示部70は画像を表示する。また先端硬質部31は、照明光を出射する。
 湾曲可能部33は、例えば15cm程度の長さを有する。湾曲可能部33は、挿入部30の内部に配置される図示しない操作ワイヤを介して、操作部40に配置される図示しない湾曲操作部に連結される。湾曲操作部の操作により操作ワイヤが牽引されることによって、湾曲可能部33は所望の方向に所望の量だけ湾曲可能である。
 操作部40は、挿入支援システム10の操作者の片手によって把持される。操作者は、被挿入体の開口部(例えば患者の肛門)から、挿入部30を被挿入体の内部に挿入させる。表示部70は、撮像素子によって撮像された被挿入体の内部の画像を表示する。そして、操作者は、表示部70に表示される画像を目視した状態で、被挿入体の内部を観察及び処置する。
 制御装置60は、図示しない画像処理部と、支援情報演算部61と、出力部63と、検出制御部81と、位置形状取得部87とを有する。画像処理部と支援情報演算部61と出力部63と検出制御部81と位置形状取得部87との少なくとも1つは、例えば、ASICなどを含むハードウエア回路によって構成される。これらの少なくとも1つは、プロセッサによって構成されても良い。これらの少なくとも1つがプロセッサで構成される場合、プロセッサがアクセス可能な図示しない内部メモリまたは外部メモリが制御装置60に配置される。内部メモリまたは外部メモリは、プロセッサが実行することで当該プロセッサをこれらの少なくとも1つとして機能させるためのプログラムコードを記憶する。また画像処理部と支援情報演算部61と出力部63と検出制御部81と位置形状取得部87とを、1つのプロセッサを用いて構成しても良いし、複数のプロセッサを用いて構成しても良い。後者の場合は、データを互いに送受信して連携して処理することも可能である。また、後者の場合は、これらは互いに異なる筐体に配置されることも可能である。
 表示部70は、一般的な表示装置であり、例えば、液晶ディスプレイ、CRTディスプレイまたは有機ELディスプレイである。表示部70は、撮像素子によって撮像された画像を表示する。詳細については、後述するが、表示部70は、挿入部30の挿入に対する支援情報となる挿入部30の回転量に関する第2情報を表示する。
 状態取得装置80は、検出制御部81と、複数の磁界発生部83と、磁界検出部85と、位置形状取得部87とを有する。
 検出制御部81は、電気信号線89によって磁界発生部83と電気的に接続される。図示の明瞭化のために、磁界発生部83それぞれに渡って1本の電気信号線89のみを図示しているが、実際には、磁界発生部83それぞれには2本の電気信号線89が接続されており、電気信号線89それぞれは検出制御部81に接続されるものである。
 検出制御部81は、磁界発生部83それぞれに、磁界を発生させるための電気信号を出力する。この電気信号は、例えば、正弦波の電流である。検出制御部81は、この電流を用いて、磁界発生部83を制御する。電気信号は、磁界発生部83それぞれに、予め決められた順番で、出力される。決められた順番とは、例えば、挿入部30の先端部側に配置される磁界発生部83から挿入部30の基端部側に配置される磁界発生部83に向かう順を示す。検出制御部81は、挿入支援システム10が駆動すると常に信号を出力してもよいし、所望するタイミングで信号を出力してもよい。
 磁界発生部83それぞれは、電気信号を受信して、磁界を発生する。磁界発生部83それぞれは、例えば、挿入部30の内部に配置される。磁界発生部83それぞれは、挿入部30の長手軸方向において、互いに異なる位置に、例えば互いに対して等間隔離れて配置される。磁界発生部83それぞれは、挿入部30の全長に一列に配置される。本実施形態では、例えば、3つの磁界発生部83が湾曲可能部33に配置され、1つの磁界発生部83は湾曲可能部33に連結される可撓管部35の先端部に、少なくとも配置されるものである。例えば、湾曲可能部33に配置される3つの磁界発生部83は、湾曲可能部33の先端部と、湾曲可能部33の基端部と、湾曲可能部33の先端部と湾曲可能部33の基端部との真ん中に配置される。磁界発生部83は、例えば、磁気式のコイルによって構成される。
 磁界検出部85は、被挿入体の近くに配置される。例えば、磁界検出部85は、挿入支援システム10が用いられる部屋の天井や、被挿入体である患者が横たわるベッドに配置され、位置を固定される。例えば、磁界検出部85はアンテナであり、アンテナは複数のコイルによって構成される。コイルそれぞれの位置と向きとの少なくとも一方は、互いに異なる。磁界検出部85は、磁界発生部83それぞれから発生する複数の磁界の強度を検出し、検出結果である強度を電気信号として位置形状取得部87に出力する。磁界の強度は、磁界発生部83と磁界検出部85との間の距離や、磁界検出部85に対する磁界発生部83の向きに応じて変化する。
 なおコイルが磁界を発生し、アンテナが磁界を検出しているがこれに限定される必要はない。コイルとアンテナとの一方が磁界を発生し、コイルとアンテナとの他方が磁界を検出してもよい。したがって、磁界発生部83と磁界検出部85との一方は挿入部30に配置され、他方は挿入部30の外部に配置され位置を固定されればよい。
 位置形状取得部87は、磁界検出部85の検出結果である複数の磁界の強度を基に、磁界発生部83それぞれの位置に関する複数の位置情報と、磁界発生部83それぞれの方向ベクトルに関する複数の方向ベクトル情報とを取得する。例えば、位置情報とは位置座標であり、方向ベクトルとは挿入部30の長手軸方向に関するベクトルである。位置形状取得部87は、複数の位置情報と複数の方向ベクトル情報とを基に、挿入部30の位置に関する挿入部30の複数の位置情報と、挿入部30の方向ベクトルに関する挿入部30の複数の方向ベクトル情報とを取得する。挿入部30の複数の位置情報とは、挿入部30の複数の位置座標を示す。
 このように状態取得装置80は、複数の位置情報と複数の方向ベクトル情報とを演算するが、挿入部30の複数の位置情報と挿入部30の複数の方向ベクトル情報との少なくとも後述する回転量の演算方法に応じて必要となる情報である第1情報を取得すればよい。
 位置形状取得部87は、さらに、挿入部30の複数の位置情報を基に、挿入部30の形状情報を取得する。位置形状取得部87は、取得結果である、第1情報と挿入部30の形状情報とを支援情報演算部61に出力する。位置形状取得部87は、取得結果である、第1情報と挿入部30の形状情報との少なくとも1つを、出力部63を通じて表示部70に出力してもよい。
 位置形状取得部87は、必要に応じてスプライン処理等を用いて磁界発生部83それぞれの位置情報を補間して、挿入部30の複数の位置情報を取得してもよい。
 位置形状取得部87は、挿入支援システム10が駆動すると常に取得を実施してもよいし、所望するタイミングで取得を実施してもよいし、磁界検出部85から検出結果を入力された際に取得を実施してもよい。
 磁界発生部83のコイルは1軸のコイルであり、コイルの中心軸は挿入部30の長手軸に沿っている。挿入部30が曲がり、挿入部30の向きが変わった場合、曲がった部分に配置されるある1つのコイルの軸の向きが変わり、磁界検出部85によって検出される磁界の強度が変化する。したがって、位置形状取得部87は、この1つのコイルにおいて変化した磁界の強度を基に、コイルの方向つまり方向ベクトル情報を取得可能である。
 しかしながら、回転操作が実施された場合、事情は異なる。まず、ここでいう回転操作について説明する。例えば、挿入部30の手元側が操作者の片手によって把持された状態で、手元側が片手によって挿入部30の中心軸周り(例えば、右回り)において捻られたとする。片手から挿入部30の手元側に付与される操作者の捻り力は、挿入部30の手元側から挿入部30の先端部側にまで伝達される。これにより、挿入部30は、挿入部30の中心軸周りにおいて右周りに捻られる。したがって、回転操作とは挿入部30に対する捻り操作を示し、回転量とは挿入部30の長手軸周りにおける捻り量である。
 操作者によって略直線状態の挿入部30に回転操作が実施された場合、回転操作の前に比べて挿入部30の向きが変わらない。すると挿入部30のどの位置に配置される磁界発生部83であるコイルであっても、コイルはコイルの軸周りに回転したこととなり、回転操作の前に比べて磁界検出部85によって検出される磁界の強度は変化しない。したがって、略直線状態の挿入部30において、位置形状取得部87は、磁界の強度を基にしては、磁界発生部83であるコイルの回転量つまり挿入部30の回転量を取得できない。
 なお挿入部30における同一位置に、2つのコイルが配置され、コイルそれぞれの軸の向きが異なるとする。この場合、回転操作が実施されると、2つのコイルの何れかの軸の向きが変わり、磁界の強度が変化する。したがって、位置形状取得部87は、変化した磁界の強度を基に、コイルの回転量つまり挿入部30の回転量を取得可能である。しかしながら、挿入部30のような細長い部材の内部空間は狭く、2つのコイルを配置することは容易ではない。また2つのコイルが配置されても、挿入部30が太くなり、挿入部30の挿入性が低下する虞が生じる。
 そこで支援情報演算部61は、位置形状取得部87によって取得された第1情報を基に、挿入部30の挿入に対する支援情報となる挿入部30の回転量に関する第2情報を演算する。本実施形態では、第1情報が複数の方向ベクトル情報であるものとして説明する。支援情報演算部61は、挿入支援システム10が駆動すると常に演算を実施してもよいし、所望するタイミングで演算を実施してもよいし、位置形状取得部87から取得結果を入力された際に演算を実施してもよい。
 ここでまず、支援情報演算部61の演算について説明する前に、演算のための前提について説明する。
 図2は、挿入部30と、挿入部30の内部に配置される1軸のコイルである磁界発生部83とを示す。上記したように、略直線状態の挿入部30に回転操作が実施され、コイルである磁界発生部83が軸周りに回転しても、位置形状取得部87は挿入部30の回転量を検出できない。そこで本実施形態では、支援情報演算部61が挿入部30の回転量を演算するため、2箇所に配置される2つの磁界発生部83が用いられる。この2つの磁界発生部83とは、例えば、挿入部30の先端部から1番目に配置される磁界発生部83aと、湾曲可能部33を除いて挿入部30の先端側に配置される、すなわち挿入部30の先端部から4番目に配置される磁界発生部83bとを示す。ここで、磁界発生部83aの方向ベクトル情報を回転検出ベクトルVAとし、磁界発生部83bの方向ベクトル情報を基準ベクトルVBとする。回転検出ベクトルVAは、挿入部30の回転量を検出するためのベクトルである。基準ベクトルVBは、回転検出ベクトルVAの基準となる。
 図示はしないが、2つの磁界発生部83a,83bが用いられても、回転検出ベクトルVAと基準ベクトルVBとが互いに同一方向を向いていると、支援情報演算部61は挿入部30の回転量を演算できない。したがって、2つの磁界発生部83a,83bが用いられて、挿入部30の回転量が演算されるためには、湾曲可能部33が可撓管部35の先端部に対して予め湾曲されている必要がある。そこで、支援情報演算部61が挿入部30の回転量を演算する際、支援情報演算部61は出力部63を通じて表示部70に指示を出力する。例えば、表示部70がこの指示を入力された際、表示部70は、操作者に対して、湾曲可能部33を湾曲させる必要がある旨を、表示する。メッセージを確認した操作者が湾曲操作部を通じて湾曲可能部33を湾曲させると、位置形状取得部87によって取得された挿入部30の形状情報が支援情報演算部61に入力され、支援情報演算部61は挿入部30の形状情報を基に湾曲可能部33が湾曲していると判定する。そして支援情報演算部61は、挿入部30の回転量を演算可能となる。これにより、可撓管部35が略直線状態であっても、操作者の湾曲操作により湾曲可能部33が可撓管部35の先端部に対して湾曲され、回転量の検出に使用される磁界発生部83a,83bが互いに異なる方向を向くため、挿入部30の回転量が演算される。
 表示部70はメッセージを必ずしも表示する必要はなく、回転量の使用用途によっては、湾曲可能部33が湾曲しているか否かを、支援情報演算部61は挿入部30の形状情報を基に判定してもよい。そして、湾曲が実施されていると、支援情報演算部61が判定した時だけ、支援情報演算部61は挿入部30の回転量を演算してもよい。さらに湾曲が実施されていないと、支援情報演算部61が判定した時、上記したように、支援情報演算部61が出力部63を通じて表示部70に指示を出力してもよい。
 支援情報演算部61が挿入部30の回転量を演算する際、回転操作以外の要因で、回転検出ベクトルVAと基準ベクトルVBとの相対的な向きが変わったとする。この場合、挿入部30の回転量に対する演算誤差の要因となる。そこで、回転操作が実施されている間、湾曲可能部33に対する湾曲操作が固定され、湾曲可能部33を湾曲させない旨を、表示部70は表示してもよい。これにより、演算精度が向上する。
 次に、挿入部30の回転量に対する支援情報演算部61の演算の一例について具体的に説明する。
 図示はしないが、被挿入体の内部に挿入された例えば略直線形状といったある形状の挿入部30が挿入操作(例えば回転操作)を実施されると、挿入部30の形状は被挿入体の形状や挿入操作によってある形状から別の形状に変化し、被挿入体の内部において挿入部30の先端部の向きが変化することがある。すなわち、図示はしないが、回転操作を含む挿入操作が実施される前に比べて、基準となる基準ベクトルVBの向きが変わってしまい、回転検出ベクトルVAの方向と基準ベクトルVBの方向ともに変化してしまう。つまり形状が変化すると、回転検出ベクトルVAは回転操作以外の要因を含んでしまい、その方向が変化することとなる。このように回転検出ベクトルVAの方向は回転操作以外の要因によって変化していることとなり、このままでは支援情報演算部61は回転検出ベクトルVAによって挿入部30の回転量を演算できない。なお上記した別の形状とは、例えばループ形状である。本願におけるループとは円のような状態とは限らず、挿入部30の一部が円弧状となっている状態もループに含まれる。
 そこで、基準ベクトルVBが挿入操作の前後で同じ向きを向いた状態の、回転ベクトルVAを求める回転演算を支援情報演算部61は行う。ここで、X軸と、X軸に直交するY軸と、X軸及びY軸に直交するZ軸とが規定されるとする。基準ベクトルVBは、回転操作を含む挿入操作を実施する前の状態でY軸の向きとなっているとする。また回転操作を含む挿入操作を実施した後に挿入部30の形状が変化してしまい、基準ベクトルVBはこの変化によってY軸とは異なる向きになってしまったとする。ここで、基準ベクトルVBの向きがY軸の向きに向いた状態の回転検出ベクトルVAを求めるために、回転検出ベクトルVAに対して回転演算を支援情報演算部61は行う。これにより、支援情報演算部61は回転検出ベクトルVAによって挿入部30の回転量を演算可能となる。
 基準ベクトルVB(Vx、Vy、Vz)がY軸の向きとなるように、回転検出ベクトルVAを求める回転演算の一例を示す。まず、支援情報演算部61は、回転検出ベクトルVAのX軸成分が0(0、Vy、Vz)となるようなZ軸周りに回転する回転行列を算出する。この後、支援情報演算部61は、Z軸成分が0(0、Vy、0)となるようなX軸周りに回転する回転行列を算出する。次に、支援情報演算部61は、算出したZ軸回りとX軸回りとの回転行列を使い、同様の回転演算を回転検出ベクトルVAにも行う。これにより、基準ベクトルVBがY軸方向を向いた状態の回転検出ベクトルVAが求まる。すなわち、挿入操作の前の回転検出ベクトルVAに対して、回転操作以外の要因による方向の変化を無くした、または減らした状態の回転操作後の回転検出ベクトルVAが求まる。図3は、回転演算後の回転検出ベクトルVA及び基準ベクトルVBを示す。次に、支援情報演算部61は、回転検出ベクトルVAをXZ平面に投影したベクトル(以下、投影ベクトルVCと称する)とZ軸との間の角度θ0を、Z軸に対する挿入部30の回転量として演算する。
 つまり、支援情報演算部61は、挿入部30の回転操作後の基準ベクトルVBが挿入部30の回転操作前の基準ベクトルVBと同一の方向となるような回転演算を、回転操作後の回転検出ベクトルVAに対して実施する。また支援情報演算部61は、回転操作後の前記回転検出ベクトルに対する回転演算によって回転した回転検出ベクトルVAを基に、挿入部30の回転量を演算する。ここでいう挿入部30の回転操作前とは、挿入部30の形状が挿入操作によって変形する前の状態(例えば、略直線形状)を示す。また挿入部30の回転操作後とは、挿入部30の形状が挿入操作によって変形した後の状態(例えば、ループ形状)を示す。したがって、支援情報演算部61は、回転検出ベクトルVA及び基準ベクトルVBといった複数の方向ベクトル情報の変化を基に、挿入部30の回転量を演算する。
 上記したように、支援情報演算部61が挿入部30の回転量を演算している間に、回転操作以外の要因で、回転検出ベクトルVAと基準ベクトルVBとの相対的な向きが変わったとする。この場合、挿入部30の回転量に対する演算誤差の要因となる。しかしながら例外として、投影ベクトルVCの方向が変化せず、投影ベクトルVCの大きさのみが変化するような、回転検出ベクトルVAの向きの変化は、演算誤差の要因とはならない。
 基準ベクトルVBがY軸の向きとなるような回転演算は、挿入部30の形状に応じて変えるとよりよい。通常、例えば、被挿入体である患者が仰向きに横たわる仰臥位の状態において、被挿入体である患者の大腸の構造から、挿入部30のループは、患者の腹と背中との方向には広がり難く、患者の一方の脇腹から他方の脇腹に向かう方向や、肛門から横隔膜への方向には広がりやすい。図4Aと図4Bとにおいて、Y軸方向が肛門から横隔膜へ向かう方向を示し、Z軸方向が背中から腹へ向かう方向を示すものとする。
 一般的に、例えば、患者が仰臥位の状態では、図4Aに示すように、挿入部30のループは、XY平面に平行な面に作られることが多く、XY平面に平行な面において広がる。したがって、回転操作が、Z軸周り及びX軸周りの順で実施されると、ループが解消され、挿入部30は略直線形状に戻る。
 なお図4Bに示すようにYZ平面に平行な面にループが形成されることも考えられる。このようにループしている挿入部30に対して、上述したように回転演算がZ軸周りに回転する回転行列の算出及びX軸周りに回転する回転行列の算出の順で実施されると、回転操作以外の要因が取り除かれない。したがって、支援情報演算部61は、Z軸に対する挿入部30の回転量を演算できない。そこで、図4Bに示すようにYZ平面にてループが形成される場合、例えば、回転演算がX軸周りに回転する回転行列の算出及びZ軸周りに回転する回転行列の算出の順で実施される。すると、回転操作以外の要因が取り除かれる。そして、支援情報演算部61は、Z軸に対する挿入部30の回転量を演算可能となる。
 このように、ループの向きに応じて、回転行列の算出の順序を変更することで、挿入部30の多様な形状に対応して、支援情報演算部61は回転量を演算できる。またベクトルの回転演算は、基準ベクトルVBよりも操作部40側の挿入部30の形状を回転操作前の形状に戻すような演算を実施することで、演算精度が高くなる。
 支援情報演算部61は、Z軸に対する挿入部30の回転量を演算するが、これに限定される必要はない。支援情報演算部61は、X軸またはY軸に対する挿入部30の回転量を演算してもよい。また支援情報演算部61は、任意の角度を基準として、挿入部30の回転量を演算してもよい。図5に示すように、例えば、操作部40に配置される図示しないスイッチが押された時点の回転検出ベクトルを回転検出ベクトルVA1として、回転検出ベクトルVA1の投影ベクトルを投影ベクトルVC1とし、投影ベクトルVC1とZ軸との間の角度を角度θ1とする。また挿入部がさらに回転し、回転後の回転検出ベクトルを回転検出ベクトルVA2として、回転検出ベクトルVA2の投影ベクトルを投影ベクトルVC2とし、投影ベクトルVC2とZ軸との間の角度を角度θ2とする。支援情報演算部61は、角度θ1,θ2をそれぞれ、Z軸に対する挿入部30の回転量として演算する。そして、支援情報演算部61は、角度(θ2-θ1)を、スイッチが押された時点からの挿入部30の回転量として演算する。
 磁界発生部83aの方向ベクトル情報(回転検出ベクトルVA)と、磁界発生部83bの方向ベクトル情報(基準ベクトルVB)とを用いて説明したが、これに限定される必要はない。例えば、挿入部30に配置される他の磁界発生部83の方向ベクトル情報などを用いてもよい。
 支援情報演算部61によって演算された挿入部30の回転量は、出力部63に伝達される。出力部63は、制御装置60の外部、例えば、表示部70に挿入部30の回転量を出力する。そして、表示部70は、例えば、文字や記号によって挿入部30の回転量を表示する。表示部70は、音として挿入部30の回転量を出力してもよい。
 出力部63の出力先は、表示部70に限定されない。出力部63は、例えば、挿入部30の回転量を、挿入操作を支援する支援情報を呈示する図示しない支援システムにフィードバックしてもよい。支援システムは、挿入部30の回転量を含む支援情報を操作者に提示してもよい。支援情報は、状態取得装置80の演算結果を基に支援情報演算部61によって演算された挿入部30の回転量を含むことに限定されない。例えば、重力センサが、操作部40または挿入部30に配置され、重力の方向の変化を演算するとする。支援情報は、重力センサの演算結果を基に支援情報演算部61によって演算された挿入部30の回転量を含んでもよい。湾曲操作部の回転量がロータリーエンコーダまたはポテンショメータによって検出され、支援情報として湾曲操作部の回転量が提示されてもよい。
 制御装置60は挿入部30の回転量を記憶する図示しない記憶部を有し、出力部63は出力先としての記憶部に挿入部30の回転量を出力してもよい。
 回転操作以外の要因で投影ベクトルVCの方向が変化すると、挿入部30の回転量に対する演算誤差の要因となる。そこで、投影ベクトルVCの方向の変化が、回転操作による変化か、湾曲可能部33の湾曲による変化かを判別する例を示す。
 湾曲可能部33が湾曲された場合、通常、湾曲可能部33以外の挿入部30の形状変化、すなわち、挿入部30の位置座標の変化は少ない。一方、ループ形状を略直線形状に戻すといった回転操作が実施された場合、湾曲可能部33以外の挿入部30の位置座標の変化は大きい。そこで、投影ベクトルVCの方向が変化した前後において、湾曲可能部33以外の部分(例えば可撓管部35)の複数の位置座標の変化の平均に対して、閾値が予め設定される。座標変化の平均が閾値未満の場合は、挿入部30の形状変化が小さいため、支援情報演算部61は、湾曲可能部33の湾曲により投影ベクトルVCの方向が変化したと判定する。このため、支援情報演算部61は、挿入部30の回転量を演算しない、すなわち挿入部30の回転量を0°とする。座標変化の平均が閾値以上の場合は、挿入部30の形状変化が大きいため、支援情報演算部61は、回転操作により投影ベクトルVCの方向が変化したと判定する。このため、支援情報演算部61は、挿入部30の回転量を演算する。
 本実施形態で用いた第1情報である複数の方向ベクトル情報は、磁界発生部83の方向ベクトル情報を基としているが、他の方法で検出された複数の方向ベクトル情報を用いてもよい。例えば、複数の磁界発生部83の位置情報を基に第1情報である方向ベクトル情報が演算されてもよい、及びまたは磁界発生部83それぞれの位置情報を補間して、第1情報である方向ベクトル情報が演算されてもよい。例えば、方向ベクトルを演算する点Pに対し、挿入部30の長手方向において、挿入部30の先端側に隣り合う点Pi-1と操作部40側に隣り合う点Pi+1との位置情報を用いて、Pi-1-Pi+1をPの方向ベクトルとしてもよい。
 本実施形態では、支援情報演算部61は、複数の磁界発生部83それぞれの複数の方向ベクトル情報に基づいて挿入部30の回転量を演算する。これにより、1軸のコイルを用いる磁気式の状態検出ユニットが配置されても、挿入部30の回転量を演算でき、回転量を出力部63によって出力できる。例えば、出力部63が挿入部30の回転量を表示部70に出力し、表示部70が表示する。これにより、被挿入体に挿入されているために直接目視できない挿入部30の回転量を挿入に対する支援情報として操作者に提供でき、挿入を支援でき、挿入性を向上できる。
 本実施形態では、回転検出ベクトルVAの方向が回転操作以外の要因によって変化しても、回転演算によって、基準ベクトルVBの向きがY軸の向きに向いた状態の回転検出ベクトルVAを求める、言い換えると回転演算によって回転検出ベクトルVAの方向を戻す。さらに言い換えると、回転操作以外の要因による方向の変化を無くした、または減らした状態の回転操作後の回転検出ベクトルVAが求められる。そして、支援情報演算部61は、この回転検出ベクトルVAを基に、挿入部30の回転量を演算できる。すなわち、被挿入体の内部において挿入部30の先端部の向きが挿入操作の前後で変化しても、挿入部30の回転量を演算できる。
 [変形例1]
 以下に、本実施形態の変形例1について説明する。本変形例では、第1の実施形態とは異なることのみを記載する。本変形例では、第1情報が複数の位置情報、詳細には複数の位置座標であるものとして説明する。
 図6に示すように、本変形例の支援情報演算部61は、位置形状取得部87によって取得される湾曲可能部33における複数の位置情報(位置座標)を基に、湾曲可能部33が配置される平面(以下において、回転検出平面101と称する)を演算する。回転検出平面101とは、複数の位置情報(位置座標)を近似した平面を示し、挿入部30の回転量に対する演算のために用いられる。回転検出平面101の演算は、例えば、一般的に知られている最小二乗法などにより求めることができる。ここでは、湾曲可能部33における複数の位置情報(位置座標)として、演算精度向上のために、湾曲可能部33における全ての位置情報(位置座標)が用いられるものとする。
 以下に、本変形例における、挿入部30の回転量に対する支援情報演算部61の演算の一例を説明する。
 まず、湾曲可能部33を除いて挿入部30の先端側に配置される磁界発生部83bに着目する。本変形例では、磁界発生部83bの方向ベクトル情報は、基準ベクトルVBを有する。基準ベクトルVBは、回転検出平面101に対する基準となる。
 第1実施形態と略同様に、基準ベクトルVBがY軸の向きに向いた状態の回転検出平面101の角度変化を求めるために、回転検出平面101に対して回転演算を行う。これにより、支援情報演算部61は回転検出平面101を基に挿入部30の回転量を演算可能となる。回転検出平面101に対する回転演算は、回転検出ベクトルVAに対する回転演算と略同様である。図7は、回転演算後の回転検出平面101及び基準ベクトルVBを示す。次に、支援情報演算部61は、基準となるYZ平面と、回転後の回転検出平面101との間の角度θ3(図7参照)を、Z軸に対する挿入部30の回転量として演算する。
 つまり支援情報演算部61は、挿入部30の回転操作後の基準ベクトルVBが挿入部30の回転操作前の基準ベクトルVBと同一の方向となるような回転演算を回転操作後の回転検出平面101に実施する。また支援情報演算部61は、回転操作後の前記回転検出平面に対する回転演算によって回転した回転検出平面101の角度変化を基に、挿入部30の回転量を演算する。したがって、支援情報演算部61は、第1情報を基に回転検出平面101を算出し、回転後の回転検出平面101の角度変化を基に挿入部30の回転量を算出する。ここでいう第1情報は、湾曲可能部33における複数の位置情報(位置座標)である。また回転検出平面101の角度変化とは、回転操作によって回転した回転検出平面101の回転量を示す。
 支援情報演算部61は、Z軸に対する挿入部30の回転量を演算するが、これに限定される必要はない。支援情報演算部61は、回転検出平面101を用いて、X軸またはY軸に対する挿入部30の回転量を演算してもよい。また支援情報演算部61は、任意の角度を基準として、回転検出平面101を用いて、挿入部30の回転量を演算してもよい。図8に示すように、例えば、操作部40に配置される図示しないスイッチが押された時点の回転検出平面101とYZ平面との間の角度θ4とし、挿入部がさらに回転し回転後の回転検出平面101とYZ平面との間の角度を角度θ5とする。支援情報演算部61は、角度θ4,θ5をそれぞれ、YZ平面に対する挿入部30の回転量として演算する。そして、支援情報演算部61は、角度(θ5-θ4)を、スイッチが押された時点からの挿入部30の回転量として演算する。
 回転検出平面101を演算するために用いられる複数の位置情報(位置座標)は、湾曲可能部33における全ての位置情報(位置座標)を用いなくてもよい。例えば、図9に示すように、湾曲可能部33の先端部と基端部と先端部と基端部との間の中間位置との3点P1,P2,P3の位置情報(位置座標)が用いられてもよい。支援情報演算部61は、これらの位置情報(位置座標)を基に、これらが配置される回転検出平面101を演算する。用いられる位置情報(位置座標)が減ることで、演算量が減り、支援情報演算部61の負荷が減る。
 図10に示すように、回転検出平面101を演算するために用いられる第1情報である位置情報(位置座標)は、湾曲可能部33の位置情報(位置座標)に限定されることはなく、一定以上の曲率を有する挿入部30の湾曲部分における複数の位置情報(位置座標)でもよい。具体的には、支援情報演算部61は、挿入部30の形状情報を基に挿入部30の曲率を演算する。曲率に対して、閾値が予め設定される。そして支援情報演算部61は、曲率が閾値以上となる湾曲部分の複数の位置情報(位置座標)を用いて、回転検出平面101を演算する。
 挿入部30が直線に近い状態では、回転検出平面101の誤差が大きくなる虞がある。挿入部30が完全に直線である場合、回転検出平面101は、1つに定まらないため、演算されない。一方、挿入部30の曲率が演算され、曲率が一定以上となる範囲の位置座標を用いて回転検出平面101を演算することにより、回転検出平面101の誤差は小さくなる。すなわち、演算の誤差も小さくなる。
 [変形例2]
 以下に、本実施形態の変形例2について説明する。本変形例では、第1の実施形態とは異なることのみを記載する。本変形例では、第1情報が複数の位置情報、詳細には複数の位置座標であるものとして説明する。
 図11Aに示すように、図示しない大腸への挿入部30の挿入操作によって、挿入部30がループすることがある。この状態で挿入部30が押し込まれても、ループが拡大するだけで、挿入部30はスムーズに挿入されない。またループの拡大によって挿入部30が腸壁を押してしまい、大腸が伸展し、患者が痛みを感じてしまうことがある。そこで、挿入部30は、挿入手技によって、大腸と共に略直線形状に変化する必要がある。
 挿入手技に伴うループ形状から略直線形状への変化の過程の一部において、挿入部30は、図11Aに示す形状から図11Cに示すN字形状に変化する必要がある。この変化のため、例えば、右回りの回転操作が実施される。回転操作中において、あとどの程度、回転操作が実施されればよいかを操作者が把握できると、挿入の支援となる。つまり、挿入部30が図11Aに示す形状からN字形状に変化させるために不足している挿入部30の回転量、が支援情報として必要となる。この回転量を、以下にて不足回転量と称する。
 そこで、以下に本変形例における、不足回転量に対する支援情報演算部61の演算の例1,2,3を説明する。
 まず、例1について、説明する。挿入部30がXY平面に配置されるものとする。挿入部30の先端部を、回転を検出するための回転検出点P4とする。回転の基準となる点を、第1回転基準点P5と称する。第1回転基準点P5は、挿入部30の先端部から基端部側に挿入部30に沿うように見たときに、Y座標において極小となる極小点P6を越えて、回転検出点P4のY座標の値に近い最初の点とする。なお、挿入部30の形状によって、極小が複数存在する場合もある。極小となる点が複数存在する場合は、挿入部30の先端側に配置される極小を、極小点P6とする。回転検出点P4のY座標の値にどの程度近いかは、所望に設定されればよい。第1回転基準点P5は、極小点P6に対して、X軸方向において回転検出点P4とは逆側の点である。回転検出点P4と第1回転基準点P5と極小点P6とは、位置形状取得部87によって取得された挿入部30の形状情報を基に、支援情報演算部61によって設定されてもよい。
 図11Aと図11Bと図11Cとに示すように、挿入部30が右回りに回転すると、回転検出点P4は、第1回転基準点P5の左側から、第1回転基準点P5の回りを相対的に回るようにして第1回転基準点P5の右側に移動する。図11Cに示すように挿入部30がN字形状に変化すると、図11Cに示すように第1回転基準点P5に対する回転検出点P4の位置は、図11Aに示す回転検出点P4の位置とは逆側に配置される。
 図12Aと図12Bと図12Cとのそれぞれは、図11Aと図11Bと図11Cとに対応し、第1回転基準点P5と回転検出点P4との位置関係を、第1回転基準点P5を原点として、XZ平面で見たときの図である。挿入部30が右回りに回転すると、第1回転基準点P5を中心に、回転検出点P4は、左回り(反時計回り)に回転する。挿入部30が回転し、図11Cに示すように挿入部30がN字形状に変化すると、図12Cに示すように回転検出点P4の位置は、図12Aに示す回転検出点P4の位置とは逆側に配置される。ここで、図12Cに示す原点と図12Cに示す回転検出点P4とを結んでできる軸、すなわち図12Cの例ではX軸を、不足回転量を演算するための基準軸(以下、演算基準軸と称する)とする。演算基準軸は、図11Aに示す回転検出点P4と図11Aに示す第1回転基準点P5とを結んだ線の延長の線として、支援情報演算部61によって演算されてもよい。演算基準軸は、挿入部30の回転量を演算するための基準となる軸である。回転検出点P4と第1回転基準点P5とを結ぶ線と、演算基準軸との間に形成され且つ180°以下の角度を角度θ6とする。図12Aと図12Bと図12Cとからわかるように、角度θ6が0°となると、回転操作が終了となり、この角度θ6は不足回転量に対応することとなる。
 そこで例1では、支援情報演算部61は、複数の位置情報(位置座標)における相対的な変化を基に、挿入部30の回転量を演算する。ここでいう、複数の位置情報は、回転検出点P4と第1回転基準点P5と演算基準軸とを示す。詳細には、支援情報演算部61は、角度θ6の変化を基に、挿入部30の回転量を演算する。
 次に、例2について、説明する。
 図11Aに示すように、回転検出点P4のX座標と第1回転基準点P5のX座標との間の距離をΔXと称する。距離ΔXは、挿入部30の回転量を演算するための基準となる。支援情報演算部61には、予め距離ΔXに対する閾値が設定される。なお閾値は記憶部に記憶され、支援情報演算部61は演算を実施する際に、記憶部から閾値を読み込んでもよい。
 一般的に、挿入部30は、図11Cに示すN字形状と変化した後に、抜去操作によって略直線形状に変化する。したがって閾値は、抜去操作で挿入部30が略直線形状に変化可能な形状となる値、例えば、30mmである。
 支援情報演算部61は、回転検出点P4と第1回転基準点P5との間の距離ΔXを基に、挿入部30の回転量を演算する。詳細には支援情報演算部61は、図11Aでの距離ΔXと閾値との差を基に、図11Aに示す状態を図11Cに示す状態に必要な不足回転量、つまり挿入部30の回転量を演算する。例2において不足回転量とは、挿入部30の長手軸周りにおける角度ではなく、距離ΔXであるが、指標として利用できる。
 例1,2では、XZ平面及びX座標における距離ΔX、言い換えると、回転操作中に、常に、回転検出点P4の方向ベクトルが+Y軸方向(図の上向き)を向き、第1回転基準点P5の方向ベクトルが-Y軸方向(図の下向き)を向いている例を示している。しかしながら、挿入部30は挿入操作に伴って、被挿入体の内部において挿入部30の向きが変化することがある。そこで、方向ベクトル情報の変化から挿入部30の回転量を演算した第1実施形態と同様に、第1回転基準点P5より操作部40側の形状を元の形状に戻すような回転演算を回転検出点P4と第1回転基準点P5とに実施してもよい。回転演算によって、回転検出点P4の方向ベクトルは-Y方向となり、第1回転基準点P5の方向ベクトルはY軸方向となる。そして、操作支援情報は、XZ平面またはX座標における距離ΔXを基に、挿入部30の回転量を演算する。これにより回転操作中に挿入部30の形状が変化しても、演算精度が向上する。
 次に例3について、説明する。
 例1では、支援情報演算部61は、複数の位置情報を基に不足回転量を演算したが、これに限定される必要はない。図13Aと図13Bと図13Cとに示すように、例えば、第1情報である複数の位置情報は、第1回転基準点P5よりも操作部40側に配置される第2回転基準点P8を有してもよい。例えば、第2回転基準点P8のX座標は、第1回転基準点P5のX座標に近い座標である。支援情報演算部61は、第1回転基準点P5の代わりに、第1回転基準点P5と第2回転基準点P8を含む直線である基準線Lに対する回転検出点P4の位置を基に、挿入部30の回転量を演算してもよい。
 方向ベクトル情報は、回転検出点P4を補正し基準となる基準ベクトルVBを有してもよい。基準ベクトルVBは、例えば、第1回転基準点P5の方向ベクトルである。支援情報演算部61は、挿入部30の回転操作後の基準ベクトルVBが挿入部30の回転操作前の基準ベクトルVBと同一の方向となるような回転演算を回転検出点P4に実施する。そして、支援情報演算部61は、回転演算によって回転した回転検出点P4を基に挿入部30の回転量を演算する。
 回転検出点P4側に対して、基準線Lまたはベクトルが用いられてもよい。
 [変形例3]
 以下に、本実施形態の変形例3について説明する。本変形例では、第1の実施形態とは異なることのみを記載する。本変形例では、第1情報が複数の位置情報、詳細には複数の位置座標であるものとして説明する。
 図14に示すように、挿入支援システム10は、支援情報演算部61が挿入部30の回転量を演算するために用いられるあるアルゴリズムを含む複数のアルゴリズムを記憶する第1記憶部65を有する。第1記憶部65は、制御装置60に配置される。例えば、複数のアルゴリズムは、例えば、幾何学演算アルゴリズムと、機械学習アルゴリズムとを有する。
 幾何学演算アルゴリズムとは、第1実施形態及び変形例1,2にて説明したように、挿入部30の複数の位置情報と、挿入部30の方向ベクトル情報との少なくとも一方である第1情報を基に、幾何学的に挿入部30の回転量を演算するためのアルゴリズムである。
 機械学習アルゴリズムとは、後述する訓練データを基に機械学習により予め構築され、挿入部30の複数の位置情報と挿入部30の方向ベクトル情報との少なくとも一方(第1情報)から回転量を出力するアルゴリズムである。訓練データとは、位置情報と方向ベクトル情報との少なくとも一方の情報に対して、挿入部30の回転量を関連付けた複数の既知データをいう。訓練データは、例えば、挿入部30のさまざまな形状に対して、挿入部30の先端のZ軸に対する回転量を測定した大量のデータである。訓練データを使って構築された機械学習アルゴリズムにより、支援情報演算部61は、訓練データ以外の形状、すなわち形状と回転量との関係を未知の形状に対する回転量として推定可能となる。
 機械学習アルゴリズムは、通常、挿入支援システム10が駆動する前に予め構築され、第1記憶部65に記憶される。なお支援情報演算部61は、挿入支援システム10の駆動中において、挿入部30の複数の位置情報と挿入部30の方向ベクトル情報との少なくとも一方と、挿入部30の回転量を関連付けたデータすなわち訓練データとを、幾何学演算アルゴリズムやその他の方法で回転量を測定した結果から作成してもよい。そして、第1記憶部65は、挿入支援システム10の駆動中に作成された訓練データを基に機械学習によって導き出された結果を、機械学習アルゴリズムとして記憶してもよい。また、すでに構築された機械学習アルゴリズムに挿入支援システム10の駆動中に作成された訓練データが追加されて、機械学習アルゴリズムが再構築されてもよい。機械学習では、通常、訓練データの数が多いほど、機械学習によって導き出される結果の精度が向上する。このため、訓練データを追加されて再構築された機械学習アルゴリズムによって、支援情報演算部61は回転量をより高精度に推定可能となる。
 本変形例の支援情報演算部61は、第1記憶部65にアクセス可能である。支援情報演算部61は、複数のアルゴリズムのなかから1つのアルゴリズム(幾何学演算アルゴリズムまたは機械学習アルゴリズム)を用いて、挿入部30の回転量を演算する。
 上記したように支援情報演算部61がプロセッサで構成される場合、第1記憶部65はプロセッサがアクセス可能な図示しない内部メモリまたは外部メモリとして機能してもよい。
 挿入支援システム10は、支援情報演算部61が用いるアルゴリズムを、複数のアルゴリズムの中から選択し、選択したアルゴリズムを支援情報演算部61に指示する選択指示部67と、選択指示部67がアルゴリズムを選択する際に、選択のために参照される複数の訓練データを記憶する第2記憶部69とを有する。
 選択指示部67と第2記憶部69とは、制御装置60に配置される。選択指示部67は、例えば、ASICなどを含むハードウエア回路によって構成される。選択指示部67は、プロセッサによって構成されても良い。選択指示部67がプロセッサで構成される場合、プロセッサがアクセス可能な図示しない内部メモリまたは外部メモリが制御装置60に配置される。内部メモリまたは外部メモリは、プロセッサが実行することで当該プロセッサをこれらの少なくとも1つとして機能させるためのプログラムコードを記憶する。第2記憶部69は、このメモリとして機能してもよい。
 位置形状取得部87によって取得された、挿入部30の複数の位置情報と、挿入部30の方向ベクトル情報とは、支援情報演算部61に入力される。また位置形状取得部87によって取得された、挿入部30の複数の位置情報は、選択指示部67に入力される。
 選択指示部67は、位置形状取得部87から入力された位置情報と、第2記憶部69に記憶される訓練データとを比較し、位置形状取得部87によって取得された位置情報に近似した訓練データの有無を判定する。
 以下に、近似した訓練データの有無の判定方法の例を説明する。
 選択指示部67は、位置形状取得部87によって取得された位置情報である複数の座標情報と、位置形状取得部87によって取得された位置情報である複数の座標情報に対応する訓練データの複数の座標情報とのそれぞれの距離を計算し、さらに座標毎に計算した距離の和を計算する。すなわち選択指示部67は、位置形状取得部87によって取得された位置情報と、訓練データの位置情報との差の合計を計算する。差の合計が小さいほど、位置形状取得部87によって取得された位置情報が近似した訓練データであると、選択指示部67は判断する。選択指示部67は、上述の計算を第2記憶部69に記憶されている訓練データの複数の座標情報全てに行う。また、選択指示部67には、距離の合計に対する閾値が予め設定される。
 距離の合計が閾値未満の訓練データがあれば、位置形状取得部87から入力された位置情報に近い訓練データが第2記憶部69に記憶されている、と選択指示部67は判定する。全ての訓練データについて、距離の合計が閾値以上であれば位置形状取得部87から入力された位置情報に近い訓練データが第2記憶部69に記憶されていない、と選択指示部67は判定する。
 ここで、機械学習アルゴリズムが用いられて、挿入部30の回転量が演算されるとする。機械学習アルゴリズムは、訓練データを基に構築されたアルゴリズムである。したがって、位置形状取得部87から入力された位置情報が訓練データと同じまたは訓練データに近似している場合、機械学習アルゴリズムを用いた支援情報演算部61の演算結果の誤差が小さく、精度の高い演算結果が期待できる。しかしながら、位置情報が訓練データと大きく異なる場合、機械学習アルゴリズムを用いた支援情報演算部61の演算結果の誤差が大きくなる可能性が高く、精度の高い演算結果が期待できない。
 そこで、位置形状取得部87から入力された位置情報と同じまたは近似している訓練データが第2記憶部69に記憶されている場合、機械学習アルゴリズムが用いられても、演算結果の誤差は小さいとみなせる。したがって、選択指示部67は、支援情報演算部61に機械学習アルゴリズムを選択する指示を出力する。
 一方、位置形状取得部87から入力された位置情報に近い訓練データが第2記憶部69に記憶されていない場合、機械学習アルゴリズムが用いられてしまうと、演算結果の誤差は大きくなる可能性が高い。したがって選択指示部67は、支援情報演算部61に幾何学演算アルゴリズムを選択する指示を出力する。
 このように選択指示部67は、第1情報と訓練データとを比較し、比較結果を基に複数のアルゴリズムの中から機械学習アルゴリズムまたは幾何学アルゴリズムを選択する。そして選択指示部67は、選択したアルゴリズムを用いて回転量を演算するように、支援情報演算部61に指示する。支援情報演算部61は、第1記憶部65にアクセスし、選択指示部67から出力された指示に応じて第1記憶部65に記憶されるアルゴリズムを用いて、第1記憶部65に記憶された挿入部30の複数の位置情報と、挿入部30の方向ベクトル情報とを用いて、挿入部30の回転量を演算する。
 アルゴリズムの選択方法は、位置形状取得部87から入力された位置情報と、第1記憶部65に記憶されている訓練データとの比較を基に実施されることを説明したが、アルゴリズムの選択方法はその他の方法を用いてもよい。
 ここで、その他の選択方法について説明する。
 機械学習の1つであるディープラーニングでは、データに対するラベル付けが一般的に行われている。例えば、画像データに何が写っているかをラベル付けすることが一般的に行われている。その結果として、例えば「花:0.7」、「木:0.2」、「人:0.1」といったように、ラベルと、ラベルに対する信頼性に相当する数値とが出力される。なお、ここでのラベルは「花」と「木」と「人」とであり、花の写真が最も高い信頼性を有していることとなる。
 ここで、回転量(0°~360°)を例えば10°刻みの36個のラベル(以下、回転量ラベルと称する)とする。上記と同様の手法を用いて、位置情報に対してディープラーニングを行うと、すなわち機械学習アルゴリズムでラベル付けを行うと、回転量ラベルとその信頼性とが出力される。
 次に動作を説明する。
 支援情報演算部61は、まず仮に機械学習アルゴリズムで、前述のように位置情報を入力として回転量ラベルとその信頼性とを演算し、最も信頼性が高い回転量ラベルとその信頼性とを選択指示部67に出力する。
 選択指示部67は、信頼性に対する閾値をあらかじめ設定される。選択指示部67は、入力された信頼性と閾値とを比較する。信頼性が閾値以上の場合、機械学習アルゴリズムですでに演算された回転量ラベルの結果を出力部63に支援情報演算部61が出力するように、選択指示部67は支援情報演算部61に指示を出力する。信頼性が閾値以下の場合、機械学習アルゴリズムの結果に対する信頼性が低いと、選択指示部67は判断する。そして、支援情報演算部61が幾何学演算アルゴリズムを選択して回転量を演算し演算結果を出力部63に出力するように、選択指示部67は支援情報演算部61に指示を出力する。
 なお、選択指示部67は、幾何学演算アルゴリズムまたは機械学習アルゴリズムを選択する例を示したがこれに限定する必要はない。例えば、求められる演算精度等を考慮した使用用途に応じて、または、十分な学習が可能で機械学習アルゴリズムによる演算精度があらゆる位置情報に対して高い場合などでは、支援情報演算部61は機械学習アルゴリズムのみを用いてもよい。この場合は、選択指示部67と、第2記憶部69とは、省略される。
 [第2の実施形態]
 以下に、本発明の第2の実施形態について説明する。本実施形態では、第1の実施形態及び第1の実施形態の各変形例とは異なることのみを記載する。
 図15に示すように、挿入部30が大腸に挿入される際、一般的に、例えば、左脇を下にして被挿入体200が横向きに横たわる左側臥位において、挿入が実施される。この左側臥位において挿入が困難となると、左側臥位から、被挿入体200が仰向きに横たわる仰臥位へと、体位変換が実施されることがある。この体位変換は、体位変換によって被挿入体200にかかる重力の方向が変わるため、大腸に挿入されている挿入部30の形状変化を引き起こし、挿入部30の挿入性を向上させる、効果をもたらす。
 以下にて説明する体位変換において、XY平面において横たわる被挿入体200は、左側臥位ではYZ平面を向いており、仰臥位ではXY平面を向いているものとする。
 本実施形態は、支援情報演算部61が第2情報である挿入部30の回転量を基に被挿入体200の体位変換を演算することが、第1実施形態とは異なる。ここでいう体位変換の演算とは、体位変換に伴う被挿入体200の回転量を示す。また体位変換に伴い、挿入部30も回転することとなる。そもそも挿入部30が大腸内に挿入された状態で左側臥位から仰臥位へと体位変換が実施されると、磁界発生部83が配置される挿入部30も磁界検出部85に対して相対的に回転する。したがって、支援情報演算部61は、第2情報である挿入部30の回転量を基に被挿入体200の体位変換を演算することが可能となる。
 以下に、体位変換の演算について説明する。
 図16に示すように、一例として、第1実施形態の変形例1と同様に、支援情報演算部61は、大腸内に挿入された挿入部30の複数の位置情報(位置座標)を基に、大腸内における挿入部30が配置される平面(以下において、挿入平面103と称する。)を演算する。挿入平面103とは、複数の位置情報(位置座標)を近似した平面を示し、挿入部30の回転量に対する演算のために用いられる。挿入平面103の演算は、例えば、一般的に知られている最小二乗法などにより求めることができる。ここでは、挿入部30における複数の位置情報(位置座標)として、演算精度向上のために、挿入部30における全ての位置情報(位置座標)が用いられる。そして、第1実施形態の変形例1と同様に、支援情報演算部61は、挿入平面103を基に、挿入部30の回転量を演算する。
 図示はしないが、左側臥位において、挿入部30が大腸に挿入されると、挿入部30のループは基準となるYZ平面に平行な面において広がり、挿入平面103はYZ平面に平行な面に形成される。支援情報演算部61が体位変換を演算する際に、支援情報演算部61は、YZ平面に形成される挿入平面103の初期位置、つまり、回転する前の挿入部30の位置座標を記憶する。
 左側臥位から仰臥位へと体位変換が実施されず、左側臥位において挿入部30の回転操作によって挿入部30が回転する場合、被挿入体200の内部空間には制限があるため、通常では挿入部30の全体が回転せず、挿入平面103もYZ平面に対してほとんど傾かず、挿入平面103はYZ平面に対して0°近傍のままに留まる。このような状況下において、支援情報演算部61は、第2情報である挿入部30の回転量を演算しており、この演算結果によって、挿入平面103がYZ平面に対して0°近傍のままに留まっていることを、演算する。そして、支援情報演算部61は、この演算結果を基に、挿入平面103が回転していないと判定する。さらに、支援情報演算部61は、回転操作が実施されて体位変換が実施されていないと判定する。
 しかしながら、図15に示すように、左側臥位から仰臥位へと体位変換が実施された場合、体位変換に伴い挿入部30全体が回転し、図16に示すように挿入平面103もYZ平面からXY平面へと例えば略90°回転する。このような状況下において、支援情報演算部61は、第2情報である挿入部30の回転量を演算しており、この演算結果によって、挿入平面103がYZ平面からXY平面へと例えば略90°回転したことを演算する。そして、支援情報演算部61は、この演算結果を基に、挿入平面103が回転したと判定する。さらに、挿入平面103が回転した場合、支援情報演算部61は、回転操作が実施されておらず体位変換が実施されたと判定する。支援情報演算部61は、体位変換によって回転した挿入平面103の角度変化を基に挿入部30の回転量を演算し、演算した挿入部30の回転量を被挿入体200の回転量とみなす。支援情報演算部61は、挿入部30の回転量と被挿入体200の回転量とを、出力部63に伝達する。出力部63は、挿入部30の回転量と被挿入体200の回転量とを、表示部70に出力する。そして、表示部70は、挿入部30の回転量と被挿入体200の回転量とを表示する。
 判定は、初期位置を記憶してから、常に実施されてもよいし、所望するタイミングで実施されてもよい。
 支援情報演算部61は、YZ平面に対する挿入平面103の角度を基に体位の種類を判定してもよい。通常、被挿入体200である患者の大腸の構造から、挿入部30のループは、患者の腹と背中との方向には広がり難く、患者の一方の脇腹から他方の脇腹に向かう方向や、肛門から横隔膜への方向には広がりやすい。ループが広がるほど、挿入平面103も大きくなる。したがって、挿入平面103は、患者の一方の脇腹から他方の脇腹に向かう方向や、肛門から横隔膜への方向には、大きくなる。このため、YZ平面に対する挿入平面103の角度が0°近傍であれば左側臥位と支援情報演算部61は判定し、挿入平面103の角度が90°近傍であれば仰臥位と支援情報演算部61は判定する。
 挿入平面103を演算するために用いられる複数の位置情報(位置座標)は、挿入部30における全ての位置情報(位置座標)を用いなくてもよい。例えば、図17に示すように、挿入部30の先端部と基端部と先端部と基端部との間の中間位置との3点P1,P2,P3の位置情報(位置座標)が用いられてもよい。支援情報演算部61は、これらの位置情報(位置座標)を基に、これらが配置される挿入平面103を演算する。用いられる位置情報(位置座標)が減ることで、演算量が減り、支援情報演算部61の負荷が減る。
 次に、体位変換が実施されずに回転操作による挿入部30の回転か、体位変換の実施に伴う挿入部30の回転かに対する判定の精度向上の一例について説明する。
 一般的に、体位変換によって挿入部30が回転した場合には挿入部30の形状の変化は小さい、しかしながら、回転操作によって挿入部30が回転した場合には挿入部30の形状の変化は大きい。精度向上の判定は、この形状の変化に着目するものである。そこでまず、図18において(A)として示すように、支援情報演算部61は、回転前の挿入部30の位置座標を記憶する。また回転操作によって挿入部30が回転した後であっても、体位変換の実施に伴って挿入部30が回転した後であっても、図18において(B)として示すように、支援情報演算部61は、回転後の挿入部30の位置座標を記憶し、第2情報である挿入部30の回転量を演算する。この演算は、第1実施形態及び第1実施形態の各変形例で説明した演算を用いればれよい。
 図18において(C)として示すように、支援情報演算部61は、図18において(A)として示す回転する前の挿入部30の位置座標に、支援情報演算部61が演算した第2情報である挿入部30の回転量と同じ量の回転演算を実施する。すなわち、支援情報演算部61は、(A)の位置座標に対して、(A)から(B)に変化した際の回転量と同じ量の回転演算を行う。この結果が(C)である。この演算によって導き出された位置座標を、仮想的な位置座標と称する。このように支援情報演算部61は、回転前または回転後の挿入部30の位置情報または回転前の挿入部30の方向ベクトル情報に対して、第2情報である回転量と同じ量の回転演算を行う。
 次に、支援情報演算部61は、回転前と回転後とにおける挿入部30の位置座標または方向ベクトル情報の変化が支援情報演算部61に予め設定された閾値未満であれば、体位変換が実施されたと、判定する。また支援情報演算部61は、回転前と回転後とにおける挿入部30の位置座標または方向ベクトル情報の変化が閾値以上であれば、回転操作が実施されたと、判定する。具体的には、図18において(D)として示すように、支援情報演算部61は、仮想的な位置座標と、回転後における実際の挿入部30の位置座標とを比較する。支援情報演算部61は、比較において、例えば、それぞれの位置座標について、距離の差の合計を計算する。一般的に、体位変換によって挿入部30が回転した場合には挿入部30の形状の変化は小さい、しかしながら、回転操作によって挿入部30が回転した場合には挿入部30の形状の変化は大きい。このため、位置座標の距離の合計が閾値未満であれば、支援情報演算部61は、挿入部30は体位変換によって回転したと判定する。また、位置座標の距離の合計が閾値以上であれば、支援情報演算部61は、挿入部30は回転操作によって回転した、と判定する。
 また体位変換が実施されると、被挿入体200にかかる重力の方向が変わるため、挿入部30の形状変化が引き起こり、挿入部30の位置座標が変化してしまう。この形状変化及び座標変化の程度は、挿入部30の剛性、挿入部30の重さといった挿入部30の物性値を基に補正可能である。この補正について、図19を用いて説明する。図19において(A),(B),(C)として示す内容は、図18において(A),(B),(C)として示す内容と略同一である。図19において(E)に示すように、支援情報演算部61は、被挿入体200の体位変換によって変化する重力方向によって生じる仮想的な位置座標の変化を、物性値によって補正する。なお、支援情報演算部61は、位置座標の変化を、位置座標の距離の合計に対する閾値の調整によって補正してもよい。そして、図19において(F)として示すように、支援情報演算部61は、補正された位置座標と、回転後における実際の挿入部30の位置座標とを比較する。ここでの比較は、図18における比較と略同様である。したがって、位置座標の距離の合計が閾値未満であれば、支援情報演算部61は、挿入部30は体位変換によって回転したと判定する。また、位置座標の距離の合計が閾値以上であれば、支援情報演算部61は、挿入部30は回転操作によって回転した、と判定する。このような補正によって、支援情報演算部61はより正確な判定が可能となる。
 次に、判定の精度向上の他の一例について説明する。
 被挿入体200の内部への入口である肛門近傍における挿入部30の位置座標を基に、支援情報演算部61は判定してもよい。
 図示はしないが、体位変換が実施されないで、回転操作が挿入部30に実施された際、通常、肛門近傍の挿入部30の位置座標はほとんど変化しない。しかしながら図20に示すように、体位変換が実施されると、肛門近傍の挿入部30の位置座標はX方向またはZ方向にずれる。そこで、肛門近傍における挿入部30の位置座標の変化に対して、支援情報演算部61に閾値が予め設定される。座標変化が閾値以上であれば、挿入部30は体位変換によって回転した、と支援情報演算部61は判定する。座標変化が閾値未満であれば、挿入部30は回転操作によって回転した、と支援情報演算部61は判定する。このように、支援情報演算部61は、被挿入体200の入口近傍における、回転前と回転後の挿入部30の位置座標の変化が閾値以上であれば、体位変換が実施されたと、判定する。支援情報演算部61は、被挿入体200の入口近傍における、回転前と回転後の挿入部30の位置座標の変化が閾値未満であれば、回転操作が実施された、と判定する。
 以上において、ここでは座標を用いて説明したが方向ベクトル情報についても同様である。したがって、支援情報演算部61は、第2情報を基に、回転前の挿入部30のベクトルを補正する。支援情報演算部61は、回転前と回転後とにおける挿入部30の方向ベクトル情報の変化が閾値未満であれば、体位変換が実施されたと、判定する。支援情報演算部61は、被挿入体200の体位変換によって変化する重力方向によって生じる方向ベクトル情報の変化を、物性値を基に補正する。
 本実施形態では、挿入部30の挿入平面103を演算し、挿入平面103を基に挿入部30の回転と同じ演算を実施する。そして本実施形態では、挿入部30の回転量を基に体位変換を演算できる。
 回転する前の挿入部30の位置座標に、既に演算された挿入部30の回転量と同じ演算を実施する。そして、仮想的な位置座標と回転後における実際の挿入部30の位置座標との差を比較することで、体位変換による回転か回転操作による回転かの判定精度を高めることができる。
 さらに体位変換によって重力の方向が変わった際に挿入部30の形状変化が引き起こされても、形状変化を補正することで、判定精度を向上できる。
 また肛門近傍の挿入の位置座標の変化を閾値を基に判定することによって、判定精度を向上できる。
 なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

Claims (20)

  1.  被挿入体に挿入される挿入部の複数の位置に関する複数の位置情報と、前記挿入部の長手軸方向における複数の方向ベクトル情報との少なくとも一方である第1情報を取得する状態取得装置と、
     前記第1情報を基に、前記挿入部の回転量に関する第2情報を演算する支援情報演算部と、
     前記第2情報を出力する出力部と、
     を具備する、挿入支援システム。
  2.  前記第1情報は、複数の方向ベクトル情報であり、
     前記支援情報演算部は、前記複数の方向ベクトル情報の変化を基に、前記挿入部の前記回転量を演算する、請求項1に記載の挿入支援システム。
  3.  前記複数の方向ベクトル情報は、前記回転量を検出するための回転検出ベクトルと、前記回転検出ベクトルの基準となる基準ベクトルとを有し、
     前記支援情報演算部は、前記挿入部の回転操作後の前記基準ベクトルが前記挿入部の回転操作前の前記基準ベクトルと同一の方向となるような回転演算を回転操作後の前記回転検出ベクトルに実施し、回転操作後の前記回転検出ベクトルに対する前記回転演算によって回転した前記回転検出ベクトルを基に前記挿入部の前記回転量を演算する、請求項2に記載の挿入支援システム。
  4.  前記支援情報演算部は、前記第1情報を基に回転検出平面を算出し、回転前後の前記回転検出平面の角度変化を基に前記挿入部の前記回転量を演算する、請求項1に記載の挿入支援システム。
  5.  前記第1情報は前記方向ベクトル情報を有し、前記方向ベクトル情報は前記回転検出平面に対する基準ベクトルを有し、
     前記支援情報演算部は、前記挿入部の回転操作後の前記基準ベクトルが前記挿入部の回転操作前の前記基準ベクトルと同一の方向となるような回転演算を回転操作後の前記回転検出平面に実施し、回転操作後の前記回転検出平面に対する前記回転演算によって回転した前記回転検出平面の角度変化を基に前記挿入部の前記回転量を演算する、請求項4に記載の挿入支援システム。
  6.  前記回転検出平面を演算するために用いられる前記第1情報は、一定以上の曲率を有する前記挿入部の湾曲部分における複数の位置情報である、請求項4に記載の挿入支援システム。
  7.  前記第1情報は、前記挿入部の複数の位置情報であり、
     前記支援情報演算部は、前記複数の位置情報の相対的な変化を基に、前記挿入部の前記回転量を演算する、請求項1に記載の挿入支援システム。
  8.  前記複数の位置情報は、回転を検出するための回転検出点と、前記回転の基準となる第1回転基準点と、前記挿入部の前記回転量を演算するための基準となる演算基準軸とを有し、
     前記支援情報演算部は、前記回転検出点と前記第1回転基準点とを結ぶ線と、前記演算基準軸との間に形成される角度の変化を基に、前記挿入部の前記回転量を演算する、請求項7に記載の挿入支援システム。
  9.  前記複数の位置情報は、回転を検出するための回転検出点と、前記回転の基準となる第1回転基準点とを有し、
     前記支援情報演算部は、前記回転検出点と前記第1回転基準点との間の距離を基に、前記挿入部の前記回転量を演算する、請求項7に記載の挿入支援システム。
  10.  前記支援情報演算部は、前記挿入部の前記回転量を演算するための基準となる、前記回転検出点と前記第1回転基準点との間の距離に対する閾値を有し、
     前記支援情報演算部は、前記距離と前記閾値との差を基に、前記挿入部の前記回転量を演算する、請求項9に記載の挿入支援システム。
  11.  前記第1情報は、前記複数の位置情報と前記方向ベクトル情報とであり、
     前記方向ベクトル情報は、前記回転検出点を補正し基準となる基準ベクトルを有し、
     前記支援情報演算部は、前記挿入部の回転操作後の前記基準ベクトルが前記挿入部の回転操作前の前記基準ベクトルと同一の方向となるような回転演算を前記回転検出点に実施し、前記回転演算によって回転した前記回転検出点を基に前記挿入部の前記回転量を演算する、請求項8乃至請求項10のいずれかに記載の挿入支援システム。
  12.  前記支援情報演算部は、前記第1情報と、前記挿入部の前記回転量を関連付けた複数のデータである訓練データとを基に機械学習により予め構築された機械学習アルゴリズムを含む複数のアルゴリズムのなかから1つのアルゴリズムを用いて、前記挿入部の前記回転量を演算する、請求項1に記載の挿入支援システム。
  13.  前記複数のアルゴリズムは、前記第1情報を基に、幾何学的に前記挿入部の前記回転量を演算するための幾何学アルゴリズムをさらに有し、
     前記複数のアルゴリズムを記憶する記憶部と、前記支援情報演算部が用いる前記アルゴリズムを、前記複数のアルゴリズムの中から選択し、選択したアルゴリズムを前記支援情報演算部に指示する選択指示部とを有する、請求項12に記載の挿入支援システム。
  14.  前記選択指示部は、前記第1情報と前記訓練データとを比較し、比較結果を基に前記複数のアルゴリズムの中から前記1つのアルゴリズムを選択する、請求項13に記載の挿入支援システム。
  15.  前記支援情報演算部は、前記第2情報を基に、前記被挿入体の体位変換を演算する、請求項1に記載の挿入支援システム。
  16.  前記支援情報演算部は、回転前または回転後の前記挿入部の位置情報または回転前の前記挿入部の前記第1情報の方向ベクトル情報に対して、前記第2情報である回転量と同じ量の回転演算を行い、
     前記支援情報演算部は、回転前と回転後とにおける前記挿入部の前記位置情報の変化または前記挿入部の前記方向ベクトル情報の変化が閾値未満であれば、体位変換が実施されたと、判定する、請求項15に記載の挿入支援システム。
  17.  前記支援情報演算部は、前記被挿入体の体位変換によって変化する重力方向によって生じる前記位置情報の変化または前記方向ベクトル情報の変化を補正する、請求項16に記載の挿入支援システム。
  18.  前記支援情報演算部は、前記被挿入体の入口近傍における、回転前と回転後の前記挿入部の前記位置情報の変化が閾値以上であれば、体位変換が実施されたと、判定する、請求項15に記載の挿入支援システム。
  19.  前記状態取得装置は、
      磁界を発生する磁界発生部と、
      前記磁界発生部から発生された前記磁界の強度を検出する磁界検出部と、
      前記磁界検出部の検出結果を基に、前記第1情報を取得する位置形状取得部と、
     を有し、
     前記磁界発生部と前記磁界検出部との一方は、前記挿入部の内部に複数配置され、前記挿入部の前記長手軸方向において互いに異なる位置に配置され、
     前記磁界発生部と前記磁界検出部との他方は、前記挿入部の外部に配置され、位置を固定される、
     請求項1に記載の挿入支援システム。
  20.  被挿入体に挿入される挿入部の複数の位置に関する複数の位置情報と、前記挿入部の長手軸方向における複数の方向ベクトル情報との少なくとも一方である第1情報を取得し、
     前記第1情報を基に、前記挿入部の回転量に関する第2情報を演算し、
     前記第2情報を出力する、
     挿入支援方法。
PCT/JP2017/021625 2017-06-12 2017-06-12 挿入支援システムと挿入支援方法 WO2018229825A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780091957.3A CN110740674B (zh) 2017-06-12 2017-06-12 插入辅助系统和插入辅助方法
PCT/JP2017/021625 WO2018229825A1 (ja) 2017-06-12 2017-06-12 挿入支援システムと挿入支援方法
US16/703,978 US11696675B2 (en) 2017-06-12 2019-12-05 Insertion support system and insertion support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021625 WO2018229825A1 (ja) 2017-06-12 2017-06-12 挿入支援システムと挿入支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/703,978 Continuation US11696675B2 (en) 2017-06-12 2019-12-05 Insertion support system and insertion support method

Publications (1)

Publication Number Publication Date
WO2018229825A1 true WO2018229825A1 (ja) 2018-12-20

Family

ID=64660713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021625 WO2018229825A1 (ja) 2017-06-12 2017-06-12 挿入支援システムと挿入支援方法

Country Status (3)

Country Link
US (1) US11696675B2 (ja)
CN (1) CN110740674B (ja)
WO (1) WO2018229825A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS597919A (ja) * 1982-07-06 1984-01-17 Olympus Optical Co Ltd 内視鏡の位置出し装置
JPH11281897A (ja) * 1998-03-27 1999-10-15 Olympus Optical Co Ltd 内視鏡
JP2012100885A (ja) * 2010-11-10 2012-05-31 Olympus Corp 内視鏡装置
JP2014079376A (ja) * 2012-10-16 2014-05-08 Olympus Corp 観察装置、観察支援装置、観察支援方法及びプログラム
US20170143191A1 (en) * 2015-02-19 2017-05-25 Olympus Corporation Endoscope system, rotation sensor, and trocar

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175861A (ja) 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡形状検出装置
US6432041B1 (en) * 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
JP3720727B2 (ja) * 2001-05-07 2005-11-30 オリンパス株式会社 内視鏡形状検出装置
JP4914574B2 (ja) * 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
EP2484268B1 (en) * 2009-09-30 2018-04-25 Olympus Corporation Endoscope apparatus
WO2013115231A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 挿入部検出装置及び挿入部検出システム
JP6061602B2 (ja) * 2012-10-10 2017-01-18 オリンパス株式会社 挿入部及び挿入部材を有する挿入システム
JP2015223440A (ja) * 2014-05-29 2015-12-14 オリンパス株式会社 多点検出ファイバセンサ及び多点検出ファイバセンサを備えた挿入装置
US10603124B2 (en) * 2016-11-08 2020-03-31 The Board Of Trustees Of The Leland Stanford Junior University Method for navigating a robotic surgical catheter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS597919A (ja) * 1982-07-06 1984-01-17 Olympus Optical Co Ltd 内視鏡の位置出し装置
JPH11281897A (ja) * 1998-03-27 1999-10-15 Olympus Optical Co Ltd 内視鏡
JP2012100885A (ja) * 2010-11-10 2012-05-31 Olympus Corp 内視鏡装置
JP2014079376A (ja) * 2012-10-16 2014-05-08 Olympus Corp 観察装置、観察支援装置、観察支援方法及びプログラム
US20170143191A1 (en) * 2015-02-19 2017-05-25 Olympus Corporation Endoscope system, rotation sensor, and trocar

Also Published As

Publication number Publication date
US11696675B2 (en) 2023-07-11
US20200107705A1 (en) 2020-04-09
CN110740674A (zh) 2020-01-31
CN110740674B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US11712154B2 (en) Automated calibration of surgical instruments with pull wires
US10433762B2 (en) Medical instrument
WO2011102012A1 (ja) 医療機器
US20200352411A1 (en) Recommended operation presentation system, recommended operation presentation control device, and recommended operation presentation control method
EP2581027B1 (en) Probe shape detection apparatus and probe shape detection method
JP2014134530A (ja) 力計測装置、力計測方法、力計測プログラム、力計測用集積電子回路、並びに、マスタースレーブ装置
US7871370B2 (en) Endoscope-shape monitoring system
AU2007202444A1 (en) Model-based correction of position measurements
JP4728456B1 (ja) 医療機器
JP2009072317A (ja) 医療用チューブ操作支援システム
US8403829B2 (en) Endoscopic form detection device and form detecting method of insertion section of endoscope
US20120053418A1 (en) Endoscopic form detection device and form detecting method of insertion section of endoscope
JP2007130154A (ja) 内視鏡挿入部形状把握システム
WO2018229825A1 (ja) 挿入支援システムと挿入支援方法
JP5011057B2 (ja) 内視鏡形状解析装置
JP6464110B2 (ja) 内視鏡形状把握システム
JP5014941B2 (ja) 内視鏡形状解析装置
JP2018011981A (ja) 医療用画像処理装置
JP2013252387A (ja) 医療用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17913197

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17913197

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP