WO2010140441A1 - 医療機器システムおよび医療器具のキャリブレーション方法 - Google Patents

医療機器システムおよび医療器具のキャリブレーション方法 Download PDF

Info

Publication number
WO2010140441A1
WO2010140441A1 PCT/JP2010/057456 JP2010057456W WO2010140441A1 WO 2010140441 A1 WO2010140441 A1 WO 2010140441A1 JP 2010057456 W JP2010057456 W JP 2010057456W WO 2010140441 A1 WO2010140441 A1 WO 2010140441A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
medical instrument
distal end
tip
probe
Prior art date
Application number
PCT/JP2010/057456
Other languages
English (en)
French (fr)
Inventor
聡一 生熊
川島 知直
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP10783225A priority Critical patent/EP2335553A4/en
Priority to JP2010535159A priority patent/JP4709946B2/ja
Priority to US12/879,362 priority patent/US20110060185A1/en
Publication of WO2010140441A1 publication Critical patent/WO2010140441A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/7214Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using signal cancellation, e.g. based on input of two identical physiological sensors spaced apart, or based on two signals derived from the same sensor, for different optical wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the present invention relates to a medical device system having a medical instrument used by projecting from the distal end of an insertion portion of an endoscope inserted into the body of a subject, and a calibration method for the medical instrument, and more particularly, to the distal end portion of the medical instrument.
  • the present invention relates to a medical device system and a medical instrument calibration method capable of detecting an accurate direction.
  • a three-dimensional image of a duct for example, a lung bronchus
  • a route to the target point along the duct is obtained on the three-dimensional image
  • an insertion navigation system is disclosed that forms a virtual endoscopic image of a pipeline along a route based on three-dimensional image data.
  • the surgeon can correctly reach the vicinity of the region of interest in the distal end of the insertion portion of the endoscope in a short time.
  • the thickness, i.e., diameter, of the conduit through which the insertion section can be inserted there is a limit to the thickness, i.e., diameter, of the conduit through which the insertion section can be inserted, and the insertion section cannot be inserted to the periphery of the bronchus.
  • the operator projects a sample of the region of interest by projecting a medical instrument such as a treatment instrument having a smaller diameter or an ultrasonic probe from the distal end of the insertion portion. Collect or take an ultrasound image of the target tissue.
  • Japanese Laid-Open Patent Publication Nos. 2006-223849 and 2007-130154 propose a method in which a sensor is disposed at the distal end of a medical instrument in order to detect the position and direction of the distal end of the medical instrument. .
  • the microminiature sensor attached to the tip of a small-diameter medical device has poor mounting accuracy, the position and direction of the tip of the medical device, particularly the direction, may not be detected with desired accuracy.
  • the present invention relates to a medical device system having a medical instrument that protrudes from the distal end of an insertion section, and performs a highly accurate examination or treatment, and a medical instrument calibration that performs a highly accurate examination or treatment. It aims to provide a method.
  • a medical device system includes an insertion unit having a hard part that constitutes the distal end part of an insertion part, and a channel that passes through the inside of the hard part, A medical instrument inserted from an insertion opening on the proximal end side and a medical instrument distal end projecting from a projecting opening of the hard part, and the medical instrument distal end based on a change in position of the medical instrument distal end inserted into the channel
  • Direction calculating means for calculating the longitudinal direction of the section.
  • a base of the channel of the insertion means having a hard portion constituting the distal end portion of the insertion portion and a channel inserted through the inside of the hard portion.
  • an endoscope system 1 that is a medical device system according to a first embodiment of the present invention and a small-diameter ultrasonic probe (hereinafter also simply referred to as a “probe”) 21 that is a medical instrument.
  • a calibration method will be described.
  • FIG. 1 is an explanatory diagram for explaining a state in which a region of interest of a subject's lung is being examined using the endoscope system according to the first embodiment of the present invention. It is a block diagram for demonstrating the structure of the endoscope system of this Embodiment, FIG. 3 and FIG. 4 is a cross-sectional schematic diagram for demonstrating the structure of the probe which is a medical instrument of the endoscope system of this Embodiment.
  • FIG. 1 is an explanatory diagram for explaining a state in which a region of interest of a subject's lung is being examined using the endoscope system according to the first embodiment of the present invention. It is a block diagram for demonstrating the structure of the endoscope system of this Embodiment, FIG. 3 and FIG. 4 is a cross-sectional schematic diagram for demonstrating the structure of the probe which is a medical instrument of the endoscope system of this Embodiment.
  • FIG. 1 is an explanatory diagram for explaining a state in which a region of interest of
  • FIG. 1 shows that a hard portion 13 constituting an endoscope distal end portion that is an insertion distal end portion of an insertion portion 12 of an endoscope apparatus 10 of an endoscope system 1 can be inserted into a bronchus 7 of a subject 5. It shows the state of being inserted up to the smallest diameter pipe line. Then, the probe distal end portion of the ultrasonic probe (hereinafter also referred to as “probe”) 21 which is a medical instrument inserted into the channel 14 (see FIG. 2) from the projecting port 14B on the base end side is the projecting port of the hard portion 13. Projecting from 14B, the tissue of the region of interest 8 is examined.
  • the ultrasonic probe 21 which is a medical instrument inserted into the channel 14 (see FIG. 2) from the projecting port 14B on the base end side is the projecting port of the hard portion 13. Projecting from 14B, the tissue of the region of interest 8 is examined.
  • the insertion portion 12 of the endoscope apparatus 10 is thin, for example, about 3 mm in diameter so that it can be inserted into a thin bronchial lumen, but the probe 21 can be inserted into a thinner peripheral bronchial lumen.
  • the diameter is about 1 mm. Since the region of interest 8 is in the thin peripheral bronchus, it cannot often be confirmed by the CCD 19 or the like disposed on the hard portion 13.
  • the endoscope system 1 includes an endoscope apparatus 10, an ultrasonic observation apparatus 20, and a navigation apparatus 30 that are insertion means.
  • An endoscope apparatus 10 includes an endoscope 11 having a CCD 19 as an imaging means in a hard portion 13 of an insertion portion 12 having a flexible portion 15 and a hard portion 13, and a light source that supplies illumination light to the endoscope 11. 17, a CCU (camera control unit) 16 that controls the CCD 19 serving as an imaging unit and processes an image signal obtained from the CCD 19 into a video signal, and a monitor 18 that displays an endoscopic image.
  • a CCU camera control unit
  • a channel 14 having an insertion portion 14A on the proximal end side (PE) and a projection port 14B of the hard portion 13 on the endoscope distal end side (DE) is inserted inside the insertion portion 12.
  • the soft part 15 is flexible, whereas the hard part 13 is not flexible.
  • the ultrasonic observation apparatus 20 controls a probe 21 having an ultrasonic transducer 23 at a probe distal end (hereinafter, also simply referred to as “tip”) 22 that is a medical instrument distal end, and the ultrasonic transducer 23. It has an ultrasonic observation unit 24 that processes the obtained ultrasonic signal and a monitor 25 that displays an ultrasonic image.
  • the navigation device 30 generates a magnetic field for the first sensor 40 disposed at the distal end portion 22 and the second sensor 41 disposed within the hard portion 13 of the insertion portion 12 to detect the position and direction.
  • a transmitting antenna 33 that is a magnetic field generating means, a sensor unit 32 that processes output data of the first sensor 40 and the second sensor 41, and a distal end portion 22 and an insertion portion of the probe 21 based on information of the sensor unit 32 12 includes a navigation unit 31 that is an insertion support unit that calculates the position and direction of the tip of 12 and supports an insertion operation, and a monitor 34 that performs display for navigation.
  • the sensor unit 32 and the navigation unit 31 do not need to be independent units, and may be an integral unit.
  • the sensor unit 32 shown in FIG. 2 sends an alternating current to coils (not shown) located at a plurality of different positions in the transmission antenna 33, and the transmission antenna 33 generates an alternating magnetic field.
  • the first sensor 40 and the second sensor 41 can detect an alternating magnetic field from the transmission antenna 33, and can detect the position and direction based on the detected magnetic field strength.
  • the first sensor 40 is a magnetic field detection sensor having, for example, two coils 40 ⁇ / b> A and 40 ⁇ / b> B that detect magnetic fields in directions orthogonal to each other. That is, the winding axis that is the magnetic field detection direction of the coil 40A and the winding axis that is the magnetic field detection direction of the coil 40B are orthogonal to each other.
  • the first sensor 40 can detect the distance and direction of each of the coils at different positions in the transmission antenna 33.
  • the sensor unit 32 can detect the position (x, y, z) and direction ( ⁇ , ⁇ , ⁇ ) of the first sensor 40 based on the position of the transmission antenna 33, that is, a parameter with six degrees of freedom. It is.
  • the sensor position is, for example, the three-dimensional coordinate value of the center point of the windings of the coils 40A and 40B
  • the sensor direction is, for example, the direction of the winding axis of the coil 40A.
  • the second sensor 41 disposed in the hard portion 13 has the same structure as the first sensor 40, that is, a magnetic field having two coils that detect magnetic fields in directions orthogonal to each other. It is a detection sensor.
  • the winding axis that is the magnetic field detection direction of one coil of the second sensor 41 is parallel to the longitudinal direction of the elongated tip 22 (hard portion 13), and the winding axis that is the magnetic field detection direction of the other coil is the tip.
  • the directions orthogonal to the longitudinal direction of 22 it is parallel to the vertical direction of the endoscopic image.
  • a direction substantially parallel to the longitudinal direction of the distal end portion 22 is referred to as an axial direction
  • a direction substantially orthogonal to the longitudinal direction is referred to as a radial direction.
  • the sensor unit 32 detects the position and direction of the first sensor 40 and the second sensor 41, and calculates the position and direction of the ultrasonic transducer 23 disposed at the distal end portion 22.
  • the navigation unit 31 performs navigation based on the positions and directions of the ultrasonic transducer 23 and the tip 22 calculated by the sensor unit 32.
  • the position of the ultrasonic transducer 23 is the center position of the ultrasonic transducer 23 and the direction is a direction orthogonal to the direction in which the ultrasonic waves are generated.
  • the position of the distal end portion 22 is the position of the distal end surface of the probe 21.
  • the direction of the center position is the longitudinal direction of the elongated tip 22.
  • the magnetic field detection direction of the coil 40A is disposed so as to be parallel to the longitudinal direction of the distal end portion 22. Ideally, but not easy. That is, actually, as shown in FIG. 4, the magnetic field detection direction of the coil 40 ⁇ / b> A may not be parallel to the longitudinal direction of the tip 22.
  • FIG. 4 shows an example in which the magnetic field detection direction of the coil 40 ⁇ / b> A is greatly deviated from the longitudinal direction of the distal end portion 22 for explanation.
  • the sensor unit 32 calculates the magnetic field detection direction of the coil 40 ⁇ / b> A and the longitudinal direction of the tip portion 22. An error occurs. However, as will be described later, since the endoscope 21 can calibrate the probe 21, a highly accurate direction can be calculated.
  • FIG. 5 is a configuration diagram for explaining the configuration of the navigation unit 31 of the endoscope system 1 of the present embodiment.
  • the navigation unit 31 includes a position calculation unit 31 ⁇ / b> A that is a position calculation unit that calculates the position and direction of the first sensor 40 from the information of the first sensor 40, and the longitudinal direction of the distal end portion 22.
  • the direction correction unit 31C that is the direction correction unit that corrects the direction detected by the first sensor 40
  • a navigation unit 31E which is navigation means for performing navigation to be inserted up to the region of interest 8.
  • the region of interest 8 is in the thin peripheral bronchus, it may not be confirmed by the CCD 19 or the like disposed on the hard portion 13.
  • the direction calculation unit 31B includes the first sensor before and after the movement when the tip part 22, that is, the place where the first sensor 40 moves on a straight line, for example, the channel 14 in the hard part 13, is moved.
  • the longitudinal direction of the distal end portion 22 based on the position of 40, the amount of difference between the magnetic field detection direction of the coil 40A and the longitudinal direction of the distal end portion 22 is calculated. Therefore, the endoscope system 1 can calculate a highly accurate direction.
  • FIG. 6 is a flowchart for explaining the processing flow of the medical system of the present embodiment
  • FIGS. 7 to 9 are schematic cross-sectional views for explaining the operation of the medical system of the present embodiment.
  • the processing flow of the endoscope system 1 of the present embodiment will be described with reference to the flowchart of FIG.
  • Step S10> Insertion Step The surgeon inserts the insertion portion 12 of the endoscope apparatus 10 into the bronchus 7 of the subject 5. At that time, a virtual endoscopic image of the bronchus 7 is formed based on the three-dimensional image data by a known insertion navigation system, and the insertion support is performed so that the operator can correctly focus on the distal end of the insertion portion 12 in a short time. The vicinity of the region 8 can be reached.
  • Probe insertion step As shown in FIG. 7, the surgeon inserts the probe 21 from the insertion opening 14 ⁇ / b> A of the channel 14 of the insertion portion 12, and the first sensor 40 is positioned at a position P ⁇ b> 2 near the proximal end in the channel 14 of the hard portion 13. To be located.
  • Step S12 First calculation step The surgeon instructs the navigation unit 31 to perform the first direction correction process.
  • the navigation unit 31 When the navigation unit 31 receives an instruction for the first direction correction process, the navigation unit 31 acquires data (position and direction) of the first sensor 40 and the second sensor 41 from the sensor unit 32.
  • the position data of the second sensor 41 is P1
  • the axial direction data is the vector V1
  • the radial direction data is the vector W1
  • the magnetic field detection direction data of the coil 40A of the first sensor 40 is the vector V2
  • the magnetic field detection of the coil 40B is a vector W2.
  • Step S14 Second calculation step The surgeon instructs the navigation unit 31 to perform the second direction correction process.
  • the navigation unit 31 When the navigation unit 31 receives the instruction for the second direction correction process, the navigation unit 31 acquires data (position and direction) of the second sensor 41 and data (position and direction) of the first sensor 40 from the sensor unit.
  • the position data of the second sensor 41 is P3
  • the axial direction data is the vector V3
  • the radial direction data is the vector W3
  • the magnetic field detection direction data from the coil 40A of the first sensor 40 is the vector V4, and from the coil 40B.
  • the magnetic field detection direction data is a vector W4.
  • the navigation unit 31 estimates the longitudinal direction of the distal end portion 22 of the probe 21 on the assumption that the moving direction of the probe 21 coincides with the longitudinal direction of the distal end portion 22 of the probe 21.
  • the endoscope 11 may move during the movement of the probe 21 due to the movement of the subject, breathing, or heartbeat.
  • the navigation unit 31 sets the vector X1, the vector X3, and the vector X4 as shown in the following (Expression 1), (Expression 2), and (Expression 3), respectively.
  • X1 V1 ⁇ W1 (outer product) (Formula 1)
  • X3 V3 ⁇ W3 (outer product) (Formula 2)
  • X4 V4 ⁇ W4 (outer product) (Formula 3)
  • the relative position of the probe 21 with respect to the endoscope 11 in the first calculation step before the probe movement is expressed by the following (formula 4) using V1, W1, and X1 as vectors P1P2 from P1 to P2. Relative position coefficients, a, b, and c are calculated.
  • the calculated longitudinal direction VV of the tip 22 of the probe 21 is expressed as a function of the magnetic field detection direction data of the coil 40A and the magnetic field detection direction data of the coil 40B, which are output data of the first sensor 40.
  • the correction coefficient for correcting the output data of the first sensor 40 of the probe 21 and accurately calculating the longitudinal direction of the distal end portion 22 is calculated.
  • the longitudinal direction VV (t) of the tip 22 at an arbitrary time t during navigation is the magnetic field detection direction data V (of the coil 40A, which is output data of the first sensor 40 at an arbitrary time t. t) and the magnetic field detection direction data W (t) of the coil 40B and the correction coefficients a2, b2, and c2 calculated in step S15 are calculated from the following (Equation 8).
  • VV (t) a 2 V (t) + b 2 W (t) + c 2 (V (t) ⁇ W (t)) (Formula 8) ⁇ Step S17> Termination instruction The navigation device 30 continues navigation until an end instruction is received from the surgeon.
  • the correction coefficients a2, b2, and c2 used for correction by the direction correction unit 31C are values specific to the probes 21.
  • the navigation device 30 has a storage unit that once calculates the correction coefficient, in other words, stores the relationship between the calibrated probe and the correction coefficient, and when the probe stored in the storage unit is used.
  • An endoscope system that informs the operator that the correction coefficient has already been calculated can also be preferably used.
  • the example in which the position of the tip 22 is corrected based on the information of the second sensor 41 is shown. Even when the relative position of the distal end portion 22 with respect to the region of interest 8 in the bronchi 7 does not change, the position of the distal end portion 22 changes due to breathing of the subject 5 or the like. However, when the distal end portion 22 is moved due to breathing of the subject 5, the second sensor 41 can be considered to move by the same amount at the same time. Therefore, by correcting the position of the distal end portion 22 based on the information of the second sensor 41, the movement of the subject 5 due to breathing or the like is estimated, and the more accurate position of the distal end portion 22 is calculated. Can do.
  • the region of interest 8 when the region of interest 8 is located at a site where the influence of the subject's breathing or the like is small, it is not necessary to correct the position of the distal end portion 22 based on the information of the second sensor 41. In other words, the second sensor 41 is not necessary.
  • the ultrasonic probe 21 is illustrated as a medical instrument.
  • the medical instrument is a treatment instrument such as a perforated needle, brush, or forceps whose tip is suitable for tissue sampling. There may be.
  • the probe 21 that is a medical instrument is accurate when the first sensor 40 is disposed on the probe 21. Even if it is not arranged, the longitudinal direction of the distal end portion 22 can be detected accurately by calibrating the probe 21. For this reason, the endoscope system 1 can perform a highly accurate examination or treatment.
  • the first sensor 40 and the second sensor 41 a magnetic field sensor composed of two coils whose winding axes are orthogonal to each other is illustrated. However, if the winding axes of the two coils are different from each other. It does not need to be orthogonal.
  • the magnetic field sensor may be composed of three or more coils, or may be an MR sensor, an MI sensor, an FG sensor, or the like.
  • FIG. 11 and FIG. 12 are schematic cross-sectional views for explaining the operation of the endoscope system according to the second embodiment. As shown in FIG.
  • the endoscope 11 of the endoscope system 1 ⁇ / b> B has a structure in which the probe 21 protrudes in an oblique direction, so that the linear region of the channel 14 in the hard portion 13 is short. For this reason, it is not easy to calibrate the probe 21 in the hard portion 13.
  • the probe 21 maintains the linear state by its own rigidity while the protrusion amount is small, in other words, the tip 22 of the probe 21 moves on the straight line.
  • the endoscope system 1B calibration is performed at a place where the tip 22 moves on a straight line after protruding from the protruding port 14B.
  • the first calculation step is performed in the state shown in FIG. 10, the probe 21 is moved by an amount that maintains the linear state in the probe moving step, and the second calculation step is performed in the state shown in FIG.
  • the unit 31 uses the axial direction VV (t) of the probe 21 at an arbitrary time t, that is, the longitudinal direction VV (t) of the tip 22 to detect the magnetic field detection direction data V (t) from the coil 40A of the first sensor 40 and the magnetic field from the coil 40B. It is set as a function of the detection direction data W (t).
  • the endoscope system 1B according to the present embodiment and the endoscope system 1 according to the first embodiment differ only in the place where the calibration is performed, and the system configuration and the calibration method are basically the same. It is.
  • the endoscope system 1B even if the probe 21 is a side-view endoscope or a perspective endoscope having a structure in which the probe 21 protrudes in an oblique direction like the endoscope 11B, the first embodiment The same effects as those of the endoscope system 1B can be obtained.
  • FIG. 13 is a display screen showing an example of image processing of the monitor 18 for explaining the endoscope system of the third embodiment
  • FIG. 14 shows the processing of the endoscope system of the third embodiment. It is a flowchart for demonstrating a flow.
  • the navigation unit 31 has a direction calculating unit 31B based on the image of the probe 21 in the endoscopic image 18A that protrudes from the protruding port 14B and is captured by the CCD 19.
  • the longitudinal direction of the distal end portion 22 is calculated by processing.
  • FIG. 13 shows an example of a state in which the probe 21 is bent by gravity.
  • the direction calculation unit 31BA which is different from the direction calculation unit 31B of the first embodiment, first has a distal end portion 22 of the probe 21 with respect to the direction of the second sensor 41 based on the shape of the probe 21 in the endoscopic image 18A.
  • the longitudinal direction of is calculated.
  • an endoscope image 18A in a state in which the probe 21 is projected in various projecting directions and projecting lengths is taken in advance, and the direction of the distal end 22A of the probe 21 with respect to the direction of the second sensor 41 at that time
  • the database is created in the following procedure.
  • a binarized reference endoscopic image is created by identifying and binarizing the probe 21 portion and other portions in each endoscopic image 18A.
  • a database is created by associating and storing the binarized reference endoscope image and the measured tip direction of the probe 21 at the time of endoscopic image capturing.
  • the outer edge shape of the probe 21 is extracted from the current endoscopic image 18A.
  • the position and shape of the probe 21 are compared using the outer edge shape of the probe 21 extracted from the endoscope image 18A, a plurality of binarized reference endoscope images stored in the database, and the endoscope image.
  • the binarized reference endoscope image that best matches the position and shape of the probe 21 in the current endoscope image 18A is selected.
  • related with the selected binarized reference ultrasonic image be the longitudinal direction of the front-end
  • the second method the outer edge shape of the probe 21 is extracted from the current endoscopic image 18A during use. Then, as shown in FIG. 13, a center line 52 is calculated on the major axis of the outer edge shape of the tip portion 22 of the extracted probe 21, and two reference points 50 and 51 are set on the center line 52. Further, reference line segments 53 and 54 that pass through the reference points 50 and 51 and are orthogonal to the center line 52 are calculated.
  • a two-dimensional coordinate system is set in which the center position of the endoscopic image 18A is the origin, the right direction is the + x direction, and the upward direction is the + y direction.
  • the lengths of the reference line segments 53 and 54 are calculated and set as the value of z.
  • the endoscope is proportional to the distance between the probe 21 and the CCD 19. It can be determined how much the outer diameter of the apparent probe 21 on the image 18A is. In other words, if the probe 21 is far from the CCD 19, it will appear small in the endoscopic image 18A, and if it is close, it will appear large. Therefore, the distance between the CCD 19 and the reference points 50 and 51 on the probe 21 in the three-dimensional space can be calculated from the value of z.
  • the (x, y) coordinate point on the endoscopic image corresponds to a point on a radial straight line centered on the position of the CCD 19 in the three-dimensional space. From this, the direction of the reference points 50 and 51 on the probe 21 can be calculated from the CCD 19 in the three-dimensional space from the value of (x, y).
  • the position of the reference points 50 and 51 of the probe 21 with respect to the CCD 19 is the second sensor 41 when the position of the second sensor 41 is the origin and the direction of the second sensor 41 is the x, y, and z axes. Can be converted into the positions of the reference points 50 and 51 of the probe 21 relative to.
  • the direction of the vector connecting the two reference points on the probe 21 becomes the longitudinal direction of the distal end portion 22, and the longitudinal direction of the distal end portion 22 relative to the direction of the second sensor 41 can be calculated.
  • the direction calculation unit 31B converts the longitudinal direction of the distal end portion 22 with respect to the direction of the second sensor 41 into the longitudinal direction of the distal end portion 22 with respect to the direction of the first sensor 40. That is, coordinate conversion is performed using the relationship between the position and direction of the first sensor 40 and the position and direction of the second sensor 41 from the detection value of the first sensor 40 and the detection value of the second sensor 41. I do.
  • Steps S20 to S21> This is the same as steps S10 to S11 in the description of the endoscope system 1 of the first embodiment.
  • the navigation unit 31 calculates the longitudinal direction VV of the distal end portion 22 of the probe 21 relative to the second sensor 41 by analyzing the image of the state of the probe 21 in the endoscopic image 18A by the method described above. At this time, VV is calculated based on the direction of the second sensor 41 as shown in (Equation 9).
  • the navigation unit 31 acquires the direction data of the second sensor 41.
  • the longitudinal direction data of the distal end portion 22 (hard portion 13) is the vector V6
  • the upward direction data of the endoscope image 18A is the vector W6.
  • the endoscope system 1C according to the present embodiment has the effect of the endoscope system 1 according to the first embodiment, and even when the probe 21 is bent due to the influence of gravity or the like, the probe system is accurate. It is possible to detect the longitudinal direction of the distal end portion 22.
  • FIG. 15 and 16 are schematic cross-sectional views of the endoscope for explaining the endoscope system of the present embodiment
  • FIG. 17 is a configuration showing the configuration of the navigation unit of the endoscope system of the present embodiment.
  • the magnetic field detection direction of one coil is the same as that of the distal end portion 22 of the ultrasonic probe 21.
  • the magnetic field detection direction of the other coil is parallel to the reference direction (for example, the upward direction of the ultrasonic image) in parallel with the longitudinal direction.
  • one detection axis of a smaller two-axis magnetic field sensor is parallel to the longitudinal direction of the distal end portion 22 at the distal end portion 22 of the very thin diameter probe 21, and the other detection axis is the ultrasonic image. It is not easy to arrange them so as to be parallel to the upper direction. For this reason, as shown in FIG. 4, the winding axis direction, which is the magnetic field detection direction of the coil 40B, may not be completely parallel to the reference orientation. Then, the surgeon may not be able to accurately grasp the vertical and horizontal directions of the ultrasonic image.
  • the endoscope system 1D detects a change in the position and direction of the sensor 40 due to the rotation operation of the probe 21, and the direction calculation unit 31B calculates the accurate longitudinal direction of the distal end portion 22.
  • changes in the position and direction of the sensor 40 due to the bending operation of the bending portion 12A (see FIG. 15) of the probe 21 are detected, and an accurate reference azimuth is obtained by a reference azimuth calculating unit 31D (see FIG. 16) which is a reference azimuth calculating means. Is calculated.
  • the endoscope system 1D calculates a tip direction correction value for correcting the direction of the sensor 40 in the longitudinal direction of the tip of the probe 21 by calibration by the rotation operation of the probe 21, and the direction of the sensor 40 by calibration by the bending operation.
  • a reference azimuth correction value that corrects to a reference azimuth is calculated.
  • the endoscope 11 ⁇ / b> D of the endoscope system 1 ⁇ / b> D has a curved portion 12 ⁇ / b> A disposed between the soft portion 15 and the hard portion 13 of the insertion portion 12.
  • the hard part 13 is provided with imaging means such as a CCD 13B, so that the surgeon can confirm an endoscopic image displayed on the monitor 18 by the CCD 13B.
  • the bending portion 12A is connected to the bending knob 12C of the operation portion 12B by a bending wire (not shown). As shown in FIG. 16, when the surgeon rotates the bending knob 12C, the bending portion 12A performs a bending operation, and the distal end 13A of the insertion portion 12 rotates.
  • the navigation unit 31Z is positioned before and after the first sensor 40 is moved by the rotation operation of the probe 21 and the bending operation of the bending portion 12A.
  • the reference azimuth calculating unit 31D that calculates the reference azimuth of the ultrasonic image captured by the ultrasonic transducer 23 is provided.
  • 18A to 18C are diagrams for explaining a coordinate system in the rotation operation of the probe 21 of the endoscope system 1D according to the present embodiment.
  • the position of the first sensor 40 in the state before the rotation operation of the probe 21 is H (t 0 )
  • the orthonormal basis in the direction of the first sensor 40 is (U ( t 0 ) V (t 0 ) W (t 0 )), as shown in FIG.
  • the operator twists the probe 21 in the channel 14 in a state where the bending portion 12A is not bent as shown in FIG. .
  • the rotation axis direction of the probe 21 is the tip direction Q of the probe 21.
  • this rotation operation is an operation for calculating the rotation axis from the state change before and after the rotation, it may be about half a rotation.
  • Equation 30 That is, the following (Equation 31) is established, where h (t 0 ) and h (t 1 ) are matrixes whose elements are the respective direction components of H (t 0 ) and H (t 1 ) with respect to ⁇ ijk ⁇ . Each component of H (t 0 ) and H (t 1 ) is output from the sensor unit 32.
  • the navigation unit 31 sets the probe tip direction Q (t) as 34).
  • the surgeon curves the bending portion 12A upward with the bending knob 12C.
  • P be the rotation axis of the bending operation at this time.
  • the time before the bending operation is t 2 and the time after the bending operation is t 3 .
  • the direction P of the bending rotation axis at the time of the bending operation is calculated by the same method as the Q calculation method already described.
  • the reference azimuth calculation unit 31D serving as the reference azimuth calculation means calculates the reference azimuth V 12 (t 3 ) according to the following (formula 36).
  • the reference azimuth correction unit 31F corrects the direction of the first sensor 40 and sequentially calculates the reference azimuth.
  • the reference azimuth correcting unit 31F operates as follows.
  • the navigation unit 31 sets the probe reference orientation V 12 (t) as 37).
  • V 12 (t) (b 7 c 6 -c 7 b 6) U (t) + (c 7 a 6 -a 7 c 6) V (t) + (b 7 c 6 -c 7 b 6) W (T) (Formula 37) Q (t) calculated here is transmitted to the navigation unit 31E.
  • the navigation unit performs navigation based on Q (t) calculated by the direction correction unit and V 12 (t) calculated by the reference orientation correction unit 31F.
  • the direction of the first sensor 40 is corrected to the tip direction of the probe 21 by the calibration by the rotation operation of the probe 21, and the first by the calibration by the bending operation.
  • the direction of the sensor 40 is corrected to the reference azimuth. For this reason, the surgeon can accurately grasp the vertical and horizontal directions of the ultrasonic image, and can perform a highly accurate examination or treatment.
  • the surgeon may perform the bending operation of the probe. Good.
  • an ultrasonic probe is used as an example of a medical instrument of the medical device system, and the upper direction of the endoscopic image is described as a reference method.
  • the medical instrument is a forceps
  • the opening / closing direction of the forceps is set as a reference orientation.
  • the medical instrument is a one-sided knife
  • the direction of the eyelid is set as the reference orientation.
  • the medical instrument is a small endoscope that is inserted through the channel of the endoscope
  • the upper direction of the endoscope image of the small endoscope is set as the reference orientation.
  • the tip direction Q is calculated from (Equation 29), (Equation 31), and (Equation 32). However, there is almost no difference between the values of H in (Equation 30) between times t 0 and t 1. If not, the error in the tip direction Q becomes large. For this reason, when the distance between H (t 0 ) and H (t 1 ) is equal to or smaller than a predetermined value, the medical device system displays a message on the screen of the monitor 18, thereby prompting the surgeon the probe 21. Is preferably instructed to rotate further.
  • a second sensor may be provided at the endoscope tip, and the position and direction information of the probe may be corrected based on the information of the second sensor.
  • the detection means for detecting the position and direction may not be a magnetic sensor.
  • a gyro sensor may be disposed at the distal end, and the position and direction may be detected.
  • a light-emitting marker such as an LED is disposed in the operation portion of the rigid endoscope, and the light receiving device is connected to the endoscope.
  • the position and direction of the operation unit may be detected and converted to the position of the endoscope tip, and a fiber grating (FBG) sensor is provided at the insertion part of the endoscope, and the position and direction of the tip are determined. It may be detected.
  • FBG fiber grating
  • a flexible endoscope having the flexible portion 15 and the hard portion 13 disposed on the distal end side of the flexible portion 15 as an insertion means of the medical device system has been described as an example.
  • the present invention is not limited thereto.
  • the insertion means may be a rigid endoscope or a trocar if there is a channel.
  • the probe is moved in the channel of the endoscope to correct the probe direction.
  • the endoscope or the treatment tool is moved in the trocar and the endoscope or the treatment tool is moved.
  • the direction may be corrected.
  • the endoscope system 1D is as follows.
  • An insertion means having a soft part, a bending part, a hard part, and a channel that passes through the soft part, the bending part, and the inside of the hard part,
  • a medical instrument that is inserted from an insertion port on the proximal end side of the channel and protrudes from the projection port of the hard portion and has a sensor at the distal end portion that detects a position and direction;
  • Position calculating means for calculating the position and direction of the tip from the sensor information;
  • Reference azimuth calculating means for calculating a reference azimuth of the tip based on the position and direction of the tip before and after movement when the medical instrument rotates in the channel and when the bending portion bends;
  • a medical device system comprising:
  • the insertion means is an insertion portion of an endoscope, The medical device system according to (1), wherein the reference orientation is an orientation of a captured image captured by the endoscope.
  • the medical instrument is an ultrasonic probe, The medical device system according to (1), wherein the reference orientation is an orientation of an ultrasound image captured by the ultrasound probe.

Abstract

 内視鏡システム1は挿入部先端部を構成する硬質部13と内部を挿通するチャンネル14とを有する挿入部12と、位置および方向を検出する第1のセンサ40をプローブ先端部22に有し、チャンネル14の基端部側の挿入口14Aから挿入され硬質部13の突出口14Bから突出する超音波プローブ21と、第1のセンサ40の位置および方向を算出する位置算出部31Aと、プローブ先端部22の直線移動前後の、第1のセンサ40の位置情報変化をもとに、プローブ先端部22の方向を算出する方向算出部31Bと、を具備する。

Description

医療機器システムおよび医療器具のキャリブレーション方法
 本発明は、被検体の体内に挿入された内視鏡の挿入部の先端から突出して使用される医療器具を有する医療機器システムおよび医療器具のキャリブレーション方法に関し、特に、医療器具の先端部の正確な方向を検出することのできる医療機器システムおよび医療器具のキャリブレーション方法に関する。
 近年、CT装置により得られた被検者の3次元画像データから管路、例えば肺の気管支の3次元像を形成し、3次元像上で管路に沿って目的点までの経路を求め、さらに経路に沿った管路の仮想的な内視画像を3次元画像データにもとづいて形成する挿入ナビゲーションシステムが開示されている。例えば、特開2004-180940号公報に開示された挿入ナビゲーションシステムを用いることで、術者は内視鏡の挿入部の先端を短時間で正しく関心領域近傍に到達することができる。しかし、挿入部が挿入可能な管路の太さ、すなわち、直径には限界があり、気管支の末梢までは挿入部を挿入することはできない。このため、挿入部の先端が関心領域近傍に到達した後、挿入部の先端から、さらに細い径の処置具または超音波プローブ等の医療器具を突出させることで、術者は関心領域のサンプルを採取したり、目的組織の超音波画像を撮影したりする。
 目的組織の超音波画像の撮影、または、目的組織のサンプル採取のためには、医療器具の先端部の位置および方向を検知することが必要である。特開2006-223849号公報および特開2007-130154号公報には、医療器具の先端部の位置および方向を検知するために、センサを医療器具の先端部に配設する方法が提案されている。
 細径の医療器具の先端部に取り付ける超小型センサは取り付け精度が悪いと、医療器具の先端部の位置および方向、特に、方向を所望の精度で検知することができないことがあった。
 本発明は、挿入部の先端から突出して使用される医療器具を有する医療機器システムであって、精度の高い検査または処置を行う医療機器システムおよび精度の高い検査または処置を行う医療器具のキャリブレーション方法を提供することを目的とする。
 上記目的を達成すべく、本発明の実施の形態の医療機器システムは、挿入部先端部を構成する硬質部と、前記硬質部の内部を挿通するチャンネルと、を有する挿入手段と、前記チャンネルの基端部側の挿入口から挿入され前記硬質部の突出口から医療器具先端部が突出する医療器具と、前記チャンネルに挿入された前記医療器具先端部の位置変化をもとに前記医療器具先端部の長手方向を算出する方向算出手段と、を具備する。
また、本発明の別の実施の形態の医療器具のキャリブレーション方法は、挿入部先端部を構成する硬質部と、前記硬質部の内部を挿通するチャンネルと、を有する挿入手段の前記チャンネルの基端部側の挿入口から医療器具を挿入する挿入ステップと、医療器具先端部に配設された、位置および方向を検出可能な第1のセンサの情報をもとに、前記医療器具先端部の位置を、第1の場所で算出する第1の算出ステップと、前記医療器具先端部の位置を、前記第1の場所から第2の場所に直線上を移動するプローブ移動ステップと、前記医療器具先端部の位置を、前記第2の場所で算出する第2の算出ステップと、前記第1の算出ステップにおいて算出した前記位置と、前記第2の算出ステップにおいて算出した前記位置と、をもとに、前記医療器具先端部の方向を算出する先端部方向算出ステップと、を具備する。
第1の実施の形態の内視鏡システムを用いて被検者の肺の関心領域の検査を行っている状態を説明する説明図である。 第1の実施の形態の内視鏡システムの構成を説明するため構成図である。 第1の実施の形態の内視鏡システムの医療器具である超音波プローブの理想的な構造を説明する断面模式図である。 第1の実施の形態の内視鏡システムの医療器具である超音波プローブの実際の構造の一例を説明する断面模式図である。 第1の実施の形態の内視鏡システムのナビゲーションユニットの構成を説明する構成図である。 第1の実施の形態の医療システムの処理の流れを説明するフローチャートである。 第1の実施の形態の医療システムの動作を説明する断面模式図である。 第1の実施の形態の医療システムの動作を説明する断面模式図である。 第1の実施の形態の医療システムの動作を説明する断面模式図である。 第2の実施の形態の医療システムの動作を説明する断面模式図である。 第2の実施の形態の医療システムの動作を説明する断面模式図である。 第2の実施の形態の医療システムの動作を説明する断面模式図である。 本発明の第3の実施の形態の内視鏡システムを説明するモニタの画像処理の一例を示す表示画面である。 第3の実施の形態の医療システムの処理の流れを説明するフローチャートである。 第4の実施の形態の内視鏡システムを説明する内視鏡の断面模式図である。 第4の実施の形態の内視鏡システムを説明する内視鏡の断面模式図である。 第4の実施の形態の内視鏡システムの構成を説明するため構成図である。 第4の実施の形態の内視鏡システムにおける座標系を説明する図である。 第4の実施の形態の内視鏡システムにおける座標系を説明する図である。 第4の実施の形態の内視鏡システムにおける座標系を説明する図である。
<第1の実施の形態> 
 以下、図面を参照して本発明の第1の実施の形態の医療機器システムである内視鏡システム1および医療器具である細径の超音波プローブ(以下、単に「プローブ」ともいう。)21のキャリブレーション方法について説明する。
 図1は、本発明の第1の実施の形態の内視鏡システムを用いて被検者の肺の関心領域の検査を行っている状態を説明するための説明図であり、図2は、本実施の形態の内視鏡システムの構成を説明するため構成図であり、図3および図4は本実施の形態の内視鏡システムの医療器具であるプローブの構造を説明するための断面模式図である。
 図1は、被検者5の気管支7に、内視鏡システム1の内視鏡装置10の挿入部12の挿入部先端部である内視鏡先端部を構成する硬質部13が、挿入可能な最小径の管路にまで、挿入されている状態を示している。そして、基端部側の突出口14Bからチャンネル14(図2参照)に挿入された医療器具である超音波プローブ(以下「プローブ」ともいう。)21のプローブ先端部が硬質部13の突出口14Bから突出して、関心領域8の組織を検査している。
 図1に示すように、内視鏡装置10の挿入部12は細い気管支管腔に挿入可能なように例えば直径3mm程度と細いが、プローブ21は、さらに細い末梢の気管支管腔に挿入可能なように例えば直径1mm程度である。なお、関心領域8は、細い末梢の気管支内にあるため、硬質部13に配設されたCCD19等により確認することはできない場合が多い。
 次に、図2に示すように内視鏡システム1は、挿入手段である内視鏡装置10と超音波観測装置20とナビゲーション装置30とを有する。内視鏡装置10は、軟性部15と硬質部13とを有する挿入部12の硬質部13内に撮像手段であるCCD19を有する内視鏡11と、内視鏡11に照明光を供給する光源17と、撮像手段であるCCD19を制御するとともにCCD19から得られた画像信号を映像信号に処理するCCU(カメラコントロールユニット)16と、内視鏡画像を表示するモニタ18とを有する。挿入部12の内部には、基端部側(PE)の挿入口14Aおよび内視鏡先端部側(DE)の硬質部13の突出口14Bを開口部とするチャンネル14が挿通している。軟性部15は柔軟なのに対して、硬質部13は柔軟性を有していない。
 超音波観測装置20は、医療器具先端部であるプローブ先端部(以下、単に「先端部」ともいう。)22に超音波振動子23を有するプローブ21と、超音波振動子23を制御するとともに得られた超音波信号を処理する超音波観測ユニット24と、超音波画像を表示するモニタ25とを有している。
 ナビゲーション装置30は、先端部22に配設された第1のセンサ40および挿入部12の硬質部13内に配設された第2のセンサ41が位置および方向を検出するための磁界を発生する磁界発生手段である送信アンテナ33と、第1のセンサ40および第2のセンサ41の出力データを処理するセンサユニット32と、センサユニット32の情報をもとにプローブ21の先端部22および挿入部12の先端の位置および方向を算出し、挿入操作を支援する挿入支援手段であるナビゲーションユニット31と、ナビゲーションのための表示を行うモニタ34と、を有する。なお、センサユニット32とナビゲーションユニット31とは独立したユニットの必要はなく、一体のユニットであってもよい。
 図2に示すセンサユニット32は送信アンテナ33内の複数の異なる位置にある図示しないコイルに対して交流電流を送り、送信アンテナ33は交流磁界を発生する。第1のセンサ40および第2のセンサ41は、送信アンテナ33からの交流磁界を検出し、検出した磁界強度をもとに位置および方向を検出可能である。
 すなわち、図3および図4に示すように、第1のセンサ40は、例えば互いに直交する方向の磁界を検出する2個のコイル40Aと40Bとを有している磁界検出センサである。つまりコイル40Aの磁界検出方向である巻線軸とコイル40Bの磁界検出方向である巻線軸とは直交している。
 このため、第1のセンサ40は、送信アンテナ33内の複数の異なる位置にあるコイルのそれぞれとの距離および方向が検出可能である。このため、センサユニット32は、送信アンテナ33の位置を基準とした第1のセンサ40の位置(x、y、z)および方向(α、β、γ)、すなわち6自由度のパラメータが検出可能である。なお、センサの位置とは、例えばコイル40Aおよび40Bの巻線の中心点の3次元座標値であり、センサの方向とは、例えばコイル40Aの巻線軸の方向である。
 図2に示すように硬質部13に配設された第2のセンサ41は、第1のセンサ40同様の構造、すなわち互いに直交する方向の磁界を検出する2個のコイルを有している磁界検出センサである。そして第2のセンサ41の一方のコイルの磁界検出方向である巻線軸は細長い先端部22(硬質部13)の長手方向に平行であり、他方のコイルの磁界検出方向である巻線軸は先端部22の長手方向に直交する方向のうち、内視鏡画像の上下方向に平行である。以下、センサの方向を示す場合、先端部22の長手方向と略平行な方向を軸方向、長手方向に略直交する方向を径方向という。
 センサユニット32は第1のセンサ40および第2のセンサ41、の位置および方向を検出し、先端部22に配設されている超音波振動子23の位置および方向を算出する。そしてナビゲーションユニット31はセンサユニット32が算出した超音波振動子23および先端部22の位置および方向をもとにナビゲーションを行う。なお、例えば超音波振動子23の位置とは超音波振動子23の中心位置、方向とは超音波を発生する方向と直交する方向であり、先端部22の位置とはプローブ21の先端面の中央位置を、方向とは細長い先端部22の長手方向である。
 しかし図3のように細い径のプローブ21の先端部22に、さらに小さな磁界センサを配設するときに、コイル40Aの磁界検出方向が先端部22の長手方向に平行となるように配設することが理想であるが、容易ではない。すなわち実際には図4に示すように、コイル40Aの磁界検出方向は先端部22の長手方向に対して平行にならないことがある。なお、図4は説明のためコイル40Aの磁界検出方向が先端部22の長手方向から大きくずれた例を示している。
 図4に示すようにコイル40Aの磁界検出方向が先端部22の長手方向と一致していない場合には、センサユニット32が算出するコイル40Aの磁界検出方向と先端部22の長手方向との間に誤差が生じる。しかし、後述するように、内視鏡システム1ではプローブ21のキャリブレーションを行うことができるために精度の高い方向が算出可能である。
 ここで、図5は、本実施の形態の内視鏡システム1のナビゲーションユニット31の構成を説明するための構成図である。図5に示すように、ナビゲーションユニット31は、第1のセンサ40の情報から第1のセンサ40の位置および方向を算出する位置算出手段である位置算出部31Aと、先端部22の長手方向を算出する方向算出手段である方向算出部31Bと、第1のセンサ40が検出した方向を補正する方向補正手段である方向補正部31Cと、先端部22の位置をもとに、先端部22を関心領域8にまで挿入するナビゲーションを行うナビゲーション手段であるナビゲーション部31Eと、を有する。すでに説明したように、関心領域8は、細い末梢の気管支内にあるため、硬質部13に配設されたCCD19等により確認することはできない場合もある。
 後述するように方向算出部31Bは、先端部22、すなわち第1のセンサ40が直線上を移動する場所、例えば硬質部13内のチャンネル14、を移動したときの、移動前後の第1のセンサ40の位置をもとに先端部22の長手方向を算出することにより、コイル40Aの磁界検出方向と先端部22の長手方向との相違量を算出し、方向補正部31Cは第1のセンサ40が検出した方向を補正して先端部22の長手方向を算出するため、内視鏡システム1は精度の高い方向が算出可能である。
 ここで、図6、図7、図8および図9を用いて、内視鏡システム1の動作について説明する。図6は本実施の形態の医療システムの処理の流れを説明するためのフローチャートであり、図7~図9は、本実施の形態の医療システムの動作を説明するための断面模式図である。以下、図6のフローチャートに従い本実施の形態の内視鏡システム1の処理の流れを説明する。
 <ステップS10> 挿入部挿入ステップ 
 術者は内視鏡装置10の挿入部12を被検者5の気管支7に挿入する。そのとき、公知の挿入ナビゲーションシステムにより気管支7の仮想的な内視画像を3次元画像データにもとづいて形成し、挿入支援を行うことにより、術者は挿入部12の先端を短時間で正しく関心領域8近傍に到達することができる。
 <ステップS11> プローブ挿入ステップ 
 図7に示すように、術者は挿入部12のチャンネル14の挿入口14Aから、プローブ21を挿入し、硬質部13のチャンネル14内の基端部寄りの位置P2に、第1のセンサ40が位置するようにする。
 <ステップS12> 第1の算出ステップ 
 術者はナビゲーションユニット31に第1方向補正処理を指示する。
ナビゲーションユニット31は、第1方向補正処理の指示を受け取ると、センサユニット32から第1のセンサ40および第2のセンサ41のデータ(位置および方向)を取得する。
このときの第2のセンサ41の位置データをP1、軸方向データをベクトルV1、径方向データをベクトルW1、第1のセンサ40のコイル40Aの磁界検出方向データをベクトルV2、コイル40Bの磁界検出方向データをベクトルW2とする。
<ステップS13> プローブ移動ステップ 
 次に、図8に示すように、術者は硬質部13のチャンネル14内にプローブ21の第1のセンサ40が位置する範囲で、硬質部13に対するプローブ21の位置を先端方向P4に移動する。硬質部13内のチャンネル14は直線状であるため、先端部22、すなわち第1のセンサ40は直線上を移動する。
<ステップS14> 第2の算出ステップ 
 術者は、ナビゲーションユニット31に第2方向補正処理を指示する。
ナビゲーションユニット31は、第2方向補正処理の指示を受け取ると、センサユニットから第2のセンサ41のデータ(位置および方向)と、第1のセンサ40のデータ(位置および方向)を取得する。
 このときの第2のセンサ41の位置データをP3、軸方向データをベクトルV3、径方向データをベクトルW3、第1のセンサ40のコイル40Aからの磁界検出方向データをベクトルV4、コイル40Bからの磁界検出方向データをベクトルW4とする。
<ステップS15> 補正係数算出ステップ
 ナビゲーションユニット31は、プローブ21の移動方向がプローブ21の先端部22の長手方向と一致するものと仮定して、プローブ21の先端部22の長手方向を推定する。しかし、プローブ21の移動の間に被検者の移動、呼吸または心拍等により内視鏡11が移動してしまうことがある。その内視鏡11の動きをキャンセルするために内視鏡11に対するプローブ21の相対位置をもとにしたプローブ21の移動方向をプローブ21の先端部22の長手方向として算出することが好ましい。
 以下の(式1)~(式6)に、その先端部22の長手方向VVの算出方法を記す。
 最初にナビゲーションユニット31は、ベクトルX1、ベクトルX3、ベクトルX4を、それぞれ以下の(式1)、(式2)、(式3)のように設定する。 
  X1=V1×W1(外積)  (式1)
  X3=V3×W3(外積)  (式2)
  X4=V4×W4(外積)  (式3)
 次に、プローブ移動前の第1の算出ステップにおける内視鏡11に対するプローブ21の相対位置をP1からP2のベクトルP1P2として、V1、W1、X1を用いて、以下の(式4)で表したときの、相対位置係数、a、b、cが算出される。
  P2P1=aV1+bW1+cX1  (式4)
 同様に、プローブ移動後の第2の算出ステップにおける内視鏡11に対するプローブ21の相対位置をP3からP4のベクトルP1P2として、V3、W3、X3を用いて、以下の(式5)で表したときの、相対位置係数、a、b、cが算出される。
  P4P3=aV3+bW3+cX3  (式5)
 第2の算出ステップでのプローブ21の軸方向、すなわち先端部22の長手方向VVは、プローブ21の移動方向から算出されるが、内視鏡11に対する相対位置をもとに計算される。そこで、相対位置係数である、a、b、c、a、b、cを用い、以下の(式6)のようにVVを算出することができる。
  VV=P3P4―P1P2=(a-a)V3+(b-b)W3+(c-c)X3  (式6)
 ここで、算出したプローブ21の先端部22の長手方向VVを第1のセンサ40の出力データであるコイル40Aの磁界検出方向データとコイル40Bの磁界検出方向データとの関数として表現する。この関数で表現することにより、プローブ21の第1のセンサ40の出力データを補正し先端部22の長手方向を正確に算出するための補正係数を算出する。
 VVをV4、W4、X4の関数として表現すると、以下の(式7)のようになり、ナビゲーションユニット31は、(式6)と(式7)とより補正係数である、a、b、cを算出することができる。 
  VV=aV4+bW4+cX4  (式7)
<ステップS16> 検出方向補正ステップ(ナビゲーションステップ) 
 ナビゲーション装置30は、ナビゲーションの対象を挿入部12の硬質部13から、プローブ21の先端部22に変更する。ナビゲーション装置30は、この補正された先端部22の長手方向VV(t)と検出した先端部22の位置をもとにナビゲーション情報を作成する。術者はナビゲーション装置30のナビゲーション情報に従いプローブ21を関心領域8周辺まで挿入し、超音波振動子23を用いて観察を行う。
 図9に示すようにナビゲーション中の任意の時刻tの先端部22の長手方向VV(t)は、任意の時刻tの第1のセンサ40の出力データであるコイル40Aの磁界検出方向データV(t)およびコイル40Bの磁界検出方向データW(t)と、ステップS15で算出した補正係数であるa2、b2、c2をもとに、以下の(式8)から算出される。
  VV(t)=aV(t)+bW(t)+c(V(t)×W(t))  (式8)
<ステップS17> 終了指示 
 ナビゲーション装置30は、術者から終了指示があるまでナビゲーションを継続する。
 なお、方向補正部31Cが補正に用いる補正係数a2、b2、c2は、それぞれのプローブ21に固有の値である。このためナビゲーション装置30は一度、補正係数を算出した、言い換えればキャリブレーションを行ったプローブと補正係数との関係を記憶する記憶部を有し、記憶部に記憶されているプローブが使用されるときにはすでに補正係数が算出されていることを術者に知らせる内視鏡システムも好ましく用いることができる。
 なお、上記説明では先端部22の位置を第2のセンサ41の情報をもとに補正する例を示した。気管支7における先端部22の関心領域8に対する相対位置が変化しない場合であっても、被検者5の呼吸等により先端部22の位置は変化する。しかし、被検者5の呼吸等による先端部22の移動のときには、第2のセンサ41も同時に同じ量だけ移動するとみなすことができる。このため、先端部22の位置を第2のセンサ41の情報をもとに補正することにより、被検者5の呼吸等による移動を推定し、より正確な先端部22の位置を算出することができる。
 なお、関心領域8が、被検者の呼吸等の影響が少ない部位に位置する場合には、先端部22の位置を第2のセンサ41の情報をもとに補正する必要はない。言い換えれば、第2のセンサ41は不要である。
 また、上記説明では、医療器具として超音波プローブ21を例示したが、これに限られるものではなく、医療器具としては、先端が組織のサンプリングに適した穿孔針、ブラシまたは鉗子等の処置具であってもよい。
 以上の説明のように、本実施の形態の医療機器システムである内視鏡システム1においては、医療器具であるプローブ21は、第1のセンサ40をプローブ21に配設するときに、正確に配設されていない場合であっても、プローブ21のキャリブレーションを行うことにより、正確な先端部22の長手方向を検出することができる。このため内視鏡システム1は精度の高い検査または処置を行うことができる。
 また本実施の形態では、第1のセンサ40および第2のセンサ41として、巻線軸が互いに直交する2つのコイルからなる磁界センサを例示したが、2つのコイルの巻線軸方向が異なっていれば直交していなくてもよい。また、磁界センサは3つ以上のコイルからなっていてもよいし、MRセンサ、MIセンサ、またはFGセンサ等であってもよい。
<第2の実施の形態> 
 以下、図面を参照して本発明の第2の実施の形態の医療機器システムである内視鏡システム1Bについて説明する。本実施の形態の内視鏡システム1Bは、第1の実施の形態の内視鏡システム1と類似しているため、同じ構成要素には同じ符号を付し、説明は省略する。図10、図11および図12は第2の実施の形態の内視鏡システムの動作を説明するための断面模式図である。 
 図10に示すように、本実施の形態の内視鏡システム1Bの内視鏡11は、プローブ21が斜め方向に突出する構造のため、硬質部13内のチャンネル14の直線領域が短い。このため、硬質部13内でプローブ21のキャリブレーションを行うことが容易ではない。
 しかし図11に示すように、プローブ21は、突出口14Bから突出した後でも突出量が小さい間は自らの剛性により直線状態を維持、言い換えれば、プローブ21の先端部22は直線上を移動する。内視鏡システム1Bにおいては、突出口14Bから突出した後で先端部22が直線上を移動する場所でキャリブレーションを行う。
 すなわち、図10に示す状態で第1の算出ステップを行い、プローブ移動ステップにおいてプローブ21が直線状態を維持する量だけ移動し、図11に示す状態で第2の算出ステップを行うことで、ナビゲーションユニット31は任意の時刻tのプローブ21の軸方向、すなわち先端部22の長手方向VV(t)を第1のセンサ40のコイル40Aからの磁界検出方向データV(t)とコイル40Bからの磁界検出方向データW(t)の関数として設定する。
 すなわち、本実施の形態の内視鏡システム1Bと第1の実施の形態の内視鏡システム1とはキャリブレーションを行う場所が異なるだけであり、システムの構成およびキャリブレーション方法は基本的に同一である。
 本実施の形態の内視鏡システム1Bでは、内視鏡11Bのようにプローブ21が斜め方向に突出する構造の側視内視鏡または斜視内視鏡であっても、第1の実施の形態の内視鏡システム1Bと同様の効果を得ることができる。
<第3の実施の形態> 
 以下、図面を参照して本発明の第3の実施の形態の医療機器システムである内視鏡システム1Cについて説明する。本実施の形態の内視鏡システム1Cは、第1の実施の形態の内視鏡システム1と類似しているため、同じ構成要素には同じ符号を付し、説明は省略する。 
 図13は第3の実施の形態の内視鏡システムを説明するためのモニタ18の画像処理の一例を示す表示画面であり、図14は第3の実施の形態の内視鏡システムの処理の流れを説明するためのフローチャートである。
 内視鏡システム1Cでは、ナビゲーションユニット31は、図13に示すように突出口14Bから突出しCCD19により撮像された内視鏡画像18Aの中のプローブ21の画像をもとに方向算出部31Bが画像処理により先端部22の長手方向を算出する。図13はプローブ21が重力によって曲がった状態の一例を示している。
 第1の実施の形態の方向算出部31Bとは異なる方向算出部31BAは、まず内視鏡画像18A中のプローブ21の形状をもとに第2のセンサ41の方向に対するプローブ21の先端部22の長手方向を算出する。
 その方法はいくつかあるが、以下に2つの方法を示す。まず第1の方法について説明する。第1の方法では事前に様々な突出方向および突出長でプローブ21を突出した状態の内視鏡画像18Aを撮影するとともに、そのときの第2のセンサ41の方向に対するプローブ21の先端22Aの方向を物理的に計測し、次のような手順でデータベースを作成しておく。各々の内視鏡画像18A中のプローブ21部分とその他の部分とを識別し2値化した2値化参照内視鏡画像を作成する。内視鏡画像撮影時に、2値化参照内視鏡画像と計測したプローブ21の先端方向とを関連付けて保存することで、データベースを作成する。
 そして、使用時には、現在の内視鏡画像18Aからプローブ21の外縁形状を抽出する。内視鏡画像18Aから抽出したプローブ21の外縁形状と、データベースに保存してある複数の2値化参照内視鏡画像と、内視鏡画像とを用いて、プローブ21の位置および形状を比較し、現在の内視鏡画像18Aのプローブ21の位置および形状と最もよく一致する2値化参照内視鏡画像を選択する。そして、選択した2値化参照超音波画像と関連付けられている先端部22の長手方向を現在の第2のセンサ41の方向に対する先端部22の長手方向とする。
 次に、第2の方法について説明する。第2の方法では、使用時に現在の内視鏡画像18Aからプローブ21の外縁形状を抽出する。そして、図13に示すように、抽出したプローブ21の先端部22の外縁形状の長軸上に中心線52を算出し、中心線52上に2つの基準点50、51を設定する。さらに基準点50、51を通り中心線52に直交する基準線分53、54を算出する。ここで、内視鏡画像18Aの中心位置を原点とし、右方向を+x方向、上方向を+y方向とする2次元座標系を設定する。この座標系では内視鏡画像を上辺をy=1、下辺をy=-1、右辺をx=1、左辺をx=-1とする。そして、この座標系における2つの基準点の座標(x、y)を、それぞれ算出する。
 また基準線分53、54の長さを算出しzの値とする。次に内視鏡の設計値である画角の値と、プローブ21の設計値である先端部22の外径の値は既知なので、プローブ21とCCD19との距離に比例して、内視鏡画像18A上の見かけのプローブ21の外径が、どの程度になるか判断できる。言い換えるとプローブ21がCCD19から遠方にあれば内視鏡画像18Aには小さく写り、近傍にあれば大きく写る。そのため、zの値から3次元空間上でのCCD19とプローブ21上の基準点50、51との距離は算出可能である。一方、内視鏡の設計値である画角の値から、内視鏡画像18A上の(x、y)座標が3次元空間上でCCD19に対して、どの方向であるかが判断できる。正確には内視鏡画像上の(x、y)座標点は3次元空間においてはCCD19の位置を中心にした放射状の直線上の点に相当する。このことから、(x、y)の値から3次元空間上のCCD19からプローブ21上の基準点50、51の方向が算出できる。上記zから算出したCCD19とプローブ21上の基準点50、51の距離と、(x、y)から算出した3次元空間上でのCCD19からプローブ21上の基準点50、51の方向と、からCCDに対するプローブ21の基準点50、51の位置が算出できる。
 またCCD19と第2のセンサ41との3次元的な位置関係は既知である。このため、CCD19に対するプローブ21の基準点50、51の位置を、第2のセンサ41の位置を原点、第2のセンサ41の方向をx、y、z軸としたときの第2のセンサ41に対するプローブ21の基準点50、51の位置に変換することができる。このプローブ21上の2つの基準点をつなぐベクトルの方向が先端部22の長手方向となり、第2のセンサ41の方向に対する先端部22の長手方向が算出できる。
 次に、方向算出部31Bは第2のセンサ41の方向に対する先端部22の長手方向を、第1のセンサ40の方向に対する先端部22の長手方向に変換する。すなわち、第1のセンサ40の検出値と第2のセンサ41の検出値とから、第1のセンサ40の位置および方向と第2のセンサ41の位置および方向との関係を利用して座標変換を行う。
 次に、図14のフローチャートに従い、本実施の形態の内視鏡システム1Cの処理の流れを説明する。
<ステップS20~S21> 
 第1の実施の形態の内視鏡システム1の説明におけるステップS10~S11と同じである。
<ステップS22> 突出ステップ 
 術者は図13に示すように内視鏡画像18Aの中で十分に確認できる位置まで突出口14Bからプローブ21を突出する。
<ステップS23> 先端部方向算出ステップ 
 ナビゲーションユニット31は、内視鏡画像18A中のプローブ21の状態を、すでに説明した方法により画像解析することにより、第2のセンサ41に対するプローブ21の先端部22の長手方向VVを算出する。このときVVは(式9)に示すように第2のセンサ41の方向を基準に算出される。
 先端部方向算出ステップと同時に、ナビゲーションユニット31は、第2のセンサ41の方向データを取得する。このときの第2のセンサの方向データのうち、先端部22(硬質部13)の長手方向データをベクトルV6、内視鏡画像18Aの上方向データをベクトルW6とする。
 VV=aV6+bW6+cX6  (式9)
 ただし、X6=V6×W6 (外積)  (式10)
<ステップS24> 補正係数算出ステップ 
 先端部方向算出ステップと同時に、ナビゲーションユニット31は、第1のセンサ40の磁界検出方向データを取得する。このときの第1のセンサ40のコイル40Aの磁界検出方向データをベクトルV5、コイル40Bの磁界検出方向データをベクトルW5とする。
 VVをV5、W5、X5の関数として表現すると、以下の(式11)のようになる。そして(式9)で算出したVVと、検出したV5、W5、X5の値とから、相対位置係数、a、b、cを算出することができる。 
 VV=aV5+bW5+cX5  (式11)
<ステップS25> 検出方向補正ステップ 
 内視鏡システム1Cの検出方向補正ステップは第1の実施の形態の内視鏡システム1の検出方向補正ステップS16と同じである。
 本実施の形態の内視鏡システム1Cは、第1の実施の形態の内視鏡システム1が有する効果を有し、さらに重力の影響等でプローブ21が曲がっている場合にも、精度よくプローブの先端部22の長手方向を検出することができる。
<第4の実施の形態>
 以下、図面を参照して第4の実施の形態の内視鏡システム1Dについて説明する。本実施の形態の内視鏡システム1Dは、第1の実施の形態の内視鏡システム1と類似しているため、同じ構成要素には同じ符号を付し、説明は省略する。
 図15および図16は本実施の形態の内視鏡システムを説明するための内視鏡の断面模式図であり、図17は本実施の形態の内視鏡システムのナビゲーションユニットの構成を示す構成図である。
 ナビゲーションにおいては、第1の実施の形態の内視鏡システム1のように内視鏡の挿入部から突出させる細径の医療器具の先端部22の長手方向を正確に検知することは重要であるが、同時に長手方向と垂直な面内(径方向)における所定の方位である基準方位を正確に検知することも重要である。例えば、医療器具がプローブの長軸に対して垂直な面内をラジアル走査する超音波プローブである場合には、超音波振動子の走査面内における上下左右方向を検出することは、病変箇所の位置を判断するために重要である。また、医療器具が鉗子の場合には鉗子の開閉方向は病変箇所の方向とあわせる必要があり重要である。
 そのため、例えば超音波プローブ21の先端部22に、巻線軸の方向が直交する2つのコイルからなるセンサを配設するときに、一方のコイルの磁界検出方向が超音波プローブ21の先端部22の長手方向と平行となり、もう一方のコイルの磁界検出方向が基準方位(例えば超音波画像の上方向)と平行となるようにするのが理想である。
 しかしすでに説明したように、極めて細い径のプローブ21の先端部22に、さらに小さな2軸磁界センサの一方の検出軸が先端部22の長手方向に平行となり、他方の検出軸が超音波画像の上方向に平行となるように配設することは容易ではない。このため、図4に示すように、コイル40Bの磁界検出方向である巻線軸方向は基準方位に対して完全に平行にはならないことがある。すると術者は超音波画像の上下左右方向を正確に把握することができないことがある。
 このため、内視鏡システム1Dは、プローブ21の回転操作によるセンサ40の位置および方向の変化を検出し、方向算出部31Bが正確な先端部22の長手方向を算出する。一方、プローブ21の湾曲部12A(図15参照)の湾曲操作によるセンサ40の位置および方向の変化が検出され、基準方位算出手段である基準方位算出部31D(図16参照)により正確な基準方位が算出される。すなわち、内視鏡システム1Dは、プローブ21の回転操作によるキャリブレーションによりセンサ40の方向をプローブ21の先端長手方向に補正する先端方向補正値を算出し、湾曲操作によるキャリブレーションによりセンサ40の方向を基準方位に補正する基準方位補正値を算出する。
 図15に示すように、本実施の形態の内視鏡システム1Dの内視鏡11Dは、挿入部12の軟性部15と硬質部13との間に配設された湾曲部12Aを有する。また、硬質部13にはCCD13B等の撮像手段が配設されており、術者はCCD13Bが撮像し、モニタ18に表示された内視鏡画像を確認することができる。湾曲部12Aは図示しない湾曲ワイヤにより操作部12Bの湾曲ノブ12Cと接続されている。図16に示すように、術者が湾曲ノブ12Cを回転すると湾曲部12Aが湾曲動作し、挿入部12の先端13Aは回転運動する。
 そして、図17に示すように、本実施の形態の内視鏡システム1Dにおいては、ナビゲーションユニット31Zが、プローブ21の回転操作および湾曲部12Aの湾曲動作による第1のセンサ40の移動前後の位置をもとに、超音波振動子23が撮像する超音波画像の基準方位を算出する基準方位算出部31Dを有する。
 次に、本実施の形態の内視鏡システム1Dのナビゲーションユニット31Z内の各部について説明する。位置算出部31Aは第1の実施の形態と同じなので、最初に方向算出部31Bについて説明する。 
 図18A~図18Cは、本実施の形態の内視鏡システム1Dのプローブ21の回転操作における座標系を説明するための図である。図18Aに示すように、プローブ21の回転操作前の状態(時刻t)における第1のセンサ40の位置をH(t)、第1のセンサ40の方向の正規直交基底を(U(t)V(t)W(t))、図18Bに示すように、プローブ21の回転操作後の状態(時刻t)における第1のセンサ40の位置をH(t)、第1のセンサ40の方向の正規直交基底を(U(t)V(t)W(t))、図18Cに示すように、送信アンテナ33の中心に張られた正規直交基底を(ijk)とする。
 最初に術者は、図15に示すような湾曲部12Aが湾曲しない状態、すなわち真っ直ぐな状態で、チャンネル14内のプローブ21をねじる、言い換えればプローブ21の長軸中心方向を軸にして回転する。プローブ21の回転軸方向がプローブ21の先端方向Qとなる。なお、本回転操作は回転前後の状態変化から回転軸を算出するための操作であるため、半回転程度でよい。
 (U(t)、V(t)、W(t))と、(U(t)、V(t)、W(t))とは、それぞれ3行3列の行列S(t)、S(t)を用いて、以下のように書ける。なお、S(t)およびS(t)の各成分はセンサユニット32から逐次、出力される。
  [i(t)j(t)k(t)]=[U(t)V(t)W(t)]S(t)  (式12) 
  [i(t)j(t)k(t)]=[U(t)V(t)W(t)]S(t)  (式13)
 ここで、S(t)、S(t)を、以下に示す要素が3つの行ベクトルs、s、sを用いて以下の(式14)、(式15)で表すことができる。 
 ここで、 
 s=(s11 s12 s13) 
 s=(s21 s22 s23) 
 s=(s31 s32 s33
(式14)
Figure JPOXMLDOC01-appb-I000001
(式15)
Figure JPOXMLDOC01-appb-I000002
 (式12)より、[U(t)V(t)W(t)]は、S(t)が直交行列であるため、(式16)で表すことができる。ここで、各行列の左上に付している記号「T」は、その行列を転換行列にするという意味である。 
(式16)
Figure JPOXMLDOC01-appb-I000003
 (式13)より、[U(t)V(t)W(t)]は、S(t)が直交行列であるため、(式17)で表すことができる。
(式17)
Figure JPOXMLDOC01-appb-I000004
 一方、ここで、U(t)、V(t)、W(t)、U(t)、V(t)、W(t)の(ijk)に対する各方位成分を、要素が3つの列ベクトル、u(t)、v(t)、w(t)、u(t)、v(t)、w(t)とすると、以下の(式18)および(式19)が成り立つ。
  [U(t)V(t)W(t)]=[i(t)j(t)k(t)][u(t)v(t)w(t)]  (式18)
  [U(t)V(t)W(t)]=[i(t)j(t)k(t)][u(t)v(t)w(t)]  (式19)
 [i、j、k]は正規直交底だから、(式16)および(式18)より、以下の(式20)が得られる。
  u(t)=(t)、v(t)=(t)、w(t)=(t)  (式20)
 同様に、(式17)および(式19)より、以下の(式21)が得られる。
  u(t)=(t)、v(t)=(t)、w(t)=(t)  (式21)
 先端方向Qは回転前後、すなわち時刻によらず不変である。従って以下の(式22)、(式23)、(式24)が成り立つ。
  U(t)・Q=U(t)・Q  (式22) 
  V(t)・Q=V(t)・Q  (式23) 
  W(t)・Q=W(t)・Q  (式24) 
 ここで、Qの[ijk]に対する各方向成分を要素とする行列を、qとすると、以下の(式25)、(式26)、(式27)が成り立つ。
  0=U(t)・Q-U(t)・Q=(U(t)-U(t))・Q=(u(t)-u(t))q=(t)―(t))q=(s(t)-s(t))q  (式25)
  0=V(t)・Q-V(t)・Q=(V(t)-V(t))・Q=(v(t)-v(t))q=(t)―(t))q=(s(t)-s(t))q  (式26)
  0=W(t)・Q-W(t)・Q=(W(t)-W(t))・Q=(w(t)-w(t))q=(t)―(t))q=(s(t)-s(t))q  (式27)
 ここで、
(式28) 
Figure JPOXMLDOC01-appb-I000005
 すなわち、 
  (S(t)―S(t))q=0  (式29) 
 Qは回転軸でありセンサ40の位置Hは回転している間、回転軸に垂直な面内を動くで、以下の(式30)が成り立つ。
  Q・(H(t)―H(t))=0  (式30)
 すなわち、H(t)、H(t)の{ijk}に対する各方向成分を要素とする行列を、h(t)、h(t)とすると以下の(式31)が成り立つ。H(t)、H(t)の各成分はセンサユニット32から、出力される。
  (h(t)-h(t))q=0  (式31)
 さらに、Qは基本ベクトルなので、以下の(式32)が成り立つ。
  |q|=1  (式32)
 従って、qは、(式29)と(式31)と(式32)とから算出される。
 算出されたQをU(t)、V(t)、W(t)の関数として表現すると、以下の(式33)のようになり、相対位置係数、a、b、cが算出される。 
 Q=aU(t)+bV(t)+cW(t)  (式33)
 続いて方向補正部31Cの動作について説明する。方向補正部31Cの動作は基本的に第1の実施の形態と同様に第1のセンサ40の方向を補正して、逐次、先端部22の長手方向を算出する。方向補正部31Cは具体的には以下のように動作する。
 任意の時刻tでの第1のセンサ40の方向を、U(t)、V(t)、W(t)とすると、ナビゲーションユニット31は、プローブの先端方向Q(t)を以下の(式34)から算出できる。
 Q(t)=aU(t)+bV(t)+cW(t)  (式34)
 ここで算出されたQ(t)はナビゲーション部31Eに送信される。
 さらに、基準方位算出部31Dの動作について説明する。
 術者は、図16に示すように湾曲ノブ12Cにより湾曲部12Aを超音波画像の上方向に湾曲する。このときの湾曲動作の回転軸をPとする。また湾曲操作前の時刻をt、湾曲操作後の時刻をtとする。すると、すでに説明したQの算出方法と同様の方法により湾曲操作のときの湾曲回転軸の方向Pが算出される。
 そして算出されたPを、U(t)、V(t)、W(t)の関数として表現すると、以下の(式35)のようになり、(式35)により基準方位算出部31Dは相対位置関数a、b、cを算出することができる。
 P=aU(t)+bV(t)+cW(t)  (式35)
 さらに、基準方位算出手段である基準方位算出部31Dは、基準方位V12(t)を以下の(式36)により算出する。
 V12(t)=P×Q(t)=(b-c)U(t)+(c-a)V(t)+(b-c)W(t)  (式36)
 次に基準方位補正手段である基準方位補正部31Fの動作について説明する。この基準方位補正部31Fは第1のセンサ40の方向を補正して、逐次、基準方位を算出する。具体的には基準方位補正部31Fは以下のように動作する。
 任意の時刻tでの第1のセンサ40の方向を、U(t)、V(t)、W(t)とすると、ナビゲーションユニット31はプローブの基準方位V12(t)を以下の(式37)から算出する。
 V12(t)=(b-c)U(t)+(c-a)V(t)+(b-c)W(t)  (式37)
 ここで算出されたQ(t)はナビゲーション部31Eに送信される。
最後に、ナビゲーション部の動作について説明する。ナビゲーション部は方向補正部の算出したQ(t)と基準方位補正部31Fが算出したV12(t)とをもとにナビゲーションを行う。
 以上の説明のように、内視鏡システム1Dにおいては、プローブ21の回転操作によるキャリブレーションにより第1のセンサ40の方向をプローブ21の先端方向に補正し、湾曲操作によるキャリブレーションにより第1のセンサ40の方向を基準方位に補正する。このため、術者は超音波画像の上下左右方向を正確に把握することができ、精度の高い検査または処置を行うことができる。
 なお、湾曲操作によるキャリブレーションにより第1のセンサ40の方向と超音波画像の上方向とをあわせる場合に、プローブが湾曲機構を有している場合には術者はプローブを湾曲操作してもよい。
 上記説明では、医療機器システムの医療器具として超音波プローブを例に内視鏡画像の上方向を基準方法として説明したが、医療器具が鉗子の場合には鉗子の開閉方向を基準方位として設定する。また医療器具が片刄のナイフの場合には刄の方向を基準方位として設定する。また医療器具が内視鏡のチャンネルに挿通する小型の内視鏡の場合には小型内視鏡の内視鏡画像の上方向を基準方位として設定する。
 また、上記説明では、先端方向Qを(式29)と(式31)と(式32)とから算出したが、(式30)のHの値が時刻tとtとで殆ど差がない場合には、先端方向Qの誤差が大きくなる。このため、H(t)とH(t)との距離が所定値以下の場合には、医療機器システムは、モニタ18の画面にメッセージを表示することにより、術者に対してプローブ21をさらに回転するように指示することが好ましい。
 このときの計算は以下の通りである。2回目の回転後の時刻を、t4とすると、(式29)と同様に以下の(式38)が成り立つ。
 (S(t)-S(t))q=0  (式38)
 そして、先端部22の先端方向Qは(式29)と(式32)と(式38)とから算出される。このことで誤差は小さくなる。
 また第1~第3の実施の形態のように、内視鏡先端に第2のセンサを設けて、プローブの位置および方向情報を第2のセンサの情報をもとに補正しても良い。
 本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
 例えば、位置および方向を検出する検出手段は磁気センサでなくても構わない。例えば、ジャイロセンサを先端部に配設し、位置および方向を検出しても良く、硬性の内視鏡の操作部にLED等の発光式のマーカを配設し、受光装置が内視鏡の操作部の位置および方向を検出し、内視鏡先端部の位置に変換しても良く、内視鏡の挿入部にファイバ・グレーティング(FBG)センサを配設し、先端部の位置と方向を検出しても良い。
 また、上記説明では医療機器システムの挿入手段として、軟性部15と軟性部15の先端側に配設された硬質部13とを有する軟性内視鏡を例に説明したが、これに限られるものではなく、挿入手段はチャンネルがあれば硬性鏡またはトロッカー等でも良い。
 すなわち、上記説明では内視鏡のチャンネル内でプローブを移動させてプローブ方向を補正したが、内視鏡手術においてトロッカーの中で内視鏡または処置具を移動させて内視鏡または処置具の方向を補正してもよい。
 以上の説明のように、内視鏡システム1Dは、以下の通りである。
(1) 軟性部と、湾曲部と、硬質部と、前記軟性部および前記湾曲部および前記硬質部の内部を挿通するチャンネルと、を有する挿入手段と、
 前記チャンネルの基端部側の挿入口から挿入され前記硬質部の突出口から突出するとともに位置および方向を検出するセンサを先端部に有する医療器具と、
 前記センサの情報から前記先端部の位置および方向を算出する位置算出手段と、
 前記医療器具が前記チャンネル内で回転するとき、および前記湾曲部が湾曲するときの移動前後の前記先端部の位置および方向をもとに前記先端部の基準方位を算出する基準方位算出手段と、を具備することを特徴とする医療機器システム。
(2) 前記挿入手段が内視鏡の挿入部であり、
 前記基準方位が、前記内視鏡が撮像する撮像画像の方位であることを特徴とする上記(1)に記載の医療機器システム。
(3) 前記医療器具が超音波プローブであり、
 前記基準方位が、前記超音波プローブが撮像する超音波画像の方位であることを特徴とする上記(1)に記載の医療機器システム。
 本出願は、2009年6月1日に日本国に出願された特願2009-132390号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (14)

  1.  挿入部先端部を構成する硬質部と、前記硬質部の内部を挿通するチャンネルと、を有する挿入手段と、
     前記チャンネルの基端部側の挿入口から挿入され前記硬質部の突出口から医療器具先端部が突出する医療器具と、
     前記チャンネルに挿入された前記医療器具先端部の位置変化をもとに前記医療器具先端部の長手方向を算出する方向算出手段と、を具備することを特徴とする医療機器システム。
  2.  前記方向算出手段は、前記医療器具先端部の直線的な移動による位置変化をもとに前記長手方向を算出することを特徴とする請求項1に記載の医療機器システム。
  3.  前記医療器具先端部に配設された、位置および方向を検出する第1のセンサと、
     前記第1のセンサの位置および方向を算出する位置算出手段と、を具備し、
     前記方向算出手段が、前記位置算出手段が算出した情報をもとに前記長手方向を算出することを特徴とする請求項2に記載の医療機器システム。
  4.  前記挿入手段が前記硬質部内に配設された、位置および方向を検出する第2のセンサを有し、
     前記方向算出手段が、前記第1のセンサおよび前記第2のセンサの情報を、もとに前記医療器具先端部の方向を算出することを特徴とする請求項3に記載の医療機器システム。
  5.  前記第1のセンサおよび前記第2のセンサが、それぞれ少なくとも2軸方向の磁界を検出するセンサであり、
     前記第1のセンサおよび前記第2のセンサが、前記位置および方向を検出するための、磁界を発生する磁界発生手段を有することを特徴とする請求項4に記載の医療機器システム。
  6.  前記挿入手段が、前記硬質部の基端部側に湾曲部を有し、
     前記医療器具が、位置および方向を検出する第1のセンサを前記医療器具先端部に有し、
     前記湾曲部の湾曲時の前記第1のセンサの情報をもとに、前記医療器具先端部の前記長手方向と直交する面内の基準方位を算出する基準方位算出部を有し、
     前記方向算出手段が、前記第1のセンサが、前記チャンネルの内部で回転するときの位置変化をもとに、前記医療器具先端部の長手方向を算出することを特徴とする請求項1に記載の医療機器システム。
  7.  前記挿入手段が、前記硬質部に配設された撮像手段を有する内視鏡装置であり、
     前記方向算出手段は、前記硬質部の突出口から突出した前記医療器具先端部を、前記撮像手段が撮像した画像をもとに、前記長手方向を算出することを特徴とする請求項1に記載の医療機器システム。
  8.  前記挿入手段が、前記硬質部に配設された撮像手段を有する内視鏡装置であり、
     前記医療器具が、処置具、または、前記医療器具先端部に超音波振動子を有する超音波プローブ、であることを特徴とする請求項1から請求項7のいずれか1項に記載の医療機器システム。
  9.  前記挿入支援手段が、前記医療器具先端部の位置をもとに、前記撮像手段が撮像できない部位に前記医療器具先端部を挿入するナビゲーションを行うナビゲーション手段を有することを特徴とする請求項8に記載の医療機器システム。
  10.  医療器具のキャリブレーション方法であって、
     挿入部先端部を構成する硬質部と、前記硬質部の内部を挿通するチャンネルと、を有する挿入手段の前記チャンネルの基端部側の挿入口から医療器具を挿入する挿入ステップと、
     医療器具先端部に配設された、位置および方向を検出可能な第1のセンサの情報をもとに、前記医療器具先端部の位置を、第1の場所で算出する第1の算出ステップと、
     前記医療器具先端部の位置を、前記第1の場所から第2の場所に直線上を移動するプローブ移動ステップと、
     前記医療器具先端部の位置を、前記第2の場所で算出する第2の算出ステップと、
     前記第1の算出ステップにおいて算出した前記位置と、前記第2の算出ステップにおいて算出した前記位置とをもとに、前記医療器具先端部の方向を算出する先端部方向算出ステップと、を具備することを特徴とする医療器具のキャリブレーション方法。
  11.  前記第1の場所および前記第2の場所が、前記硬質部の前記チャンネルの内部であることを特徴とする請求項10に記載の医療器具のキャリブレーション方法。
  12.  前記挿入手段が、前記硬質部に配設された撮像手段を有する内視鏡装置であることを特徴とする請求項11に記載の医療器具のキャリブレーション方法。
  13.  前記挿入手段が、位置を検出する第2のセンサを前記硬質部内に有し、
     前記医療器具先端部の位置を前記第2のセンサの情報をもとに補正する位置補正ステップを具備することを特徴とする請求項12に記載の医療器具のキャリブレーション方法。
  14.  前記医療器具が、処置具、または前記医療器具先端部に超音波振動子を有する超音波プローブ、であることを特徴とする請求項13に記載の医療器具のキャリブレーション方法。
PCT/JP2010/057456 2009-06-01 2010-04-27 医療機器システムおよび医療器具のキャリブレーション方法 WO2010140441A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10783225A EP2335553A4 (en) 2009-06-01 2010-04-27 MEDICAL EQUIPMENT SYSTEM AND METHOD OF CALIBRATING THE MEDICAL INSTRUMENT
JP2010535159A JP4709946B2 (ja) 2009-06-01 2010-04-27 医療機器システムおよび医療器具のキャリブレーション方法
US12/879,362 US20110060185A1 (en) 2009-06-01 2010-09-10 Medical device system and calibration method for medical instrument

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009132390 2009-06-01
JP2009-132390 2009-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/879,362 Continuation US20110060185A1 (en) 2009-06-01 2010-09-10 Medical device system and calibration method for medical instrument

Publications (1)

Publication Number Publication Date
WO2010140441A1 true WO2010140441A1 (ja) 2010-12-09

Family

ID=43297580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057456 WO2010140441A1 (ja) 2009-06-01 2010-04-27 医療機器システムおよび医療器具のキャリブレーション方法

Country Status (4)

Country Link
US (1) US20110060185A1 (ja)
EP (1) EP2335553A4 (ja)
JP (1) JP4709946B2 (ja)
WO (1) WO2010140441A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011161564A1 (en) * 2010-06-22 2011-12-29 Koninklijke Philips Electronics N.V. System and method for real-time endoscope calibration
WO2012101532A1 (en) * 2011-01-28 2012-08-02 Koninklijke Philips Electronics N.V. Optical sensing for relative tracking of endoscopes
JP2013106752A (ja) * 2011-11-21 2013-06-06 National Cancer Center 電子内視鏡システム
JP2015107268A (ja) * 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2015129383A1 (ja) * 2014-02-27 2015-09-03 オリンパス株式会社 医療用システム
JP2017209405A (ja) * 2016-05-27 2017-11-30 株式会社日立製作所 医用画像表示装置及び医用画像表示方法
JP2018500079A (ja) * 2014-12-01 2018-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. カテーテルベースの操縦のための仮想的に方向づけられた電磁追跡コイル
JP2018121686A (ja) * 2017-01-30 2018-08-09 セイコーエプソン株式会社 内視鏡操作支援システム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116233A1 (en) * 2010-11-04 2012-05-10 Robert Weber Mah Sensor system
CN113647931A (zh) 2011-09-06 2021-11-16 伊卓诺股份有限公司 用于磁化细长医疗装置的设备和方法
WO2013043344A1 (en) * 2011-09-21 2013-03-28 Boston Scientific Scimed, Inc. Systems and methods for preventing laser fiber misfiring within endoscopic access devices
US9386908B2 (en) 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
US9257220B2 (en) 2013-03-05 2016-02-09 Ezono Ag Magnetization device and method
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
GB201303917D0 (en) 2013-03-05 2013-04-17 Ezono Ag System for image guided procedure
US10098565B2 (en) * 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
EP3100685B1 (en) * 2014-01-29 2019-10-30 Olympus Corporation Rigid endoscope for prostate biopsy
CN110573074B (zh) 2017-04-27 2022-07-12 巴德阿克塞斯系统股份有限公司 用于针组件的磁化系统
CN110831477B (zh) * 2017-07-07 2022-02-25 奥林巴斯株式会社 内窥镜装置
US10856841B1 (en) * 2020-01-24 2020-12-08 King Saud University Ultrasonic imaging probe
US11911140B2 (en) 2020-11-09 2024-02-27 Bard Access Systems, Inc. Medical device magnetizer

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524443A (ja) * 1998-08-02 2003-08-19 スーパー ディメンション リミテッド 医療用体内誘導装置
JP2004180940A (ja) 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
JP2006223849A (ja) 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2007130154A (ja) 2005-11-09 2007-05-31 Pentax Corp 内視鏡挿入部形状把握システム
JP2009132390A (ja) 2009-03-18 2009-06-18 Honda Motor Co Ltd 能動型振動騒音制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
JPH08299260A (ja) * 1995-04-28 1996-11-19 Fuji Photo Optical Co Ltd 超音波内視鏡
US6248074B1 (en) * 1997-09-30 2001-06-19 Olympus Optical Co., Ltd. Ultrasonic diagnosis system in which periphery of magnetic sensor included in distal part of ultrasonic endoscope is made of non-conductive material
US6233476B1 (en) * 1999-05-18 2001-05-15 Mediguide Ltd. Medical positioning system
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
JP4551051B2 (ja) * 2002-04-17 2010-09-22 オリンパス株式会社 超音波診断装置
JP3981364B2 (ja) * 2004-03-19 2007-09-26 オリンパス株式会社 ダブルバルーン式内視鏡システム
US7301332B2 (en) * 2005-10-06 2007-11-27 Biosense Webster, Inc. Magnetic sensor assembly
US8016749B2 (en) * 2006-03-21 2011-09-13 Boston Scientific Scimed, Inc. Vision catheter having electromechanical navigation
US20080132757A1 (en) * 2006-12-01 2008-06-05 General Electric Company System and Method for Performing Minimally Invasive Surgery Using a Multi-Channel Catheter
JP5032174B2 (ja) * 2007-03-30 2012-09-26 富士フイルム株式会社 内視鏡装置
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524443A (ja) * 1998-08-02 2003-08-19 スーパー ディメンション リミテッド 医療用体内誘導装置
JP2004180940A (ja) 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
JP2006223849A (ja) 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2007130154A (ja) 2005-11-09 2007-05-31 Pentax Corp 内視鏡挿入部形状把握システム
JP2009132390A (ja) 2009-03-18 2009-06-18 Honda Motor Co Ltd 能動型振動騒音制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2335553A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011161564A1 (en) * 2010-06-22 2011-12-29 Koninklijke Philips Electronics N.V. System and method for real-time endoscope calibration
WO2012101532A1 (en) * 2011-01-28 2012-08-02 Koninklijke Philips Electronics N.V. Optical sensing for relative tracking of endoscopes
CN103501678A (zh) * 2011-01-28 2014-01-08 皇家飞利浦有限公司 用于内窥镜相对跟踪的光学感测
JP2014507987A (ja) * 2011-01-28 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡の相対的追跡に対する光感知
JP2013106752A (ja) * 2011-11-21 2013-06-06 National Cancer Center 電子内視鏡システム
JP2015107268A (ja) * 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2015129383A1 (ja) * 2014-02-27 2015-09-03 オリンパス株式会社 医療用システム
JP2015159926A (ja) * 2014-02-27 2015-09-07 オリンパス株式会社 医療用システム
CN106028998A (zh) * 2014-02-27 2016-10-12 奥林巴斯株式会社 医疗用系统
US10449009B2 (en) 2014-02-27 2019-10-22 Olympus Corporation Medical system
JP2018500079A (ja) * 2014-12-01 2018-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. カテーテルベースの操縦のための仮想的に方向づけられた電磁追跡コイル
JP2017209405A (ja) * 2016-05-27 2017-11-30 株式会社日立製作所 医用画像表示装置及び医用画像表示方法
JP2018121686A (ja) * 2017-01-30 2018-08-09 セイコーエプソン株式会社 内視鏡操作支援システム

Also Published As

Publication number Publication date
EP2335553A4 (en) 2012-11-07
JPWO2010140441A1 (ja) 2012-11-15
EP2335553A1 (en) 2011-06-22
US20110060185A1 (en) 2011-03-10
JP4709946B2 (ja) 2011-06-29

Similar Documents

Publication Publication Date Title
JP4709946B2 (ja) 医療機器システムおよび医療器具のキャリブレーション方法
US7585273B2 (en) Wireless determination of endoscope orientation
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
US10765308B2 (en) Method and apparatus for tracking in a medical procedure
JP6535020B2 (ja) 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム
JP5372407B2 (ja) 医療機器
WO2011102012A1 (ja) 医療機器
KR20200007896A (ko) 생검 장치 및 시스템
JP5378628B1 (ja) 内視鏡システム
WO2012101888A1 (ja) 医療機器
JP6600690B2 (ja) 挿入体支援システム
US11666203B2 (en) Using a camera with an ENT tool
EP2186466A1 (en) Medical instrument system
WO2013016286A2 (en) System and method for automatically determining calibration parameters of a fluoroscope
WO2017006708A1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP4728456B1 (ja) 医療機器
CN112292062A (zh) 具有一体式导航传感器的内窥镜
US20190142523A1 (en) Endoscope-like devices comprising sensors that provide positional information
JP6429618B2 (ja) 内視鏡挿入形状観測装置
JP6400221B2 (ja) 内視鏡形状把握システム
CN112438694A (zh) 线圈组件

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2010535159

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10783225

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010783225

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE