WO2015098353A1 - 内視鏡による距離測定方法及び内視鏡システム - Google Patents
内視鏡による距離測定方法及び内視鏡システム Download PDFInfo
- Publication number
- WO2015098353A1 WO2015098353A1 PCT/JP2014/080347 JP2014080347W WO2015098353A1 WO 2015098353 A1 WO2015098353 A1 WO 2015098353A1 JP 2014080347 W JP2014080347 W JP 2014080347W WO 2015098353 A1 WO2015098353 A1 WO 2015098353A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance measurement
- captured image
- endoscope
- distance
- movable joint
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00172—Optical arrangements with means for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
- A61B17/3421—Cannulas
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B2017/347—Locking means, e.g. for locking instrument in cannula
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/062—Measuring instruments not otherwise provided for penetration depth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
- A61B2090/0811—Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- Patent Document 2 discloses an endoscope system that measures the distance by measuring the amount of movement of the endoscope and comparing the image before the movement with the image after the movement.
- the distance measuring method by the endoscope is: A distance measurement method using an endoscope that allows the visual axis of an imaging unit to be moved by a movable joint, It is possible to switch between imaging processing and distance measurement processing,
- the imaging process controls the movable joint based on a direction instruction from the input unit, moves the visual axis of the imaging unit, and outputs a captured image acquired by the imaging unit,
- the distance measuring process executes a moving process for moving the visual axis of the imaging unit by controlling the movable joint based on a distance measurement control amount, and a first captured image captured before the moving process is executed;
- a second captured image captured during execution of the movement process is acquired, and a distance to a distance measurement target is calculated based on the first captured image, the second captured image, and the distance measurement control amount.
- the distance measurement process translates the visual axis of the imaging unit based on the distance measurement control amount.
- the second captured image is determined from a plurality of captured images captured during the execution of the movement process.
- the movable joint is movable at a plurality of positions.
- the distal end portion of the forceps 2 ′ is provided with a distal end gripping portion 26 as an end effector.
- the practitioner B (user) opens and closes the distal end gripping portion 26 by operating the forceps 2 ′, thereby affecting the affected part.
- Perform treatment for A As described above, in the laparoscopic operation, the operator B can perform the operation with the forceps 2 ′ or the like while observing the image with the endoscope 2.
- FIG. 3 is a diagram for explaining the principle of stereo measurement using the compound-eye endoscope 2.
- the visual axis of the compound-eye endoscope 2 is the z-axis, and the axis orthogonal to the visual axis is the xy plane (y-axis is omitted).
- the distance measuring object imaged by each imaging unit OL, OR (focal length f) is positioned at the positions XL, XR on the captured images PL, PR.
- the distance Z from the compound-eye endoscope 2 to the object to be measured can be calculated by Equation (1) based on the principle of triangulation. It is.
- Z d ⁇ f / (XL ⁇ XR) (1)
- FIG. 4 is a diagram showing the configuration and control mode of the endoscope according to the embodiment of the present invention.
- 4A shows the connection relationship with the controller 3, the same applies to FIG. 4B (not shown).
- the endoscope 2 as a medical instrument includes a first shaft 24 a that is connected to the gripping member 27, and a second shaft 24 b that is rotatably connected to the first shaft 24 a via a movable joint 25.
- An imaging unit 28 as an end effector is disposed at the tip of the second shaft 24b.
- a single imaging unit 28 is used (monocular).
- the captured image captured by the imaging unit 28 is output to the controller 3, and the practitioner can display the captured image on a display unit such as the monitor 4 to observe the inside of the patient's body.
- the grip member 27 is provided with a direction input unit 21a and a distance measurement instruction unit 21b, and an operator can perform an adjustment operation of the direction of the imaging unit 28 (visual axis direction) and a distance measurement instruction operation. It is.
- the drive unit 22 is driven based on the operation of the direction input unit 21a.
- the driving amount by the driving unit 22 is transmitted to the movable joint 25 by means such as a wire, and the movable joint 25 is rotated.
- the imaging direction (visual axis direction) by the imaging unit 28 provided at the tip of the second shaft 24b is adjusted.
- the movable joint 25 is shown as a two-dimensional motion on the paper surface, a three-dimensional motion including a direction orthogonal to the paper surface is also possible.
- FIGS. 5 to 7 show the configuration of the trocar 1 having various sensors.
- FIG. 5 shows an appearance of the trocar 1 that can be used in the medical system according to the embodiment of the present invention.
- the trocar 1 according to the present embodiment includes an upper casing 111, a lower casing 112, and a cylindrical portion 113.
- the upper housing 111 is provided with an insertion hole 115 for inserting various medical instruments.
- the cylinder part 113 is a part inserted into a patient's body.
- the medical instrument inserted from the insertion hole 115 passes through the inside of the lower housing 112 and the cylindrical portion 113 and is inserted into the patient body from the lower end of the cylindrical portion 113, and is observed in the patient body or in the patient body. Take action.
- Various sensors for detecting the state of the trocar 1 and the state of the medical instrument inserted through the insertion hole 115 are disposed in the upper casing 111. Output signals from various sensors are transmitted to the controller 3 via the cable 114.
- the cable 114 also has a power supply function for various sensors. The communication between the various sensors and the controller 3 may be such wired communication, but the cable 114 can be excluded from the trocar 1 by adopting wireless communication and battery driving.
- FIG. 6 is a cross-sectional view showing the internal configuration of the trocar 1 according to the embodiment of the present invention.
- the upper housing 111 is provided with the insertion hole 115, but in this cross-sectional view, the brown portion shown from the insertion hole 115 to the lower end of the cylindrical portion 113 is a communicating portion. This is the part where various medical instruments are inserted.
- the upper housing 111 and the lower housing 112 can be connected and detached by clip-shaped coupling members 116R and 116L.
- FIG. 6 (A) the upper casing 111 and the lower casing 112 are used in a coupled state, and when performing cleaning or the like, as shown in FIG. 6 (B).
- the upper housing 111 can be removed from the lower housing 112. With such a configuration, the cylindrical portion 113 and the cylindrical portion 113 can be easily cleaned, sterilized, or replaced, and the maintenance of the upper casing 111 portion having various sensors can be easily performed.
- the trocar 1 can also be a single housing in which the upper housing 111 and the lower housing 112 are integrated.
- the trocar 1 of the present embodiment has various sensors (trocar sensor 12) in the upper housing 111.
- the trocar sensor 12 includes an inclination angle detection sensor 121, an advance / retreat amount detection sensor 122, and a rotation amount detection sensor 123.
- the tilt angle detection sensor 121 is a sensor for detecting the tilt angle indicating which direction the trocar 1 is facing with respect to the reference coordinate system.
- the reference coordinate system is a coordinate system defined for a fixed object such as a patient or the ground, and various sensors such as an acceleration sensor can be used as the tilt angle detection sensor 121.
- the acceleration sensor can detect the direction in which the trocar 1 faces, that is, the inclination angle with respect to the reference coordinate system by detecting the acceleration applied to the acceleration sensor.
- the advance / retreat amount detection sensor 122 is a sensor that detects the advance / retreat amount of the medical instrument inserted into the trocar 1 with respect to the insertion direction (vertical direction in FIG. 6) of the trocar 1. As described with reference to FIG. 1, a practitioner such as a doctor inserts and removes a medical instrument with respect to the trocar 1 to operate the medical instrument within the patient and move it to an appropriate position.
- the advance / retreat amount detection sensor 122 can detect the insertion position of the medical instrument with respect to the trocar 1 as the advance / retreat amount.
- the central axis C in the insertion direction of the trocar 1 is indicated by a one-dot chain line.
- the advance / retreat amount detection sensor 122 detects the amount of movement parallel to the central axis C as the advance / retreat amount.
- the advance / retreat amount detection sensor 122 in this embodiment is configured by a combination of an advance / retreat amount detection roller 122a and a photo sensor 122b.
- Rotation amount detection sensor 123 is a sensor that detects the rotation amount of a medical instrument that rotates in response to an operation by a practitioner or the like. By rotating the medical instrument inserted into the insertion hole 115 around the central axis C, the orientation of the end effector provided at the distal end of the medical instrument can be changed within the patient. It is.
- the rotation amount detection sensor 123 can detect which direction the end effector of the medical instrument is facing by detecting the rotation amount.
- the rotation amount detection sensor 123 in this embodiment is configured by a combination of a rotation amount detection roller 123a and a photo sensor 123b.
- FIG. 7 is a diagram schematically showing the configuration of the trocar sensor 12 disposed inside the trocar 1 of FIG. 6, and shows a state where the first shaft 24 of the medical instrument is inserted into the trocar 1. Has been. In FIG. 7, the end effector provided at the tip of the medical instrument is omitted.
- the diameter of the insertion hole 115 of the trocar 1 is set with a margin more than the insertion portion of the medical instrument such as the first shaft 24 so that the medical instrument can be inserted.
- the trocar 1 is fixed in the vicinity of the patient's body surface. However, the trocar 1 pivots around a certain point in conjunction with the operation of the medical instrument.
- the tilt angle detection sensor 121 fixed to the housing of the trocar 1 can detect the direction of the trocar 1 in the reference coordinate system, that is, the direction of the medical instrument by detecting the pivot rotation of the trocar 1. It is said.
- the advance / retreat amount detection sensor 122 of the present embodiment is configured by a combination of the advance / retreat amount detection roller 122a and the photo sensor 122b as described with reference to FIG.
- the advance / retreat amount detection roller 122a is a roller having a direction perpendicular to the plane of FIG.
- the advance / retreat amount detection roller 122a is urged toward the insertion hole 115 by an elastic member such as a spring, contacts the surface of the medical instrument (first shaft 24) inserted into the insertion hole 11, and the advance / retreat of the medical instrument is performed. Convert the quantity to its rotation.
- An encoder is provided on the rotation shaft of the advance / retreat amount detection roller 122a, and the rotation amount of the advance / retreat amount detection roller 122a is output as an advance / retreat amount.
- a photo sensor 122b facing the insertion hole 115 is provided in order to calibrate the advance / retreat amount (set to an initial value).
- the photosensor 122b calibrates the advance / retreat amount detected by the advance / retreat amount detection roller 122a by detecting an advance / retreat position detection mark 241 provided on the medical instrument (first shaft 24, etc.) side.
- FIG. 8 is a diagram showing a state during in-vivo observation by the medical system according to the embodiment of the present invention.
- the medical system (endoscope system) described here has a form in which the endoscope 2, the trocar 1, and the controller 3 described above are used as main components.
- the trocar sensor 12 it is possible to detect various states such as the position and movement amount of the endoscope 2 using the trocar sensor 12, but the trocar sensor 12 is not necessarily required as a configuration of the present invention. Rather, it is provided as appropriate according to the form of use.
- the captured image captured by the imaging unit 28 is preferably not displayed on the monitor 4. Since the picked-up image intended by the operator cannot be obtained by rotating the movable joint 25 in the distance measuring process, the picked-up image immediately before the start of the distance measuring process is used instead of the picked-up image picked up by the image pickup unit 28 during this period. By using the image, it is possible to suppress the discomfort of the observer who observes the monitor 4. In addition, by executing a return process for returning the imaging unit 28 to the original state, it is possible to observe continuous captured images before and after the distance measurement process.
- the coefficient applied to the instruction amount from the direction input unit is reduced, and when the distance is far, the coefficient is increased, so that the rate of change of the visual field with respect to the input is constant even if the distance to the object changes.
- the operability can be improved.
- FIG. 14 shows the two movable joints 25 a and 25 b that can rotate around the central axis, but various forms can be adopted for the movable joint 25.
- FIG. 15 shows the configuration and control mode of an endoscope according to another embodiment of the present invention.
- two movable joints 25a and 25b are used as in FIG. 14, but the configurations of the movable joints 25a and 25b are different.
- the first movable joint 25a will be described as an example.
- the first movable joint 25a includes a plurality of top portions 251a to 251d.
- Each of the frame portions 251a to 251d has a shape having a large thickness near the center and a small thickness around the periphery.
- the first movable joint 25a By connecting the frame portions 251a to 251d, the first movable joint 25a can be bent as shown in FIG.
- the first movable joint 25a and the second movable joint 25b are provided with protective portions 252a and 252b made of rubber film or the like.
- the protection parts 252a and 252b can prevent water from entering inside and adhesion of dirt by following the shape according to the movable state of the movable joints 25a and 25b.
- FIG. 16A shows the state of imaging near the distal end portion of the endoscope 2 at the time of the distance measurement processing, and in each of the four states shown in FIG. 16A, FIG. Shows the captured images P1 to P4 acquired during the distance measurement process. Note that the captured image shown in FIG. 16B need not be displayed on the monitor 4.
- description will be made using a situation where the imaging objects O1 and O2 are being imaged.
- the movable joint 25 As the movable joint 25 is rotated by the distance measurement process, the imaged objects O1 and O2 move with respect to the previously captured image, and an optical flow is generated between the captured images.
- the rotation amount of the movable joint 25 is small, so that the optical flow is small or 0 (equilibrium state).
- the second suitable for distance measurement is used. It is possible to determine a captured image, that is, a captured image that is rotated by a distance measurement control amount.
- a captured image that is, a captured image that is rotated by a distance measurement control amount.
- a return process for returning to the original state is performed. Therefore, the captured image P3 in an equilibrium state where the optical flow is 0 is determined as the second captured image.
- the endoscope 2 has not moved except for the rotation of the movable joint 25.
- the endoscope 2 is operated while the operator holds the gripping member 27, so that it is considered that the endoscope 2 moves during the distance measurement process due to hand shake or the like.
- various types of information output from the trocar sensor 12 are used, and the movement amount measured during the distance measuring process of the imaging unit 28 is used.
- the distance to be calculated by calculating the distance in the distance measurement process in consideration of the movement amount of the endoscope 2 between the time point when the first captured image is acquired and the time point when the second captured image is acquired. It is possible to improve the accuracy.
- the visual axis direction of the imaging unit 28 is maintained in the direction orthogonal to the reference plane St in either state.
- the controller 3 determines the direction in which the first shaft 24 a faces based on the sensor signal detected by the trocar sensor 12, rotates the movable joint 25 by the drive unit 22, and the visual axis direction of the imaging unit 28 is the reference. It adjusts so that it may become a predetermined angle (this embodiment orthogonal) with respect to the surface St.
- the operation of the movable joint 25 is described as a two-dimensional movement on the paper surface.
- the follow-up imaging process can also handle a three-dimensional movement including a direction orthogonal to the paper surface. .
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Dentistry (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本発明に係る内視鏡による距離測定方法は、入力部からの方向指示に基づいて可動関節を制御し、撮像部の視軸を移動させるとともに、撮像部が取得した撮像画像を出力する撮像処理と、測距制御量に基づき可動関節を制御して撮像部の視軸を移動させる移動処理を実行するとともに、移動処理実行前に撮像した第1の撮像画像と、移動処理実行中に撮像した第2の撮像画像を取得し、第1の撮像画像と第2の撮像画像と測距制御量に基づいて測距対象までの距離を算出する測距処理と、を切り替えて実行可能とする。
Description
本発明は、外科手術において患者の体内に挿入し、患者体内を観察する内視鏡による距離測定方法及び内視鏡システムに関するものである。
現在、患者の体表に体表と体内を挿通するトロッカーを差し込み、トロッカーから各種医療器具を挿入し、患者の体内において各種施術、検診を行う腹腔鏡手術が行われている。この腹腔鏡手術は、患者の体表における切開部が小さくてすむため、患者に対する負担が少なくてすむ一方、患者の体内を内視鏡で観察しつつ施術を行う必要があるため、内視鏡の視認性、医療用器具の操作性の向上が必要とされている。腹腔鏡手術では、患者体内の様子を内視鏡の映像で把握しなければならず、映像から詳細な情報を得る方法の一つとして、内視鏡による距離計測が行われている。
特許文献1には、内視鏡の挿入量をエンコーダで計測し、挿入前後の画像上の対象物の特徴点位置から、内視鏡と対象物の距離を計測する測定内視鏡装置が開示されている。
特許文献2には、内視鏡の移動量を計測し、移動前の画像と移動後の画像を比較することで距離を計測する内視鏡システムが開示されている。
特許文献1に開示される測定内視鏡装置は、進退量の補正のみであるため、光軸が回転する際には正確な距離計測を行うことができない。特許文献2に開示される内視鏡システムは、人の手で操作した移動量に基づいて演算を行うため、移動量、方向の再現性がなく、安定した精度での距離計測を行うことが困難である。本発明に係る内視鏡による距離測定方法、並びに、内視鏡システムは、安定した精度で距離計測を行うことを目的とするものである。
そのため、本発明に係る内視鏡による距離測定方法は、
可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、入力部からの方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する。
可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、入力部からの方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、前記移動処理の実行後、前記可動関節を前記移動前の状態に復帰させる復帰処理を実行する。
前記測距処理は、前記移動処理の実行後、前記可動関節を前記移動前の状態に復帰させる復帰処理を実行する。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、前記測距制御量に基づき前記撮像部の視軸角度を変更する。
前記測距処理は、前記測距制御量に基づき前記撮像部の視軸角度を変更する。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、前記測距制御量に基づき前記撮像部の視軸を平行移動させる。
前記測距処理は、前記測距制御量に基づき前記撮像部の視軸を平行移動させる。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、前記移動処理実行中に撮像した複数の撮像画像から前記第2の撮像画像を決定する。
前記測距処理は、前記移動処理実行中に撮像した複数の撮像画像から前記第2の撮像画像を決定する。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、測距試行処理で算出された距離に応じた測距制御量を使用する。
前記測距処理は、測距試行処理で算出された距離に応じた測距制御量を使用する。
さらに本発明に係る内視鏡による距離測定方法において、
前記測距処理は、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に加え、検出部で検出された前記内視鏡の移動量を使用して、測距対象までの距離を算出する。
前記測距処理は、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に加え、検出部で検出された前記内視鏡の移動量を使用して、測距対象までの距離を算出する。
また本発明に係る内視鏡による距離測定方法は、
可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
追従撮像処理と、測距処理を実行可能とし、
前記追従撮像処理は、設定されている追従基準面に対して、前記撮像部の視軸が所定角度を有するように前記可動関節を制御するととともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、前記追従撮像処理中に撮像した第1の撮像画像及び第2の撮像画像、及び、前記第1の撮像画像を取得した時点と前記第2の撮像画像を取得した時点の間の前記内視鏡の移動量を使用して、測距対象までの距離を算出する。
可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
追従撮像処理と、測距処理を実行可能とし、
前記追従撮像処理は、設定されている追従基準面に対して、前記撮像部の視軸が所定角度を有するように前記可動関節を制御するととともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、前記追従撮像処理中に撮像した第1の撮像画像及び第2の撮像画像、及び、前記第1の撮像画像を取得した時点と前記第2の撮像画像を取得した時点の間の前記内視鏡の移動量を使用して、測距対象までの距離を算出する。
さらに本発明に係る内視鏡による距離測定方法は、前記可動関節は、複数位置で可動可能である。
また本発明に係る内視鏡システムは、
撮像部と、可動関節と、入力部と、制御部を備え、
前記撮像部は、撮像により撮像画像を取得可能とし、
前記可動関節は、制御部の指示に基づいて前記撮像部の視軸を移動可能とし、
前記入力部は、前記可動関節の方向指示を入力可能とし、
制御部は、撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、前記入力部の方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する。
撮像部と、可動関節と、入力部と、制御部を備え、
前記撮像部は、撮像により撮像画像を取得可能とし、
前記可動関節は、制御部の指示に基づいて前記撮像部の視軸を移動可能とし、
前記入力部は、前記可動関節の方向指示を入力可能とし、
制御部は、撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、前記入力部の方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する。
本発明の内視鏡による距離測定方法、並びに、内視鏡システムによれば、撮像部の視軸方向を移動させる可動関節の動きを利用して、第1、第2の撮像画像を取得し、取得した第1、第2の撮像画像、及び、可動関節の動作量にあたる測距制御量を使用して、測距対象までの距離を算出することで、患者体内において、安定した精度で距離を計測することが可能となる。
図1は、各種医療用器具を使用した腹腔鏡手術の様子を示したものである。腹腔鏡手術では、患者の腹部などに複数の穴を開け、内視鏡2、鉗子2’、(電気)メス等の各種医療用器具を挿入し、内視鏡2で撮像された映像を確認することで、患部Aの観察、施術が行われる。この腹腔鏡手術は、切開領域が少なくて済むため、患者に対する負担を軽減することが可能である。
腹腔鏡手術では、患者の体壁に開けた穴にトロッカー(チャネル)1a~1dと呼ばれる管を差し込み、このトロッカー1a~1dを介して患者の体内に各種医療用器具が挿入される。トロッカー1aには内視鏡2が挿入され、トロッカー1dには鉗子2’が挿入された状態が示されている。内視鏡2の先端部分には、撮像部28が設けられており、撮像部28で撮像された画像はモニタ等の表示部に表示される。通常、内視鏡2はスコピストと呼ばれる補助者によって操作され、施術者Bの指示に基づいて観察対象が撮像される。鉗子2’の先端部分には、エンドエフェクタとしての先端把持部26が設けられており、施術者B(使用者)は鉗子2’を操作することで、この先端把持部26を開閉し、患部Aに対する施術を行う。このように腹腔鏡術では、施術者Bは内視鏡2による画像を観察しつつ、鉗子2’等による施術を行うことが可能である。
このような腹腔鏡手術では、患者体内の様子をより正確に把握するため、患者体内で距離計測を行うことがある。距離計測には各種方法があるが、その一つとして複眼の内視鏡、すなわち2つの撮像部を備えた内視鏡を使用し、ステレオ計測原理により内視鏡の先端から観察対象までの距離を計測することが可能である。図2には、このような複眼内視鏡2の先端の様子が示されている。複眼内視鏡2は、先端部分に2つの撮像部OL、ORを備え、各撮像部OLとORの間は距離d(視差)が設けられている。複眼内視鏡2では、観察対象までの距離を計測することの他、観察対象を三次元観察することが可能である。
図3は、複眼内視鏡2を使用したステレオ計測原理を説明する図である。複眼内視鏡2の視軸をz軸、それに直交する軸をxy平面(y軸は省略)にとっている。各撮像部OL、OR(焦点距離f)で撮像された測距対象は、撮像画像PL、PR上、位置XL、XRに位置することになる。2つの撮像部OL、OR間の距離(視差)をdとした場合、複眼内視鏡2から測距対象までの距離Zは、三角測量の原理により、(1)式で算出することが可能である。
Z=d・f/(XL-XR) ・・・(1)
Z=d・f/(XL-XR) ・・・(1)
このように2つの撮像部OL、ORを先端に備えた複眼内視鏡2で撮像した撮像画像PL、PRを使用することで、撮像画像中の適宜箇所における測距対象までの距離を算出することが可能である。しかしながら、複眼内視鏡2は、2つの撮像部OL、ORを先端部に設ける必要があるとともに、径が大きくなってしまう。本発明は、このような従来の距離測定方法を鑑みたものであって、単眼(撮像部は1つ)の内視鏡において、距離測定を行うことに関する。
図4は、本発明の実施形態に係る内視鏡の構成、制御形態を示す図である。図4(A)には、コントローラ3との接続関係が示されているが、図4(B)についても同様(図示せず)である。医療用器具としての内視鏡2は、把持部材27に連結する第1シャフト24a、第1シャフト24aに対し可動関節25を介して回動可能に連結された第2シャフト24bを備えている。第2シャフト24bの先端には、エンドエフェクタとしての撮像部28が配設されている。本実施形態では、1つの撮像部28を使用した形態(単眼)である。撮像部28で撮像された撮像画像は、コントローラ3に出力され、施術者はモニタ4などの表示部に撮像画像を表示させることで、患者の体内の様子を観察することが可能である。
把持部材27には、方向入力部21aと測距指示部21bが設けられており、施術者による撮像部28の方向(視軸方向)の調整操作、並びに、測距指示操作を行うことが可能である。図4(B)に示されるように、方向入力部21aを操作に基づき、駆動部22が駆動される。駆動部22による駆動量は、可動関節25にワイヤーなどの手段で伝達され可動関節25を回動させる。可動関節25の回動に基づき、第2シャフト24bの先端に設けられた撮像部28による撮像方向(視軸方向)が調整される。可動関節25は、紙面上での2次元動作で示しているが、紙面に直交する方向を含む3次元動作も可能である。
以上説明した内視鏡2を、患者の体表と体内を連通するトロッカー1に挿入することで、腹腔鏡手術における体内観察が可能となる。本実施形態のある形態においては、トロッカー1に設けた各種センサーにより検出した、内視鏡2等の医療用器具の状態を使用することとしている。そのため図5~図7には、各種センサーを備えたトロッカー1の構成が示されている。
図5には、本発明の実施形態の医療システムで使用可能なトロッカー1の外観が示されている。本実施形態のトロッカー1は、上部筐体111、下部筐体112、筒部113を有して構成されている。上部筐体111には、各種医療用器具を挿入するための挿通孔115が設けられている。筒部113は、患者の体内に挿入される部分である。挿通孔115から挿入された医療用器具は、下部筐体112、筒部113の内部を通過して、筒部113の下端から患者体内に挿入され、患者体内の観察、あるいは、患者体内での処置を行う。
上部筐体111内部には、トロッカー1の状態、そして、挿通孔115から挿入された医療用器具の状態を検出するための各種センサーが配置されている。各種センサーからの出力信号は、ケーブル114を介してコントローラ3へ送信される。なお、ケーブル114は、各種センサーに対する電源供給機能も有している。各種センサーとコントローラ3との通信は、このような有線通信としてもよいが、無線通信、並びに、バッテリ駆動を採用することで、トロッカー1からケーブル114を排除することも可能である。
図6には、本発明の実施形態に係るトロッカー1の内部構成を示す断面図が示されている。図5において上部筐体111には、挿通孔115が設けられていることを説明したが、この断面図において、挿通孔115から筒部113の下端まで示される褐色部分は、連通する部分であり、各種医療用器具が挿入される部分である。上部筐体111と下部筐体112は、クリップ状の結合部材116R、116Lにて連結、取り外しが可能となっている。トロッカー1の使用時には、図6(A)に示されるように上部筐体111と下部筐体112を連結した状態で使用し、清掃など行う際には、図6(B)に示されるように上部筐体111を下部筐体112から取り外した状態とすることが可能である。このような構成により、筒部113及び筒部113清掃、消毒、あるいは、交換を容易にするとともに、各種センサーを有する上部筐体111部分のメンテナンスを容易に行うことが可能となっている。なお、トロッカー1は、上部筐体111と下部筐体112が一体化した1つの筐体とすることも可能である。
本実施形態のトロッカー1は、上部筐体111内に各種センサー(トロッカーセンサー12)を有している。本実施形態では、トロッカーセンサー12として、傾斜角検出センサー121、進退量検出センサー122、回転量検出センサー123を有して構成している。傾斜角検出センサー121は、トロッカー1が、基準座標系に対してどの方向を向いているか傾斜角を検出するためのセンサーである。ここで、基準座標系とは、患者あるいは地面といった固定物に対して定義される座標系であり、傾斜角検出センサー121としては、加速度センサーなどの各種センサー使用することが可能である。加速度センサーは、自己にかかる加速度を検出することで、トロッカー1がどの方向を向いているか、すなわち、基準座標系に対する傾斜角を検出することが可能である。
進退量検出センサー122は、トロッカー1に挿入された医療用器具がトロッカー1の挿通方向(図6では上下方向)に対する進退量を検出するセンサーである。図1で説明したように医者などの施術者は、トロッカー1に対して医療用器具を抜き差しすることで、患者体内において医療用器具を操作して適切な位置に移動させる。進退量検出センサー122は、トロッカー1に対する医療用器具の挿入位置を進退量として検出することが可能である。図6(A)には、トロッカー1の挿通方向の中心軸Cが一点鎖線で示されている。進退量検出センサー122は、この中心軸Cに平行な移動量を進退量として検出する。本実施形態における進退量検出センサー122は、進退量検出ローラ122aとフォトセンサー122bの組み合わせで構成されている。
回転量検出センサー123は、施術者などの操作に応じて回転する医療用器具の回転量を検出するセンサーである。挿通孔115に挿入された医療用器具に対して、中心軸Cを軸とする回転操作を行うことで、医療用器具の先端に設けられたエンドエフェクタの向きを患者体内で変更することが可能である。回転量検出センサー123は、この回転量を検出することで、医療用器具のエンドエフェクタがどの向きを向いているかを検出することが可能である。本実施形態における回転量検出センサー123は、回転量検出ローラ123aとフォトセンサー123bの組み合わせで構成されている。
以上、トロッカー1の内部構成について説明したが、トロッカー1内に配設されたトロッカーセンサー12は、図6中には示さない通信部13を介して、検出信号をコントローラ3へ出力する。本実施形態のトロッカーセンサー12の動作について、図7に示したトロッカーセンサー12の構成を示す模式図を用いて説明を行う。図7は、図6のトロッカー1内部に配設されるトロッカーセンサー12の構成を模式的に示した図面であり、トロッカー1に対して医療用器具の第1シャフト24が挿入された状態が示さされている。なお、図7には、医療用器具の先端に設けられたエンドエフェクタなどは省略して記載している。
トロッカー1の挿通孔115の径は、医療用器具の挿入を可能とするように第1シャフト24など、医療用器具の挿入部分よりも若干余裕を有して設定されている。トロッカー1は、患者の体表付近に固定されることとなるが、医療用器具の操作に連動して、ある点を基準として回動するピボット回動を行うこととなる。トロッカー1の筐体に固定された傾斜角検出センサー121は、トロッカー1のピボット回動を検出することで、基準座標系におけるトロッカー1の方向、すなわち、医療用器具の方向を検出することを可能としている。
本実施形態の進退量検出センサー122は、図6で説明したように進退量検出ローラ122aとフォトセンサー122bの組み合わせで構成されている。進退量検出ローラ122aは、図7の面内に垂直な方向を回転軸として有するローラである。この進退量検出ローラ122aは、スプリングなどの弾性部材によって挿通孔115側に付勢され、挿通孔11に挿入された医療用器具(第1シャフト24)の表面と接触し、医療用器具の進退量をその回転量に変換する。進退量検出ローラ122aの回転軸には、エンコーダが設けられており、進退量検出ローラ122aの回転量を進退量として出力する。本実施形態では、進退量をキャリブレート(初期値に設定)するため、挿通孔115内に面したフォトセンサー122bが設けられている。このフォトセンサー122bは、医療用器具(第1シャフト24など)側に設けられた進退位置検出マーク241を検知することで、進退量検出ローラ122aで検出された進退量をキャリブレートする。したがって、医療用器具が挿通孔115内で進退を行う際、この進退位置検出マーク241がフォトセンサー122b部分を通過する毎に、進退量はキャリブレート(初期値に設定)されることとなり、トロッカー1に対する医療用器具の正確な進退量を検出することを可能としている。
本実施形態の回転量検出センサー123は、図6で説明したように回転量検出ローラ123aとフォトセンサー123bの組み合わせで構成されている。回転量検出ローラ123aは、図7の上下方向に向く回転軸を有するローラである。この回転量検出ローラ123aは、スプリングなどの弾性部材によって挿通孔115側に付勢され、挿通孔115に挿入された医療用器具(第1シャフト24)の表面と接触し、医療用器具の回転量を回転検出ローラ123aの回転量に変換する。なお、回転量検出ローラ123aの接触面には、医療用器具の挿入方向に対する移動を阻害しない部材(ベアリングなど)を設けておくことが好ましい。回転量検出ローラ123aの回転軸には、エンコーダが設けられており、回転量検出ローラ123aの回転量を医療用器具の回転量として出力する。本実施形態では、回転量をキャリブレート(初期値に設定)するため、挿通孔115内に面したフォトセンサー123bが設けられている。このフォトセンサー123bは、医療用器具(第1シャフト24など)側に設けられた回転位置検出マーク242を検知することで、進退量検出センサー122の場合と同様、回転量検出ローラ123aで検出された回転量をキャリブレートする。
以上、トロッカー1に配設されたトロッカーセンサーについて説明したが、センサーの構成は、各種形態を採用することが可能である。例えば、本実施形態では、進退量、回転量を検出するため、ローラを使用する機械センサーの構成を採用しているが、進退量、回転量は、レーザマウスに用いられる表面の移動量、移動方向を検出可能な光学センサーを採用することも可能である。その場合、1つの光学センサーにて進退量及び回転量を検出することも可能である。本実施形態に係る医療システムは、患者体内に挿入される医療用器具の方向、あるいは、方向と位置が必要とされる。本実施形態では、これらを検出するため、各種センサーをトロッカー1内に配設することで取り扱いを容易にしているが、医療用器具の方向、あるいは、方向と位置を検出は、トロッカー1外部に配設されたセンサーを使用することとしてもよい。例えば、トロッカー1に配設された傾斜角検出センサー121は、直接、医療用器具側に配設することとしてもよい。
図8は、本発明の実施形態に係る医療システムによる体内観察時の様子を示す図である。ここで説明する医療システム(内視鏡システム)は、前述した内視鏡2、トロッカー1、コントローラ3を主要構成として利用した形態となっている。本実施形態では、トロッカーセンサー12を利用して、内視鏡2の位置、移動量といった各種状態を検出可能としているが、このトロッカーセンサー12は、本発明の構成として、必ずしも必要とするものではなく、利用の形態に応じて適宜設けられる。
トロッカー1は、患者の体表Bに差し込まれた状態であり、患者の体表Bと体内を挿通孔115にて連通させている。トロッカー1の挿通孔115には、内視鏡2が挿入され、先端に設けられている撮像部28にて患者体内の様子を観察可能としている。撮像部28から出力される撮像画像は、コントローラ3に出力され、表示部としてのモニタ4に表示される。スコピスト等、内視鏡2の操作者が方向入力部21aを操作することで、可動関節25が回動し、撮像部28の視軸(撮像する方向)が可変する。操作者は、把持部材27の位置を調整すると共に、方向入力部21aによる撮像部28の視軸変更によって、観察方向を観察対象Ptに向けることが可能である。
本実施形態では、操作者による把持部材27の調整位置を、検出部としてのトロッカーセンサー12で検出することが可能である。トロッカーセンサー12で検出された内視鏡2の状態を示す情報は、コントローラ3に出力される。トロッカーセンサー12では、内視鏡2の挿入量Lb、第1シャフト24aが水平面等基準座標系に対して形成する傾斜角度θb、回転検出ローラ123aによる内視鏡2の回転角度等が検出可能である。また、コントローラ3は、方向入力部21aの操作に基づく、可動関節25の制御角度θjを検出することも可能としている。このような構成により、コントローラ3は、内視鏡2の状態を把握することが可能である。さらに、把持部材27には、測距指示部21bが設けられており、操作者の操作による観察対象に対する距離測定が可能となっている。
図9は、本発明の実施形態に係る医療システムの制御構成を示すブロック図である。医療システムは、内視鏡2とコントローラ3を主要構成として有している。また、外部構成としてトロッカー1に設けられた各種センサー類、撮像部28からの撮像画像等を表示するモニタ4を備えている。
トロッカー1は、トロッカーセンサー12として傾斜角検出センサー121、進退量検出センサー122、回転量検出センサー123、そして、通信部13を備えて構成されている。内視鏡2は、操作入力部21として、図4で説明した方向入力部21a、そして、測距指示部21b、駆動部22を有して構成されている。駆動部22は、内視鏡2の可動関節25を回動させるモータなどの部材である。駆動部22は、可動関節25を直接回動させる形態、あるいは、ワイヤーや糸などを介して間接的に回動させる形態がある。
トロッカー1、内視鏡2は、コントローラ3に接続されている。コントローラ3は、CPUなどで構成された制御部31、記憶部としてのメモリ32を備えて構成されている。メモリ32には、医療システムで実行する各種プログラムを記憶するとともに、プログラム実行のために必要な各種信号、データを記憶することが可能である。
では、このような医療システム(内視鏡システム)を使用した距離測定について説明する。図10には、本発明の実施形態に係る医療システムの制御フロー図である。この制御フロー図に示される処理は、腹腔鏡手術中、コントローラ3で行われる処理である。処理が開始されると、コントローラ3は、測距指示部21bによる測距指示が入力されか否かを判定する(S101)。測距指示では無い場合(S101:No)、すなわち、内視鏡2の通常処理時、コントローラ3は、撮像部28が取得した撮像画像をモニタ4に表示出力する(S108)。このとき、方向入力部21aに対する操作(方向指示)が行われた場合(S109:Yes)、操作に応じて駆動部22にて可動関節25を回動させる(S110)。このようにS108~S110の処理では、従来の内視鏡2と同様、患者体内の観察を行うことが可能である。
一方、測距指示部21bから測距指示が入力された場合(S101:Yes)、S102~S107の測距処理を開始する。図11には、内視鏡2の測距時の動作が示されている。測距処理では、まず、撮像部28から第1の撮像画像を取得する(S102)。図11(A)は、第1の撮像画像取得時の内視鏡2先端の様子が示されている。撮像部28の視軸E1は、第1シャフト24aの中心軸に対して関節角度θ1、傾斜した状態となっている。次にコントローラ3は、予め設定されている測距制御量に基づいて、駆動部22を駆動して可動関節25を回動開始する(S103)。
図11(B)には、そのときの内視鏡2の測距時の動作が示されている。この例では、関節角度に対する測距制御量がθ3に設定されており、コントローラ3は、関節角度θ1から関節角度θ2(θ2=θ1+θ3)に可動関節25を回動させる。駆動部22の制御に基づき可動関節25が関節角度θ2となったことが判定される(S104:Yes)、すなわち、図11(B)の状態になった場合、コントローラ3は、撮像部28から第2の撮像画像を取得する(S105)。その後、可動関節25を測距処理開始前の状態、すなわち、図11(A)の状態に復帰させる復帰処理を実行する(S106)。測距処理における可動関節25の回動中は、撮像部28で撮像した撮像画像は、モニタ4に対して表示出力しないことが好ましい。測距処理における可動関節25の回動は、操作者の意図した撮像画像が得られないため、この期間中は、撮像部28で撮像している撮像画像に代え、測距処理開始直前の撮像画像を使用することで、モニタ4を観察する観察者の違和感を抑えることが可能となる。また、撮像部28を元の状態に復帰させる復帰処理を実行することで、測距処理の前後にて連続した撮像画像を観察させることが可能となっている。
S107では、S102、S105で取得した、第1の撮像画像、第2の撮像画像に基づいて測距対象までの距離が算出される。第1の撮像画像と第2の撮像画像は、可動関節25を回動させることで取得しているため視差を有した撮像画像となっている。そのため、第1の撮像画像と第2の撮像画像を使用し、図3で説明したステレオ計測原理と同様の原理にて、第1の撮像画像と第2の撮像画像に含まれる測距対象までの距離を算出することが可能である。ただし、可動関節25の回動により、撮像部28の視軸が回転しているため、回転による補正(座標系変換)を行うことが好ましい。
図12には、本発明の実施形態に係る内視鏡による疑似ステレオ計測原理が図示されている。第1の撮像画像P1を取得した時の座標系をxz、第2の撮像画像P2を取得した時の座標系をx’z’とすると、x’z’座標系は、xz座標系は、測距制御量θ3、傾斜することとなる。また、回動半径Rは、内視鏡2の構成(可動関節25と撮像部28の位置関係等)として既知の値である。したがって、測距制御量θ3、回動半径Rを使用することで、x’z’座標系とxz座標系を整合させる座標系変換を行うことで、図3で説明したステレオ計測原理と同様の原理にて、撮像部28から測距対象までの距離を算出することが可能である。
測定対象は、第1の撮像画像と第2の撮像画像の両方に含まれる適宜箇所について算出することが可能である。例えば、第1の撮像画像の中心位置を測距対象として選択した場合、コントローラ3は、モニタ4に表示される撮像画像に、算出した距離を数値で表示することが考えられる。また、測距対象は、操作者により選択されるものであってもよい。あるいは、複数の測距対象について距離を算出することとしてもよい。その場合、撮像画像上に等高線などで距離を表示することも可能である。あるいは、算出した距離を表示することに代え、近接警告に利用することとしてもよい。算出した距離が所定未満の場合、モニタ4あるいはスピーカー等を使用することで、体内の内壁等に近づきすぎであることを警告してもよい。また,距離に応じて可動関節の制御パラメータを変更するために、計測された距離情報を使用してもよい。例えば、距離が近いときには、方向入力部からの指示量にかける係数を小さくし、距離が遠いときには係数を大きくすることで、対象物との距離が変化しても入力に対する視野の変化率が一定となり操作性の向上が見込める。
本実施形態の測距処理(S102~S107)は、操作者による測距指示(S101)に基づいて開始される処理であったが、内視鏡2の使用中、定期的、あるいは、所定の操作等を契機として自動的に行われる、すなわち、測距指示は操作者の操作による入力のみならず、コントローラ3から入力されるものであってもよい。
図13は、本発明の他の実施形態に係る内視鏡の構成、制御形態を示す図である。前述した実施形態における内視鏡2は、図4で説明したように1つの可動関節25を使用して、撮像部28の撮像方向(視軸)を変更するものであったが、図13に示す内視鏡2の形態は、複数位置で可動可能な可動関節25a、25bを使用した形態となっている。図13(A)に示されるよう、第1シャフト24aと第2シャフト24bは、第1の可動関節25aで回動可能に接続され、第2シャフト24bと第3シャフト24cは、第2の可動関節25bで回動可能に接続されている。撮像部は第3シャフト24cの先端に設けられている。方向入力部21aを操作することで、第1の可動関節25a、第2の可動関節25bが回動し、撮像部28の視軸方向を変更することが可能である。第1の可動関節25aと第2の可動関節25bの回動制御は、異なる方向入力部にて個別に行うこととしてもよい。
このような複数位置で可動可能な可動関節25a、25bを有する内視鏡2を使用した場合、測距処理において、次のような撮像部28の視軸変更を行うことが可能となる。図14には、図13で説明した内視鏡2の先端部分について、測距処理時の制御動作が示されている。図14(A)は、測距処理開始直前の状態であり、第1シャフト24aに対して第2シャフト24bは第1可動関節25aの関節角度θ1、傾斜した状態である。また、第2シャフト24bに対して第3シャフト24cは第2可動関節25bの関節角度θ2、傾斜した状態である。
図14(A)状態で、測距指示が入力されると、コントローラ3は、測距制御量に基づき、第1可動関節25a及び第2可動関節25bを、図14(B)のように回動させる。この例では、測距制御量はθ3に設定されており、第1可動関節25aに対してはθ3減算した状態に、第2可動関節25bに対してはθ3加算した状態に位置調整する。したがって、撮像部28の視軸は、視軸E1、視軸E2に示されるように距離d(視差に相当)だけ平行移動することとなる。視軸E1の状態で第1の撮像画像を取得し、視軸E2の状態で第2の撮像画像を取得することで、両撮像画像取得時の座標系を略一致、あるいは、互いに平行となり、図12で説明した回転系を有する疑似ステレオ計測原理を必要とせず、位置算出処理の処理負担を軽減するとともに、回転補正処理により生じる誤差が発生しない。なお、このような視軸の平行移動は、複数の可動関節を用いる形態のみならず、各種形態にて行うことが可能である。
図14では、中心軸を中心として回動可能な2つの可動関節25a、25bについて説明したが、可動関節25には、各種形態を採用することが可能である。図15には、本発明の他の実施形態に係る内視鏡の構成、制御形態が示されている。本実施形態では、図14と同様に2つの可動関節25a、25bを使用しているが、各可動関節25a、25bの構成が異なったものとなっている。ここでは、第1可動関節25aを例にとって説明する。第1可動関節25aの内部には、複数のコマ部251a~251dを備えて構成される。各コマ部251a~251dは、中心付近で大きな厚さを有し、周囲で小さな厚さを有する形状となっている。このコマ部251a~251dを連接することで、図15(B)に示すように第1可動関節25aを屈曲させることが可能となる。第1可動関節25a、第2可動関節25bには、ゴム膜等による保護部252a、252bが設けられている。保護部252a、252bは、各可動関節25a、25bの可動状態に応じて、形状を追従させることで、内部への浸水、及び、汚れの付着を防止することが可能である。
第1可動関節25aの回動(屈曲)制御は、第2シャフト24b側に固定された制御ワイヤー29bを駆動部22にて引くことで行うことが可能である。図に示される制御ワイヤー29bの何れかを引くことで、第2シャフト24bは引かれた側の制御ワイヤー29bの方向に屈曲する。図は平面内の例であり、2本の制御ワイヤー29bで説明しているが、3次元的な屈曲を実現するためには、さらなる本数の制御ワイヤー29bが必要となる。第2可動関節25bについても同様の構成であって、制御ワイヤー29cを引くことにより、第3シャフト24cを回動制御することが可能である。
このような形態においても図14の場合と同様、視軸を平行移動させることが可能である。図15(A)の状態から第1可動関節25a、第2可動関節25bを回動させて、図15(B)の状態にすることで、両者の視軸E1とE2を平行移動させることが可能となる。このような平行移動により視軸E1と視軸2の間に視差dを形成することが可能となる。図の例は、各可動関節25a、25bの動作を説明するため、視差dを大きく見せているが、測距処理では、各可動関節25a、25bの回動量を小さくすることで、視差dを小さくすることも可能である。
図10で説明した制御フロー図中、測距処理においては、第2の撮像画像の取得タイミングとして、可動関節25が測距制御量回動したことを条件した形態であるが、例えば、図15で説明したような制御ワイヤー29を使用した制御では、駆動部22の駆動動作(制御ワイヤ29を引く動作)と、可動関節25の動作の間に遅延が生じることが考えられる。図16には、本発明の実施形態に係る測距用画像(第2の撮像画像)の決定方法が示されている。
図16(A)は、測距処理時における内視鏡2の先端部付近での撮像の様子を示したものであり、図16(A)に示す4つの各状態において、図16(B)は、測距処理時に取得した撮像画像P1~P4を示したものである。なお、図16(B)に示す撮像画像は、モニタ4に表示させる必要はない。説明分かりやすくするため、撮像物O1、O2を撮像している状況を用いて説明する。測距処理による可動関節25の回動に伴い、撮像物O1、O2が、前回撮像した撮像画像に対して移動することとなり、撮像画像間にはオプティカルフローが生ずる。可動関節25が測距制御量に達した状態では、可動関節25の回動量は小さくなるため、オプティカルフローも小さくなる、あるいは、0(平衡状態)となることなる。
本実施形態では、このような撮像画像間の特性を利用し、測距処理時の可動関節25回動中に取得した複数の撮像画像を画像処理することで、距離測定に適切な第2の撮像画像、すなわち、測距制御量だけ回動させた時の撮像画像を決定することが可能である。図16の例では、測距制御量に応じて可動関節25を回動させた後、元の状態に復帰させる復帰処理を行っている。そのため、オプティカルフローが0となる平衡状態の撮像画像P3が、第2の撮像画像として決定される。このように測距処理時に取得した複数の撮像画像の中から、距離測定に使用する第2の撮像画像を決定することで、可動関節25の駆動系等を理由として発生する遅延を抑制し、測距制御量の分、回動した状態における第2の撮像画像をより正確に取得し、距離算出の精度向上を図ることが可能となる。
図10で説明した制御フロー図中、測距処理で使用する測距制御量は、予め定められた値、すなわち、コントローラ3のメモリ32に記憶されたデータを使用することとしていた。内視鏡2による測距処理では、測距対象までの距離が変化することが考えられる。本実施形態では、予め分かっている測距対象までの大まかな距離に応じて、測距制御量を調整することで、実際の距離測定の精度向上を図るものである。
測距対象までの距離Zと視差dの関係について、図3の模式図を用いて説明を行う。測距対象までの距離Zは、図3を用いて説明した(1)式で表すことが可能である。XL-XR=Xmとすると、(1)は、
Z=d・f/Xm ・・・(1)’
Xmの式に変換することで(2)式が得られる。
Xm=d・f/Z ・・・(2)
Z=d・f/Xm ・・・(1)’
Xmの式に変換することで(2)式が得られる。
Xm=d・f/Z ・・・(2)
(2)式によれば、d(視差)を固定した場合、距離Zが大きくなるほど、Xmは小さくなる。すなわち、XL-XRが小さくなるため、撮像画像に対して画像処理を施すことで行われる距離算出の精度は低くなることが考えられる。したがって、dを大きくとることで、距離Zが大きい場合にはd(視差)を大きく設定することで、距離算出の精度、向上を図ることが可能である。一方、距離Zが小さい場合には、d(視差)が小さくても距離算出の精度の損失は小さく、また、d(視差)を小さくすることで、測距処理時の可動関節25の回動量を少なくすると共に、測距処理時にかかる時間を短くすることが可能となる。
図17~図19には、測距制御量を可変とする場合の内視鏡システムの制御フロー図が示されている。図17に示される測距指示(S101)、内視鏡2の通常処理(S107~S109)は、図10で説明した制御フロー図と同様であるため、ここでの説明は省略する。本実施形態では、測距指示が入力される(S101:Yes)と、実際の距離を算出するための測距処理(S300)に先駆けて、測距試行処理(S200)を実行する。本実施形態では、この測距試行処理(S200)にて、測距対象までのおよその距離を算出することで、測距処理(S300)で使用する測距制御量を決定している。測距制御量の決定は、このような測距試行処理(S200)で決定することのみならず、前回行った測距処理の測定距離に基づいて決定することとしてもよい。あるいは、内視鏡2の先端に設けた赤外線あるいは超音波等、他のセンサーを使用した測距試行処理によって測距制御量を決定することとしてもよい。
図18には、本発明の実施形態に係る測距試行処理(S200)を示すフロー図が示されている。測距指示の入力(S101:Yes)に応じて、測距試行処理(S200)が開始されると、撮像部28にて第1の撮像画像を取得する(S201)。S202では、コントローラ3は、予め定められた所定制御量、可動関節25を回動開始する(S202)。可動関節25が所定制御量、回動したことを判定した場合(S203:Yes)、第2の撮像画像を取得する(S204)。そして、可動関節25を復帰させる復帰処理を実行する(S205)。そして、S201で取得した第1の撮像画像とS204で取得した第2の撮像画像に基づいて、両撮像画像に共通する位置(代表位置)の距離を計算する(S206)。そして、算出した距離に基づいて測距制御量βが設定される(S207)。
図19には、この測距試行処理(S200)で設定された測距制御量βを使用した測距処理(S300)が示されている。測距処理(S300)が開始されると、撮像部28にて第1の撮像画像を取得する(S301)。S302では、コントローラ3は、測距試行処理(S200)で設定した測距制御量βに基づいて、可動関節25を回動開始する(S302)。可動関節25が測距制御量βの分、回動したことを判定した場合(S303:Yes)、第2の撮像画像を取得する(S304)。そして、可動関節25を復帰させる(S305)。そして、S301で取得した第1の撮像画像とS304で取得した第2の撮像画像に基づいて、測距対象までの距離が計算される(S306)。このように本実施形態では、測距試行処理を行うことで、測距処理における測距対象までの距離算出精度の向上を図ることが可能である。
以上、内視鏡2とコントローラ3を備える内視鏡システムについて説明したが、図8などで説明したように、本実施形態の内視鏡システムは、トロッカー1に内視鏡2の各種状態を検出するトロッカーセンサー12が設けられている。以下に説明する実施形態は、トロッカーセンサー12等、内視鏡2の各種状態を検出可能な検出部を使用する形態となっている。なお、検出部は、トロッカーセンサー12に限られるものではなく、内視鏡2側に加速度センサーを設けるなど、内視鏡2の各種状態を検出できる各種形態を採用することが可能である。
図10を用いて説明した測距処理(S102~S106)では、内視鏡2は、可動関節25の回動以外、移動していないことを前提としたものである。しかしながら、実際には、内視鏡2は、操作者が把持部材27を握って操作されるため、手振れ等によって測距処理中に移動することが考えられる。本実施形態では、トロッカーセンサー12から出力される各種情報を使用し、撮像部28の測距処理中に計測された移動量を使用する形態である。第1の撮像画像を取得した時点と、第2の撮像画像を取得した時点間での、内視鏡2の移動量を考慮して、測距処理における距離算出を行うことで、算出する距離の精度向上を図ることが可能となる。検出部としてトロッカーセンサー12を使用した場合、内視鏡2の各種状態としては、傾斜角検出センサー121による傾斜角度、進退量検出センサー122による進退量、回転量検出センサー123による回転量が挙げられる。このような各種状態を使用して、測距処理中の手振れなどで生じる内視鏡2の移動量、すなわち、撮像部28の移動量を取得し、移動量を考慮して距離を算出することで、その精度向上を図ることが可能となる。
トロッカーセンサー12などの検出部を利用することで、内視鏡2の各種状態を検出する形態では、以下に説明する測距処理を行うことも考えられる。図20には、トロッカーセンサー12を使用した追従撮像処理時に行われる測距処理を説明するための図が示されている。追従撮像処理は、操作者等によって指定されることで実行される処理であり、方向入力部21aの操作に応じて可動関節25を回動させる通常処理に対し、方向入力部21aを操作することなく可動関節25を回動させる処理である。
本実施形態では、患部表面である基準面Stが追従基準面に設定されており、可動関節25は、撮像部28の視軸が、この基準面Stに対して所定の角度(本実施形態では直交)を形成するように駆動制御される。撮像部28の視軸方向は、トロッカーセンサー12から出力されるセンサー信号に基づいて判定される。なお、図20中、符号θbは、第1シャフト24aが基準座標系Cに対してなす角度を示し、符号θjは、追従処理における可動関節25の制御角度を示し、P1、P2は、撮像部28の視軸が向く方向と基準面Stの交点を示している。
図20(A)から図20(B)の状態に内視鏡2を移動させた場合、どちらの状態においても、撮像部28の視軸方向は、基準面Stと直交する方向に維持される。コントローラ3は、トロッカーセンサー12で検出されたセンサー信号に基づいて、第1シャフト24aの向く方向を判定し、駆動部22にて可動関節25を回動させ、撮像部28の視軸方向が基準面Stに対して所定角度(本実施形態では直交)となるように調整する。なお、図20では、可動関節25の動作を紙面上での2次元の動きとして説明しているが、追従撮像処理では、紙面に直交する方向を含む3次元での動きについても対応可能である。
図9の制御構成を用いて説明すると、入力部21に設けられたモード入力部(図示せず)にて追従モードが指定されると、コントローラ3は方向入力部21aからの操作信号に基づく駆動部22の制御(可動関節25の角度調整)に代え、トロッカーセンサー12から出力されるセンサー信号に基づいて、駆動部22を制御する追従撮像処理を実行する。その際、コントローラ3のメモリ32には、基準座標系上に設定された追従基準面が記憶されており、追従撮像処理では、センサー信号と追従基準面に基づいて、内視鏡2の撮像部28が追従基準面に対して所定の角度関係を取るように駆動部22を制御する。
追従撮像処理に使用する追従基準面は、入力部21に追従基準を設定する設定入力部を設け、操作者の操作により設定すること、あるいは、内視鏡2で取得した撮像画像など、各種センサーの検出結果に基づいて設定することなどが考えられる。この制御形態では、患部の表面を基準面Stに設定した形態となっているが、基準面は、患部の表面のような実面ではなく、仮想面であってもよい。また、撮像部28の角度は、基準面Stに対して直交ではなく、所定角度だけ傾斜するように設定することも可能である。また、基準面Stは、平面ではなく曲面であってもよい。例えば、医療用器具2とは、別途、患者体内に挿入された内視鏡で撮影された患部の曲表面を基準面Stとして設定することが考えられる。
このような追従撮像処理では、例えば、図20(A)の状態で取得した第1の撮像画像と、図20(B)の状態で取得した第2の撮像画像、及び、トロッカーセンサー12で取得された図20(A)から図20(B)間の移動量を使用することで、撮像部28から基準面Stまでの距離を算出することが可能となる。この場合、測距指示の入力時に第1の撮像画像を取得し、内視鏡2が第1の撮像画像から予め設定された移動量、移動したことを条件として第2の撮像画像を取得して距離を算出する形態が考えられる。あるいは、測距指示の入力時に第1の撮像画像を取得し、所定時間経過後、第2の撮像画像を取得し、第1の撮像画像取得時から第2の撮像画像を取得する期間における内視鏡2の移動量を検知することで距離を算出する形態が考えられる。
何れの形態においても第1の撮像画像、第2の撮像画像、両撮像画像取得した時の内視鏡2の移動量を使用して測距対象までの距離が算出される。このような追従撮像処理時における測距処理では、内視鏡22の移動前後で、撮像部28の視軸が平行に保たれているため、測距処理時において高い精度で距離測定を行うことが可能である。また、前述した測距処理とは異なり、測距処理時のために可動関節25を回動させる必要が無く、撮像部28で撮像された撮像画像を連続してモニタ4で観察させることが可能となる。
なお、これまで図8に示すように、可動関節が体内に配置された実施形態について述べてきたが、可動関節は体外に配置されていても構わない。図21には、可動関節を体外に配置した実施形態が示されている。本実施形態の内視鏡システムは、内視鏡2は可動関節を有しておらず、トロッカー1の位置を変更可能なトロッカー位置制御部5を備えている。このトロッカー位置制御部5は、体外の床面などに設置された基台53、複数のアーム51a~51e、アーム51a~51e間を可動可能に接続する可動関節52a~52dを備えて構成されている。各可動関節52a~52dは、モータ等の駆動部によって回動可能である。各可動関節52a~52dを回動させる駆動部は、コントローラ3の制御によって駆動される。
図21に示される内視鏡システムでは、トロッカー位置制御部5に対する制御によって、トロッカー1の刺入点(トロッカー1が体表B上で挿入される位置)周りでトロッカー1を回動させ、患者の体表Bに負担をかけることなく動作させることが可能である。コントローラ3は、トロッカー位置制御部5を制御し、トロッカー1を刺入点の周りで回動させることで、内視鏡2の挿入角度を変化させ、内視鏡2の先端に設けられた撮像部28の視軸方向を変化させる。したがって、本実施形態の内視鏡システムにおいても、前述した実施形態と同様、可動関節52a~52dを回動させることで、内視鏡2の視軸を移動させることが可能である。このトロッカー位置制御部5中の可動関節52a~52dに対する制御量によって、内視鏡2の傾斜角、進退量、回転量を取得することが可能である。取得した内視鏡2の傾斜角、進退量、回転量に応じた測距制御量と、移動処理実行前に撮像した第1の撮像画像と、移動処理実行中に撮像した第2の撮像画像に基づいて、測距対象までの距離を算出することが可能である。
以上、本発明のある態様に係る実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となる。
1…トロッカー、111…上部筐体、112…下部筐体、113…筒部、114…ケーブル、115…挿通孔、116…結合部材、12…トロッカーセンサー、121…傾斜角検出センサー、122…進退量検出センサー、122a…進退量検出ローラ、122b…フォトセンサー、123…回転量検出センサー、123a…回転量検出ローラ、123b…フォトセンサー、13…通信部、2…医療用器具(内視鏡)、2’…医療用器具(鉗子)、21…入力部、21a…方向入力部、21b…測距指示部、22…駆動部、24a…第1シャフト、24b…第2シャフト、24c…第3シャフト、25…可動関節、25a…第1可動関節、25b…第2可動関節、28…先端把持部(エンドエフェクタ)、28…撮像部、3…コントローラ、31…制御部、32…メモリ、4…モニタ、5…トロッカー位置制御部、51a~51e…アーム、52a~52d…可動関節、53…基台
Claims (10)
- 可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、入力部からの方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する
内視鏡による距離測定方法。 - 前記測距処理は、前記移動処理の実行後、前記可動関節を前記移動前の状態に復帰させる復帰処理を実行する
請求項1に記載の内視鏡による距離測定方法。 - 前記測距処理は、前記測距制御量に基づき前記撮像部の視軸角度を変更する
請求項1に記載の内視鏡による距離測定方法。 - 前記測距処理は、前記測距制御量に基づき前記撮像部の視軸を平行移動させる
請求項1に記載の内視鏡による距離測定方法。 - 前記測距処理は、前記移動処理実行中に撮像した複数の撮像画像から前記第2の撮像画像を決定する
請求項1に記載の内視鏡による距離測定方法。 - 前記測距処理は、測距試行処理で算出された距離に応じた測距制御量を使用する
請求項1に記載の内視鏡による距離測定方法。 - 前記測距処理は、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に加え、検出部で検出された前記内視鏡の移動量を使用して、測距対象までの距離を算出する
請求項1に記載の内視鏡による距離測定方法。 - 可動関節により撮像部の視軸を移動可能とする内視鏡による距離測定方法であって、
追従撮像処理と、測距処理を実行可能とし、
前記追従撮像処理は、設定されている追従基準面に対して、前記撮像部の視軸が所定角度を有するように前記可動関節を制御するととともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、前記追従撮像処理中に撮像した第1の撮像画像及び第2の撮像画像、及び、前記第1の撮像画像を取得した時点と前記第2の撮像画像を取得した時点の間の前記内視鏡の移動量を使用して、測距対象までの距離を算出する
内視鏡による距離測定方法。 - 前記可動関節は、複数位置で可動可能である
請求項1から8の何れか1項に記載の内視鏡による距離測定方法。 - 撮像部と、可動関節と、入力部と、制御部を備え、
前記撮像部は、撮像により撮像画像を取得可能とし、
前記可動関節は、制御部の指示に基づいて前記撮像部の視軸を移動可能とし、
前記入力部は、前記可動関節の方向指示を入力可能とし、
制御部は、撮像処理と、測距処理を切り替えて実行可能とし、
前記撮像処理は、前記入力部の方向指示に基づいて前記可動関節を制御し、前記撮像部の視軸を移動させるとともに、前記撮像部が取得した撮像画像を出力し、
前記測距処理は、測距制御量に基づき前記可動関節を制御して前記撮像部の視軸を移動させる移動処理を実行するとともに、前記移動処理実行前に撮像した第1の撮像画像と、
前記移動処理実行中に撮像した第2の撮像画像を取得し、前記第1の撮像画像と前記第2の撮像画像と前記測距制御量に基づいて測距対象までの距離を算出する
内視鏡システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480070843.7A CN105848552B (zh) | 2013-12-26 | 2014-11-17 | 基于内窥镜的距离测定方法和内窥镜系统 |
EP14874391.7A EP3097838A4 (en) | 2013-12-26 | 2014-11-17 | Method for measuring distance using endoscope, and endoscope system |
US15/191,685 US10441146B2 (en) | 2013-12-26 | 2016-06-24 | Method of measuring distance by an endoscope, and endoscope system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013269274A JP6091410B2 (ja) | 2013-12-26 | 2013-12-26 | 内視鏡装置の作動方法及び内視鏡システム |
JP2013-269274 | 2013-12-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/191,685 Continuation US10441146B2 (en) | 2013-12-26 | 2016-06-24 | Method of measuring distance by an endoscope, and endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015098353A1 true WO2015098353A1 (ja) | 2015-07-02 |
Family
ID=53478228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/080347 WO2015098353A1 (ja) | 2013-12-26 | 2014-11-17 | 内視鏡による距離測定方法及び内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10441146B2 (ja) |
EP (1) | EP3097838A4 (ja) |
JP (1) | JP6091410B2 (ja) |
CN (1) | CN105848552B (ja) |
WO (1) | WO2015098353A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017111188A1 (de) | 2016-06-29 | 2018-01-04 | Medical Intubation Technology Corporation | Endoskop mit Entfernungs-Bestimmungsfunktion und darin verwendetes Entfernungs-Bestimmunsverfahren |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103501678B (zh) * | 2011-01-28 | 2017-04-05 | 皇家飞利浦电子股份有限公司 | 用于内窥镜的相对跟踪的光学感测 |
EP2738756A1 (en) * | 2012-11-30 | 2014-06-04 | Surgical Science Sweden AB | User interface device for surgical simulation system |
WO2014157480A1 (ja) * | 2013-03-29 | 2014-10-02 | 富士フイルム株式会社 | 内視鏡下外科手術装置 |
CN105072976B (zh) * | 2013-03-29 | 2017-05-17 | 富士胶片株式会社 | 内窥镜下外科手术装置 |
EP2979615B1 (en) * | 2013-03-29 | 2019-11-27 | FUJIFILM Corporation | Device for endoscopic surgery |
EP2811479B1 (en) * | 2013-06-07 | 2017-08-02 | Surgical Science Sweden AB | A user interface for a surgical simulation system |
JP2015107249A (ja) * | 2013-12-05 | 2015-06-11 | オリンパス株式会社 | 内視鏡の制御方法及び内視鏡システム |
JP6218991B2 (ja) | 2015-11-13 | 2017-10-25 | オリンパス株式会社 | 内視鏡の状態推定装置の作動方法および内視鏡システム |
WO2018165320A1 (en) * | 2017-03-07 | 2018-09-13 | Intuitive Surgical Operations, Inc. | Systems and methods for controlling tool with articulatable distal portion |
US10709311B2 (en) * | 2017-05-11 | 2020-07-14 | Montane Medical Corporation | Video laryngoscope with monitor stabilization |
CN107389026B (zh) * | 2017-06-12 | 2019-10-01 | 江苏大学 | 一种基于固定点射影变换的单目视觉测距方法 |
JP7228781B2 (ja) * | 2017-10-31 | 2023-02-27 | パナソニックIpマネジメント株式会社 | 浄化装置及び浄化方法 |
WO2019087745A1 (ja) * | 2017-10-31 | 2019-05-09 | パナソニックIpマネジメント株式会社 | 浄化装置及び浄化方法 |
US11612306B2 (en) * | 2017-11-01 | 2023-03-28 | Sony Corporation | Surgical arm system and surgical arm control system |
EP3510925A1 (en) * | 2018-01-10 | 2019-07-17 | Universite Libre De Bruxelles | Endoscopic non-contact measurement device |
US11229492B2 (en) * | 2018-10-04 | 2022-01-25 | Biosense Webster (Israel) Ltd. | Automatic probe reinsertion |
WO2020070883A1 (ja) * | 2018-10-05 | 2020-04-09 | オリンパス株式会社 | 内視鏡システム |
CN109222981B (zh) * | 2018-11-21 | 2024-02-27 | 北京大学第三医院 | 用于腹腔镜手术的测量标记器械 |
CN109602386A (zh) * | 2019-02-15 | 2019-04-12 | 沈阳智能机器人国家研究院有限公司 | 一种照明腹腔镜及其控制方法 |
CN113784682B (zh) * | 2019-03-07 | 2024-09-20 | 普罗赛普特生物机器人公司 | 用于组织切除和成像的机器人臂和方法 |
CN110368077A (zh) * | 2019-08-22 | 2019-10-25 | 福建骏格科技有限公司 | 可视化胸腹腔穿刺引流系统 |
US20210113275A1 (en) * | 2019-10-18 | 2021-04-22 | Medtech S.A. | Depth control instrument guide for robotic surgery |
US20220104695A1 (en) * | 2020-10-02 | 2022-04-07 | Verb Surgical Inc. | Endoscope for sensing trocars, compatible cannulas, instruments and accessories |
US11627243B2 (en) * | 2021-07-23 | 2023-04-11 | Phaox LLC | Handheld wireless endoscope image streaming apparatus |
DE102021119481A1 (de) * | 2021-07-27 | 2023-02-02 | Karl Storz Se & Co. Kg | Messverfahren und eine Messvorrichtung |
US20230087044A1 (en) * | 2021-09-22 | 2023-03-23 | Titan Medical Inc. | Systems, methods, and apparatuses for cleaning a camera during a medical procedure |
CN114767236B (zh) * | 2022-06-24 | 2022-09-02 | 北京微刀医疗科技有限公司 | 光输出穿刺针、光感应穿刺针和穿刺距离测量系统 |
CN116563525B (zh) * | 2023-07-10 | 2023-10-20 | 浙江华诺康科技有限公司 | 内窥镜运行轨迹指示方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63246716A (ja) * | 1986-11-13 | 1988-10-13 | Olympus Optical Co Ltd | 内視鏡画像取込み方法および内視鏡装置 |
JPH0380824A (ja) | 1989-08-22 | 1991-04-05 | Olympus Optical Co Ltd | 測定内視鏡装置 |
JPH0341420B2 (ja) | 1983-11-12 | 1991-06-24 | ||
JPH067289A (ja) * | 1992-03-27 | 1994-01-18 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2000210248A (ja) * | 1999-01-27 | 2000-08-02 | Agency Of Ind Science & Technol | 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4895431A (en) * | 1986-11-13 | 1990-01-23 | Olympus Optical Co., Ltd. | Method of processing endoscopic images |
US5253647A (en) * | 1990-04-13 | 1993-10-19 | Olympus Optical Co., Ltd. | Insertion position and orientation state pickup for endoscope |
US5347987A (en) * | 1991-04-08 | 1994-09-20 | Feldstein David A | Self-centering endoscope system |
US5159446A (en) * | 1991-06-21 | 1992-10-27 | Olympus Optical Co., Ltd. | Electronic endoscope system provided with a separate camera controlling unit and motor controlling unit |
JPH0549599A (ja) * | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | 電子内視鏡装置 |
US6858005B2 (en) * | 2000-04-03 | 2005-02-22 | Neo Guide Systems, Inc. | Tendon-driven endoscope and methods of insertion |
US6468203B2 (en) * | 2000-04-03 | 2002-10-22 | Neoguide Systems, Inc. | Steerable endoscope and improved method of insertion |
JP2003244500A (ja) * | 2002-02-13 | 2003-08-29 | Pentax Corp | ステレオ画像撮像装置 |
US20040199053A1 (en) * | 2003-04-01 | 2004-10-07 | Scimed Life Systems, Inc. | Autosteering vision endoscope |
EP1607716A3 (en) | 2004-06-18 | 2012-06-20 | Topcon Corporation | Model forming apparatus and method, and photographing apparatus and method |
JP4588369B2 (ja) | 2004-06-18 | 2010-12-01 | 株式会社トプコン | 撮影装置及び撮影方法 |
-
2013
- 2013-12-26 JP JP2013269274A patent/JP6091410B2/ja active Active
-
2014
- 2014-11-17 CN CN201480070843.7A patent/CN105848552B/zh active Active
- 2014-11-17 WO PCT/JP2014/080347 patent/WO2015098353A1/ja active Application Filing
- 2014-11-17 EP EP14874391.7A patent/EP3097838A4/en not_active Withdrawn
-
2016
- 2016-06-24 US US15/191,685 patent/US10441146B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0341420B2 (ja) | 1983-11-12 | 1991-06-24 | ||
JPS63246716A (ja) * | 1986-11-13 | 1988-10-13 | Olympus Optical Co Ltd | 内視鏡画像取込み方法および内視鏡装置 |
JPH0380824A (ja) | 1989-08-22 | 1991-04-05 | Olympus Optical Co Ltd | 測定内視鏡装置 |
JPH067289A (ja) * | 1992-03-27 | 1994-01-18 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2000210248A (ja) * | 1999-01-27 | 2000-08-02 | Agency Of Ind Science & Technol | 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3097838A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017111188A1 (de) | 2016-06-29 | 2018-01-04 | Medical Intubation Technology Corporation | Endoskop mit Entfernungs-Bestimmungsfunktion und darin verwendetes Entfernungs-Bestimmunsverfahren |
US10151913B2 (en) | 2016-06-29 | 2018-12-11 | Medical Intubation Technology Corporation | Endoscope with distance measurement function and distance measurement method used in same |
DE102017111188B4 (de) | 2016-06-29 | 2022-08-18 | Medical Intubation Technology Corporation | Endoskop mit Entfernungs-Bestimmungsfunktion und darin verwendetes Entfernungs-Bestimmunsverfahren |
Also Published As
Publication number | Publication date |
---|---|
JP6091410B2 (ja) | 2017-03-08 |
US10441146B2 (en) | 2019-10-15 |
EP3097838A1 (en) | 2016-11-30 |
JP2015123201A (ja) | 2015-07-06 |
US20160302653A1 (en) | 2016-10-20 |
EP3097838A4 (en) | 2017-10-25 |
CN105848552B (zh) | 2018-08-07 |
CN105848552A (zh) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6091410B2 (ja) | 内視鏡装置の作動方法及び内視鏡システム | |
JP7295153B2 (ja) | 遠隔操作医療システムにおける器具のオフスクリーン表示のためのシステム及び方法 | |
JP7229319B2 (ja) | 手術支援装置、その制御方法、プログラム並びに手術支援システム | |
WO2018159338A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
JP6091370B2 (ja) | 医療システム及び医療用器具制御方法 | |
CN110200702B9 (zh) | 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法 | |
WO2017169823A1 (ja) | 画像処理装置および方法、手術システム並びに手術用部材 | |
JP6120715B2 (ja) | 医療システム | |
WO2015083526A1 (ja) | 内視鏡の制御方法及び内視鏡システム | |
JP6931420B2 (ja) | 手術ロボットシステム | |
WO2018159336A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
IL273356B2 (en) | Interactive guidance and manipulation detection for a surgical robotic system | |
EP2765899B1 (en) | Stereoscopic endoscope device | |
CN113645919A (zh) | 医疗臂系统、控制装置和控制方法 | |
JP5826727B2 (ja) | 医用システム | |
US20220400938A1 (en) | Medical observation system, control device, and control method | |
KR101284087B1 (ko) | 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 그 수술용 로봇의 제어방법, 그 수술용 로봇의 위치 및 각도 분석시스템 및 그 수술용 로봇의 제어 시스템 | |
EP3111878A1 (en) | Surgery system and method of avoiding interference with medical instrument | |
JP6385528B2 (ja) | 医療システム及び医療システムの作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14874391 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2014874391 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014874391 Country of ref document: EP |