WO2020012576A1 - 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置 - Google Patents

内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置 Download PDF

Info

Publication number
WO2020012576A1
WO2020012576A1 PCT/JP2018/026181 JP2018026181W WO2020012576A1 WO 2020012576 A1 WO2020012576 A1 WO 2020012576A1 JP 2018026181 W JP2018026181 W JP 2018026181W WO 2020012576 A1 WO2020012576 A1 WO 2020012576A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
fixed point
motion vector
control device
bending
Prior art date
Application number
PCT/JP2018/026181
Other languages
English (en)
French (fr)
Inventor
謙介 上杉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/026181 priority Critical patent/WO2020012576A1/ja
Priority to CN201880095017.6A priority patent/CN112351722A/zh
Priority to JP2020529895A priority patent/JP7135087B2/ja
Publication of WO2020012576A1 publication Critical patent/WO2020012576A1/ja
Priority to US17/142,516 priority patent/US20210121250A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052—Constructional details of control elements, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors

Definitions

  • the present invention relates to an endoscope system, an endoscope calibration method, and an endoscope control device.
  • An endoscope that performs a so-called centering operation that automatically operates a bending portion provided at a distal end of an insertion portion in a straightened state is known (for example, see Patent Document 1).
  • the rotation amount of each motor for operating the bending portion is detected by a potentiometer, the remaining bending angle is estimated based on the detected rotation amount, and the estimated remaining bending angle is calculated. Only the motor is operating.
  • An object of the present invention is to provide an endoscope system, a calibration method for an endoscope, and a control device for an endoscope that can accurately linearize a curved portion.
  • One embodiment of the present invention is a long section having a longitudinal axis, an imaging section provided at a tip of the long section, a bending section that changes an inclination angle of the imaging section with respect to the long section, A drive unit that drives the unit, a rotation drive unit that rotates the long part around the longitudinal axis, and a control device that processes an image acquired by the imaging unit.
  • the plurality of captured images are acquired from the imaging unit, and the positions of fixed points on the images are calculated based on the acquired plurality of images.
  • an endoscope system that determines a direction located at the center of the image from the calculated position of the fixed point.
  • the long section is inserted into the body from the imaging section, the rotation driving section is operated to rotate the long section around the longitudinal axis, and the imaging section is operated during the rotation operation, and the imaging section is operated.
  • the rotation driving section is operated to rotate the long section around the longitudinal axis
  • the imaging section is operated during the rotation operation
  • the imaging section is operated.
  • the position of the fixed point on the image is calculated by the control device, and the direction at the center of the image is determined from the position of the fixed point.
  • the rotation operation by the rotation drive unit rotates the long part around the longitudinal axis
  • an image acquired over time by the imaging unit during the rotation operation is arranged on the extension of the longitudinal axis. Rotate around a fixed point. Therefore, the bending section can be driven by the bending drive section to determine the direction of the center of the image from the position of the fixed point, thereby accurately linearizing the bending section.
  • the control device sets a plurality of fixed point candidates based on the plurality of images, calculates a motion vector of each of the fixed point candidates during the rotation operation of the long portion, and calculates the motion vector.
  • the position of the fixed point candidate where the size of each of the motion vectors is minimized may be calculated as the position of the fixed point.
  • control device may calculate the position of the fixed point candidate, in which the magnitude of the motion vector is minimum and smaller than a predetermined threshold, as the position of the fixed point.
  • the control device when the magnitude of the motion vector is larger than the predetermined threshold, causes the bending drive section to intersect the bending section with the motion vector, and the motion vector is The bending portion may be operated in a direction in which the bending portion becomes smaller.
  • the apparatus further includes an advance / retreat drive unit that advances / retreats the elongated portion in the longitudinal axis direction, wherein the control device is configured to perform the advance / retreat drive when the magnitude of the motion vector is larger than the predetermined threshold.
  • the part may retreat the endoscope backward in the longitudinal direction.
  • control device may control the bending drive unit based on the determined direction.
  • the operation of the control device determines the direction from the fixed point located at the position where the motion vector becomes the smallest to the center of the image, and automatically linearizes the curved portion with high accuracy. it can.
  • control device may adjust an angle of the curved portion in a direction to reduce a calculated distance between the position of the fixed point and the center.
  • an information notification unit that notifies the direction determined by the control device may be provided.
  • the operator can operate the endoscope based on the notified information to bend the bending portion, and move from the fixed point located at the position where the motion vector is minimized to the center of the image.
  • the curved portion can be linearized with high precision by manually determining the direction in which it is located.
  • another aspect of the present invention is a method for calibrating an endoscope, wherein the endoscope has a long section having a longitudinal axis, and an imaging section provided at a tip of the long section, A bending section that changes the inclination angle of the imaging section with respect to the long section, during rotation operation of the long section, acquires a plurality of images taken by the imaging section, and acquires the plurality of acquired Based on the image, calculate the position of the fixed point on the image, determine the direction located at the center of the image from the calculated position of the fixed point, based on the determined direction, the bending portion A working endoscope calibration method.
  • a plurality of fixed point candidates are set, a motion vector of each of the fixed point candidates during the rotation operation of the long portion is calculated, and each of the calculated motion vectors is calculated. May be calculated as the position of the fixed point.
  • the position of the fixed point candidate in which the size of the motion vector is minimum and smaller than a predetermined threshold may be calculated as the position of the fixed point.
  • the bending section intersects the motion vector, and operates the bending section in a direction in which the motion vector decreases. You may let it. Further, in the above aspect, when the magnitude of the motion vector is larger than the predetermined threshold, the endoscope may be moved backward in the longitudinal direction of the endoscope.
  • another aspect of the present invention is a control device for an endoscope, comprising one or more processors, wherein the processor rotates a long portion of the endoscope by a rotation driving unit of the endoscope.
  • the processor rotates a long portion of the endoscope by a rotation driving unit of the endoscope.
  • a plurality of captured images are acquired by the imaging unit of the endoscope, and a position of a fixed point on the image is calculated based on the obtained plurality of images, and the calculated fixed point is calculated.
  • a control device for an endoscope that determines a direction located at the center of the image from the position of the endoscope.
  • the processor sets a plurality of fixed point candidates based on the plurality of images, calculates a motion vector of each of the fixed point candidates during the rotation operation of the long portion, and calculates the motion vector.
  • the position of the fixed point candidate where the size of each of the motion vectors is minimum may be calculated as the position of the fixed point.
  • the processor may calculate the position of the fixed point candidate where the size of the motion vector is minimum and smaller than a predetermined threshold as the position of the fixed point.
  • the processor when the magnitude of the motion vector is larger than the predetermined threshold, the processor intersects the bending portion of the endoscope with the motion vector, and the motion vector decreases.
  • the bending portion may be operated in the direction.
  • the processor may cause the endoscope to retreat backward in the longitudinal axis direction of the long part when the magnitude of the motion vector is larger than the predetermined threshold.
  • FIG. 1 is an overall configuration diagram illustrating an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an insertion portion of an endoscope provided in the endoscope system of FIG. 1 and feature points of a subject.
  • FIG. 3 is a diagram illustrating an example of an image acquired by an imaging unit of the endoscope in FIG. 2.
  • FIG. 3 is a diagram illustrating an example of an image acquired when the insertion unit is rotated around the longitudinal axis by 90 ° from the state illustrated in FIG. 2.
  • FIG. 3 is a diagram illustrating an example of an image acquired when the insertion unit is rotated by 180 ° around a longitudinal axis from the state illustrated in FIG. 2.
  • FIG. 2 is a diagram illustrating an example of an insertion portion of an endoscope provided in the endoscope system of FIG. 1 and feature points of a subject.
  • FIG. 3 is a diagram illustrating an example of an image acquired by an imaging unit of the endoscope in FIG.
  • FIG. 3 is a diagram illustrating an example of an image acquired when the insertion unit is rotated around the longitudinal axis by 270 ° from the state illustrated in FIG. 2.
  • FIG. 7 is a diagram illustrating an example of a motion vector for each feature point calculated from the images of FIGS. 3 to 6.
  • 2 is a flowchart illustrating a method of calibrating an endoscope using the endoscope system of FIG. 1.
  • 9 is a flowchart illustrating a fixed point detection step in FIG. 8.
  • 9 is a flowchart illustrating a bending section driving step in FIG. 8. It is a flowchart explaining the modification of the bending part drive step of FIG. It is a figure showing an example of an endoscope provided with a control device.
  • FIG. 4 is an overall configuration diagram showing a modification of the endoscope system in FIG. 1.
  • an endoscope system 1 includes an endoscope 2 which is inserted into a body cavity X of a patient and acquires an image G (see FIG. 3) in the body cavity X;
  • the robot includes a robot 3 capable of adjusting the position and orientation of the mirror 2 and a control device 10 for processing an image G obtained by the endoscope 2.
  • the endoscope 2 includes a long insertion portion (long portion) 5 inserted through a hole formed in a patient's body wall, an imaging unit 6 provided at a distal end of the insertion unit 5, and an imaging unit 6.
  • the robot 3 may be a general-purpose six-axis articulated robot that supports the endoscope 2 at the tip of the wrist.
  • the robot 3 and the endoscope 2 are connected to a control device 10, and an operation device 11 is connected to the control device 10.
  • the operation device 11 is a device that is operated when the operator remotely controls the endoscope 2 and the robot 3, and can perform input for instructing start of calibration.
  • the control device 10 activates the endoscope 2 by operating the roll motor 9 of the endoscope 2 when an input for instructing the start of calibration is performed from the operation device 11. Then, the control device 10 acquires a plurality of images G during the rotation operation of the insertion section 5 around the longitudinal axis K.
  • the control device 10 is configured by a computer including a processor and a memory.
  • the control device 10 processes the input plurality of images G, thereby The position of the point is calculated, and the bending motor 8 is operated based on the information that brings the calculated position of the fixed point closer to the center position (center) P of the image G.
  • the plurality of images G at least a plurality of images G having different timings of rotation angle positions may be obtained. More specifically, during the rotation operation of the insertion unit 5, a plurality of images G are acquired for each frame rate of the imaging unit 6 (the images G are acquired over time). Alternatively, an arbitrary time interval or a random time interval may be set in advance by mounting a timer function in the control device 10, and a plurality of images G may be acquired at that timing. Alternatively, the rotation angle of the insertion section 5 may be obtained from an encoder (not shown) of the roll motor 9, and a plurality of images G may be obtained for each predetermined rotation angle based on the detection value of the encoder.
  • the imaging unit 6 causes the imaging unit 6 to perform the processing as illustrated in FIG.
  • An image G is obtained. From this state, when the roll motor 9 is operated to rotate the endoscope 2 once around the longitudinal axis K of the insertion section 5, an image G is acquired by the imaging section 6 at every predetermined angle, for example, every 90 °. A total of four images G shown in FIGS. 3 to 6 are obtained.
  • the control device 10 calculates a motion vector of each feature point.
  • the characteristic point arranged on the extension of the longitudinal axis K of the insertion section 5 is that even if the insertion section 5 rotates while the bending section 7 is curved, the image G Since they are arranged at the same position, the size of the motion vector becomes the smallest.
  • the control device 10 calculates a motion vector of each feature point between two images G adjacent in the time axis direction, and sums the magnitudes of the calculated motion vectors. This makes it possible to detect a feature point at which the sum of the magnitudes of the calculated motion vectors is the smallest as a fixed point.
  • the control device 10 moves the fixed point to the center position P of the image G as information for bringing the calculated position of the fixed point closer to the center position P of the image G.
  • the amount of drive of the bending motor 8 required for the calculation is calculated.
  • the control device 10 operates the bending section 7 by driving the bending motor 8 based on the driving amount. Thereby, the curved portion 7 can be brought close to a state of extending linearly along the longitudinal axis K of the insertion portion 5.
  • the calibration method according to the present embodiment is a method of arranging the curved portion 7 in a state of extending linearly along the longitudinal axis K of the insertion portion 5, and as shown in FIG. And a bending section driving step S2 for bending the bending section 7 based on the calculated fixed point position.
  • the acquired image G is sent to the control device 10 to extract a plurality of feature points (step S103), and the sent image G and the coordinates of the extracted feature points are stored (step S104). It is determined whether or not the counter has reached a predetermined number A (step S105). If not, the roll motor 9 is operated to rotate the insertion section 5 about the longitudinal axis K by a predetermined angle ⁇ . Is performed (step S106).
  • the predetermined angle ⁇ may be smaller than 180 °.
  • step S105 the sum S of the magnitudes of the motion vectors calculated so far is calculated for each feature point (step S111). Then, the sum S of the magnitudes of the motion vectors calculated for each feature point is compared, and the feature point having the smallest sum Smin is extracted (step S112). Then, it is determined whether or not the calculated minimum sum Smin is smaller than a predetermined threshold B (step S113). If the calculated minimum sum Smin is smaller than the predetermined threshold B, the feature point having the minimum sum Smin is determined as a fixed point. Detect and store the coordinates (step S114). If the minimum sum Smin is equal to or larger than the predetermined threshold value B, there is a possibility that no fixed point exists on the image G. Therefore, after the bending portion 7 is operated (Step S115), the processes from Step S101 are repeated. .
  • the bending section 7 bends in a direction in which the tip moves from the center position P of the image G toward a feature point having the minimum sum Smin of motion vectors. It is a way to make it.
  • a fixed point is searched for while bending the bending portion 7 by a predetermined angle in an arbitrary direction without estimating the direction of the fixed point. And the same processing is repeated.
  • the bending section driving step S ⁇ b> 2 first determines the fixed point from the center position P of the image G based on the calculated coordinates of the position of the fixed point and the coordinates of the center position P of the image G. Then, a distance L is calculated (step S201). It is determined whether or not the calculated distance L is equal to or smaller than a predetermined threshold Th (step S202). If the calculated distance L is equal to or smaller than the threshold Th, the process ends. If it is larger than the threshold Th, the direction of the fixed point with respect to the center position P of the image G is determined (step S203).
  • step S203 it is determined whether or not the fixed point is in the vertical direction with respect to the center position P of the image G. If it is in the vertical direction, it is determined whether or not it is in the upward direction (step S204). If it does not exist in the upward direction, it can be determined that the bending section 7 is bending upward with respect to the longitudinal axis K of the insertion section 5, and the control device 10 controls the bending motor 8 to It is operated downward by a predetermined angle (step S205).
  • step S206 when the fixed point exists upward with respect to the center position P of the image G, it can be determined that the bending portion 7 is bending downward with respect to the longitudinal axis K of the insertion portion 5, and the control device 10 Moves the bending portion 7 upward by a predetermined angle (step S206).
  • step S207 when it is determined in step 203 that it is not in the vertical direction, it is determined whether it is in the left direction (step S207). It can be determined that it is curved leftward with respect to the longitudinal axis K, and the control device 10 operates the bending portion 7 rightward by a predetermined angle (step S208). On the other hand, when the fixed point is present in the left direction with respect to the center position P of the image G, it can be determined that the bending portion 7 is bending rightward with respect to the longitudinal axis K of the insertion portion 5, and the control device 10 Operates the bending portion 7 leftward by a predetermined angle (step S209). After steps S205, S206, S208, and S209 are completed, the steps from step S201 are repeated. Then, when it is determined in step S202 that the distance L is equal to or smaller than the threshold Th, the calibration operation ends.
  • the insertion unit 5 of the endoscope 2 is connected to the imaging unit 6 provided at the distal end. Then, the insertion unit 5 is rotated around the longitudinal axis K by operating the roll motor 9 and the imaging unit 6 is operated during the rotation operation to acquire a plurality of images G. Then, by processing the plurality of acquired images G in the control device 10, the position of the fixed point on the image G is calculated, and information for bringing the position of the fixed point closer to the center position P of the image G is obtained. .
  • the control device 10 drives the bending portion 7 by operating the bending motor 8 based on the information to bring the position of the fixed point closer to the center position P of the image G. That is, the direction in which the image G is located at the center position P of the image G can be determined from the position of the fixed point, whereby the curved portion 7 can be linearized accurately.
  • the drive angle of the bending motor 8 may be calculated based on the calculated distance L (Step S210).
  • the drive angle D of the bending motor 8 may be calculated by multiplying the distance L by a constant C.
  • the endoscope system 1 in which the control device 10 controls the robot 3 and the endoscope 2 according to the operation of the operation device 11 is illustrated, but the present invention is not limited to this.
  • the endoscope 2 may be supported by a support device such as a surgical arm that holds the position and posture of the endoscope 2.
  • the endoscope 2 includes a manual handle (rotation drive unit: see FIG. 12) 22 for rotating the insertion unit 5 about the longitudinal axis K and a manual handle (curve drive unit: see FIG. 12) for bending the bending unit 7. ) 23 may be provided.
  • an information notifying unit (see FIG. 12) 20 for notifying the information output from the control device 10 to bring the position of the fixed point closer to the center position P of the image G may be provided.
  • the information notification unit 20 any notification means such as a display and a speaker can be adopted.
  • a character such as “Please bend rightward by 5 °” may be displayed as information for bringing the position of the fixed point closer to the center position P of the image G.
  • the control device 10 processes the acquired image G, and causes the position of the fixed point to approach the center position P of the image G. be able to.
  • the angle may not be specified, and only the direction of the bending may be notified.
  • handles 22 and 23 a control device 10, a roll motor 9 and a bending motor 8 are provided on the endoscope 2 itself supported by the operator.
  • the present invention may be applied to the provided manual endoscope system 21.
  • the bending section 7 when the position of the fixed point is not calculated in the image G, the bending section 7 is caused to perform the bending operation so that the field of view of the endoscope 2 is moved to the position where the fixed point is captured in the image G. Instead of moving the range, the endoscope 2 is moved backward in a direction along the longitudinal axis K of the insertion section 5 by a robot (advancing / retracting drive) 3 or the like, thereby expanding the field of view. Thus, the fixed point may be taken into the image G. Accordingly, since the bending section 7 does not need to be operated, when the operating space of the bending section 7 at the distal end of the insertion section 5 is narrow, the position of the fixed point can be calculated while avoiding interference with surrounding tissues. .
  • a six-axis articulated robot is illustrated, but instead, the endoscope 2 is attached to the distal end of the four-axis robot and the longitudinal axis K of the insertion portion 5 as shown in FIG.
  • a robot 3 having a linear motion shaft (advancing / retracting drive unit) 30 that advances / retreats along the direction may be employed. Thereby, the endoscope 2 can be more easily advanced and retracted in the longitudinal axis direction of the insertion section 5.
  • the bending portion 7 is individually bent in four directions of up, down, left, and right in order to match the center position P of the image G with the fixed point.
  • the bending operation of the directions may be combined, and the bending section 7 may be bent in a direction that intersects the calculated motion vector and decreases the motion vector.
  • control device 10 that controls the endoscope 2 and executes image processing has been described as an example.
  • control device 10 may control the endoscope 2 and perform image processing.
  • the one provided separately from the one to be executed may be adopted.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

長手軸を有する長尺部（５）と、長尺部（５）の先端に備えられた撮像部（６）と、撮像部（６）の長尺部（５）に対する傾斜角度を変化させる湾曲部（７）と、湾曲部（７）を駆動する湾曲駆動部（８）と、長尺部（５）を長手軸回りに回転させる回転駆動部（９）と、撮像部（６）により取得された画像を処理する制御装置（１０）とを備え、制御装置（１０）は、回転駆動部（９）による長尺部（５）の回転動作中に、撮像された複数の画像を撮像部（６）から取得し、取得された複数の画像に基づいて、画像上における不動点の位置を算出し、算出された不動点の位置から画像の中心に位置する方向を決定する内視鏡システム（１）である。

Description

内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置
　本発明は、内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置に関するものである。
　挿入部の先端に備えられた湾曲部を真っ直ぐに延ばした状態に自動的に動作させる、いわゆるセンタリング動作を行う内視鏡が知られている（例えば、特許文献１参照。）。
　特許文献１の内視鏡においては、湾曲部を動作させるための各モータの回転量をポテンショメータにより検出し、検出された回転量に基づいて湾曲残り角度を推定し、推定された湾曲残り角度分だけモータを動作させている。
特開２００２－３２３６６１号公報
　しかしながら、特許文献１の内視鏡においては、モータの回転量に基づいて推定された湾曲残り角度だけ補正しているため、現実に湾曲部を直線化できたか否かについては明確ではない。
　本発明は、湾曲部を精度よく直線化することができる内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置を提供することを目的としている。
　本発明の一態様は、長手軸を有する長尺部と、該長尺部の先端に備えられた撮像部と、該撮像部の前記長尺部に対する傾斜角度を変化させる湾曲部と、該湾曲部を駆動する湾曲駆動部と、前記長尺部を前記長手軸回りに回転させる回転駆動部と、前記撮像部により取得された画像を処理する制御装置とを備え、該制御装置は、前記回転駆動部による前記長尺部の回転動作中に、撮像された複数の前記画像を前記撮像部から取得し、取得された複数の前記画像に基づいて、該画像上の不動点の位置を算出し、算出された前記不動点の位置から前記画像の中心に位置する方向を決定する、内視鏡システムである。
　本態様によれば、長尺部を撮像部から体内に挿入し、回転駆動部を動作させて長尺部を長手軸回りに回転させるとともに、回転動作中に撮像部を作動させて、撮像部によって撮像された複数の画像を取得させる。取得された複数の画像に基づいて、制御装置によって画像上における不動点の位置が算出され、不動点の位置から画像の中心に位置する方向が決定される。
　すなわち、回転駆動部による回転動作は、長尺部を長手軸回りに回転させるので、回転動作中に撮像部により経時的に取得される画像は、長手軸の延長上に配置される点である不動点の回りに回転する。したがって、湾曲駆動部により湾曲部を駆動して、不動点の位置から画像の中心に位置する方向を決定することができ、これにより、湾曲部を精度よく直線化することができる。
　上記態様においては、前記制御装置は、複数の前記画像に基づいて、複数の不動点候補を設定し、各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出してもよい。
　この構成により、画像内に不動点が存在する場合には、不動点の位置を精度よく算出することができる。したがって、精度よく算出された不動点の位置から画像の中心に位置する方向を決定することでき、これにより、湾曲部を精度よく直線化することができる。
　また、上記態様においては、前記制御装置は、前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出してもよい。
　この構成により、画像内に不動点が存在しない場合に、動きベクトルの大きさが最小となる不動点候補が不動点として誤検出されることを防止できる。
　また、上記態様においては、前記制御装置は、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記湾曲駆動部により前記湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させてもよい。
　この構成により、動きベクトルが最も小さくなる位置に配置されている不動点を画像内に引き込んで、不動点の位置の算出を行わせることができる。
　また、上記態様においては、前記長尺部を前記長手軸方向に進退させる進退駆動部をさらに備え、前記制御装置は、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記進退駆動部が、内視鏡を前記長手軸方向後方に後退させてもよい。
　この構成により、長尺部を長手軸方向後方に後退させることにより、視野範囲が拡大するので、画像の外側にはみ出している不動点を画像内に引き込むことができる。
　また、上記態様においては、前記制御装置は、決定された前記方向に基づいて前記湾曲駆動部を制御してもよい。
　この構成により、制御装置の作動により、動きベクトルが最も小さくなる位置に配置されている不動点から画像の中心に位置する方向を決定して自動的に、湾曲部を精度よく直線化することができる。
　また、上記態様においては、前記制御装置は、算出された前記不動点の位置と前記中心との距離を小さくする方向に前記湾曲部の角度を調節してもよい。
　この構成により、動きベクトルが最も小さくなる位置に配置されている不動点から画像の中心に位置する方向を決定し、湾曲部を精度よく直線化することができる。
　また、上記態様においては、前記制御装置により決定された前記方向を報知する情報報知部を備えていてもよい。
　この構成により、報知された情報に基づいて術者が内視鏡を操作して、湾曲部を湾曲させることができ、動きベクトルが最も小さくなる位置に配置されている不動点から画像の中心に位置する方向を決定して手動により、湾曲部を精度よく直線化することができる。
　また、本発明の他の態様は、内視鏡のキャリブレーション方法であって、前記内視鏡が、長手軸を有する長尺部と、該長尺部の先端に備えられた撮像部と、該撮像部の前記長尺部に対する傾斜角度を変化させる湾曲部とを備え、前記長尺部の回転動作中に、前記撮像部によって撮像された複数の画像を取得し、取得された複数の前記画像に基づいて、該画像上の不動点の位置を算出し、算出された該不動点の位置から前記画像の中心に位置する方向を決定し、決定された方向に基づいて、前記湾曲部を動作する、内視鏡のキャリブレーション方法である。
　上記態様においては、複数の前記画像に基づいて、複数の不動点候補を設定し、各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出してもよい。
　また、上記態様においては、前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出してもよい。
　また、上記態様においては、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させてもよい。
　また、上記態様においては、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡を該内視鏡における長手軸方向後方に後退させてもよい。
　また、本発明の他の態様は、内視鏡の制御装置であって、１以上のプロセッサを備え、該プロセッサは、前記内視鏡の回転駆動部による前記内視鏡の長尺部の回転動作中に、撮像された複数の画像を前記内視鏡の撮像部により取得し、取得された前記複数の画像に基づいて、画像上の不動点の位置を算出し、算出された前記不動点の位置から前記画像の中心に位置する方向を決定する、内視鏡の制御装置である。
　上記態様においては、前記プロセッサは、複数の前記画像に基づいて、複数の不動点候補を設定し、各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出してもよい。
　また、上記態様においては、前記プロセッサは、前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出してもよい。
　また、上記態様においては、前記プロセッサは、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡の湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させてもよい。
　また、上記態様においては、前記プロセッサは、前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡を前記長尺部の長手軸方向後方に後退させてもよい。
　本発明によれば、湾曲部を精度よく直線化することができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムを示す全体構成図である。 図１の内視鏡システムに備えられる内視鏡の挿入部と被写体における特徴点の一例を示す図である。 図２の内視鏡の撮像部により取得された画像例を示す図である。 図２の状態から挿入部を長手軸回りに９０°回転させたときに取得された画像例を示す図である。 図２の状態から挿入部を長手軸回りに１８０°回転させたときに取得された画像例を示す図である。 図２の状態から挿入部を長手軸回りに２７０°回転させたときに取得された画像例を示す図である。 図３から図６の画像から算出された特徴点毎の動きベクトルの一例を示す図である。 図１の内視鏡システムを用いた内視鏡のキャリブレーション方法を説明するフローチャートである。 図８の不動点の検出ステップを説明するフローチャートである。 図８の湾曲部駆動ステップを説明するフローチャートである。 図１０の湾曲部駆動ステップの変形例を説明するフローチャートである。 制御装置が備えられた内視鏡の一例を示す図である。 図１の内視鏡システムの変形例を示す全体構成図である。
　本発明の一実施形態に係る内視鏡システム１、内視鏡２のキャリブレーション方法および内視鏡２の制御装置１０について図面を参照して以下に説明する。
　本実施形態に係る内視鏡システム１は、図１に示されるように、患者の体腔Ｘ内に挿入され体腔Ｘ内の画像（図３参照）Ｇを取得する内視鏡２と、内視鏡２の位置および姿勢を調節可能なロボット３と、内視鏡２により取得された画像Ｇを処理する制御装置１０とを備えている。
　内視鏡２は、患者の体壁に形成された孔から挿入される長尺の挿入部（長尺部）５と、挿入部５の先端に備えられた撮像部６と、撮像部６による視野範囲の挿入部５の長手軸Ｋに対する傾斜角度を変化させる湾曲部７と、湾曲部７を駆動する湾曲モータ（湾曲駆動部）８と、挿入部５を長手軸Ｋ回りに回転させるロールモータ（回転駆動部）９とを備えている。
　ロボット３は、内視鏡２を手首先端に支持する汎用の６軸多関節型ロボットでよい。
　ロボット３および内視鏡２は制御装置１０に接続され、制御装置１０には操作装置１１が接続されている。
　操作装置１１は、操作者が内視鏡２およびロボット３を遠隔操作する際に操作する装置であり、キャリブレーションの開始を指示する入力を行うことができる。
　制御装置１０は、操作装置１１からキャリブレーションの開始を指示する入力が行われたときには、内視鏡２のロールモータ９を作動させることによって、内視鏡２を作動させる。その上で、制御装置１０は、挿入部５の長手軸Ｋ回りの回転動作中に、複数枚の画像Ｇを取得する。制御装置１０は、プロセッサおよびメモリを備えるコンピュータにより構成されている。
　制御装置１０は、挿入部５の長手軸Ｋ回りの回転動作中に取得された複数の画像Ｇが入力されてくると、入力された複数の画像Ｇを処理することにより、画像Ｇ上における不動点の位置を算出し、算出された不動点の位置を画像Ｇの中心位置（中心）Ｐに近づけさせる情報に基づいて湾曲モータ８を作動させる。
　なお、複数の画像Ｇは、少なくとも回転角度位置が異なるタイミングの画像Ｇが複数取得されればよい。より具体的には、挿入部５の回転動作中に、撮像部６のフレームレートごとに複数の画像Ｇを取得する（経時的に画像Ｇを取得する）。あるいは、制御装置１０にタイマー機能を実装することで、任意の時間間隔あるいはランダムな時間間隔を予め設定して、そのタイミングで複数の画像Ｇを取得してもよい。あるいは、ロールモータ９の図示しないエンコーダから挿入部５の回転角度を取得し、エンコーダの検出値に基づき、所定の回転角度ごとに複数の画像Ｇを取得することでもよい。
　ここで、不動点の位置の算出について説明する。
　図２に示されるように、被写体Ｏに複数の特徴点が存在する場合に、初期状態で湾曲部７が一方向に若干湾曲していると、撮像部６により、図３に示されるような画像Ｇが取得される。この状態から、ロールモータ９を作動させて内視鏡２を挿入部５の長手軸Ｋ回りに１回転させる間に、所定角度毎、例えば、９０°毎に撮像部６により画像Ｇを取得すると、図３から図６に示される合計４枚の画像Ｇが取得される。
　制御装置１０は、これらの画像Ｇが入力されてくると、各特徴点の動きベクトルを算出する。図７に示されるように、挿入部５の長手軸Ｋの延長上に配置されている特徴点は、湾曲部７が湾曲している状態で挿入部５が回転しても、画像Ｇ上の同じ位置に配置されているため、動きベクトルの大きさが最も小さくなる。制御装置１０は、時間軸方向に隣接する２枚の画像Ｇ間でそれぞれ、各特徴点の動きベクトルを算出し、算出された動きベクトルの大きさを合計する。これにより、算出された動きベクトルの大きさの合計が最も小さくなる特徴点を不動点として検出することができる。
　制御装置１０は、不動点の位置の座標が算出されたときには、算出された不動点の位置を画像Ｇの中心位置Ｐに近づけさせる情報として、不動点を画像Ｇの中心位置Ｐに移動させるために必要な湾曲モータ８の駆動量を算出する。制御装置１０は駆動量に基づいて湾曲モータ８を駆動することにより、湾曲部７を作動させる。これにより、湾曲部７を挿入部５の長手軸Ｋに沿って直線状に延びる状態に近接させることができる。
　次に、本実施形態の内視鏡システム１における内視鏡２のキャリブレーション方法について説明する。
　本実施形態に係るキャリブレーション方法は、湾曲部７を挿入部５の長手軸Ｋに沿って直線状に延びる状態に配置する方法であって、図８に示されるように、まず、画像Ｇ内における不動点の位置を算出する不動点検出ステップＳ１と、算出された不動点位置に基づいて、湾曲部７を湾曲動作させる湾曲部駆動ステップＳ２とを含んでいる。
　不動点検出ステップＳ１は、図９に示されるように、操作装置１１においてキャリブレーションを開始する指示が入力されたときに、まず、カウンタｎがｎ＝０に設定され（ステップＳ１０１）、撮像部６により画像Ｇが取得される（ステップＳ１０２）。
　取得された画像Ｇは制御装置１０に送られて複数の特徴点が抽出され（ステップＳ１０３）、送られてきた画像Ｇおよび抽出された特徴点の座標が記憶される（ステップＳ１０４）。
　カウンタが所定回数Ａであるか否かが判定され（ステップＳ１０５）、所定回数Ａではない場合には、ロールモータ９が作動させられ、挿入部５が長手軸Ｋ回りに所定角度θだけ回転させられる（ステップＳ１０６）。ここで、例えば、θ＝９０°、Ａ＝３６０°／θ＝４である。所定角度θは１８０°より小さければよい。
　カウンタがインクリメントされ（ステップＳ１０７）、カウンタｎがｎ＝１であるか否かが判定され（ステップＳ１０８）、ｎ＝１である場合には、ステップＳ１０２からの工程が繰り返される。カウンタｎがｎ＝１ではない場合には、直前の２枚の画像Ｇに基づいて、各特徴点の動きベクトルが算出され（ステップＳ１０９）、記憶され（ステップＳ１１０）、ステップＳ１０２からの工程が繰り返される。
　ステップＳ１０５においてｎ＝Ａである場合には、それまでに算出された動きベクトルの大きさの総和Ｓが特徴点毎に算出される（ステップＳ１１１）。そして、各特徴点について算出された動きベクトルの大きさの総和Ｓの大きさが比較され、最小の総和Ｓｍｉｎを有する特徴点が抽出される（ステップＳ１１２）。そして、算出された最小の総和Ｓｍｉｎが所定の閾値Ｂより小さいか否かが判定され（ステップＳ１１３）、所定の閾値Ｂよりも小さい場合には、最小の総和Ｓｍｉｎを有する特徴点を不動点として検出し、その座標を記憶する（ステップＳ１１４）。最小の総和Ｓｍｉｎが所定の閾値Ｂ以上の場合には、画像Ｇ上に不動点が存在しない可能性があるため、湾曲部７を動作させた後（ステップＳ１１５）、ステップＳ１０１からの工程を繰り返す。
　ステップＳ１１５における湾曲動作としては、次の２つの方法を挙げることができる。
　第１に、画像Ｇの中心位置Ｐと、ステップＳ１１２において抽出された、最小の動きベクトルの総和Ｓｍｉｎを有する特徴点とを結ぶ直線の延長上に不動点が存在するものと推定されるので、画像Ｇからはみ出している不動点を画像Ｇ内に入れるために、先端が画像Ｇの中心位置Ｐから最小の動きベクトルの総和Ｓｍｉｎを有する特徴点に向かって移動する方向に湾曲部７を湾曲動作させる方法である。
　第２に、不動点の方向を推定することなく任意の方向に湾曲部７を所定角度だけ湾曲させながら不動点を探索し、複数回湾曲させても不動点が見つからない場合には、湾曲方向を切り替えて同様の処理を繰り返す方法である。
　湾曲部駆動ステップＳ２は、図１０に示されるように、まず、算出された不動点の位置の座標と、画像Ｇの中心位置Ｐの座標とに基づいて、画像Ｇの中心位置Ｐから不動点までの距離Ｌを算出する（ステップＳ２０１）。算出された距離Ｌが所定の閾値Ｔｈ以下であるか否かが判定され（ステップＳ２０２）、閾値Ｔｈ以下であれば、処理を終了する。閾値Ｔｈより大きい場合には、画像Ｇの中心位置Ｐに対する不動点の方向が判定される（ステップＳ２０３）。
　ステップＳ２０３においては、不動点が画像Ｇの中心位置Ｐに対して上下方向にあるか否かが判定され、上下方向にある場合には、上方向にあるか否かが判定され（ステップＳ２０４）、上方向に存在しない場合には、湾曲部７は挿入部５の長手軸Ｋに対して上向きに湾曲していると判定でき、制御装置１０が湾曲モータ８を制御して、湾曲部７を下向きに所定角度だけ動作させる（ステップＳ２０５）。一方、不動点が画像Ｇの中心位置Ｐに対して上方向に存在する場合には、湾曲部７は挿入部５の長手軸Ｋに対して下向きに湾曲していると判定でき、制御装置１０が、湾曲部７を上向きに所定角度だけ動作させる（ステップＳ２０６）。
　また、ステップ２０３において、上下方向にないと判定された場合には、左方向にあるか否かが判定され（ステップＳ２０７）、左方向に存在しない場合には、湾曲部７は挿入部５の長手軸Ｋに対して左向きに湾曲していると判定でき、制御装置１０が湾曲部７を右向きに所定角度だけ動作させる（ステップＳ２０８）。一方、不動点が画像Ｇの中心位置Ｐに対して左方向に存在する場合には、湾曲部７は挿入部５の長手軸Ｋに対して右向きに湾曲していると判定でき、制御装置１０が湾曲部７を左向きに所定角度だけ動作させる（ステップＳ２０９）。
　ステップＳ２０５，Ｓ２０６，Ｓ２０８，Ｓ２０９が終了した後には、ステップＳ２０１からの工程が繰り返される。そして、ステップＳ２０２において、距離Ｌが閾値Ｔｈ以下であると判定された場合には、キャリブレーション動作が終了する。
　本実施形態に係る内視鏡システム１、内視鏡２のキャリブレーション方法および内視鏡２の制御装置１０によれば、内視鏡２の挿入部５を、先端に備えられた撮像部６から体内に挿入し、ロールモータ９を動作させて挿入部５を長手軸Ｋ回りに回転させるとともに、回転動作中に撮像部６を作動させて、複数の画像Ｇを取得する。
　そして、取得された複数の画像Ｇが制御装置１０において処理されることにより、画像Ｇ上における不動点の位置が算出され、不動点の位置を画像Ｇの中心位置Ｐに近づけさせる情報が得られる。
　すなわち、ロールモータ９による回転動作は、挿入部５を長手軸Ｋ回りに回転させるので、回転動作中に撮像部６により経時的に取得される画像Ｇは、長手軸Ｋの延長上に配置される点である不動点の回りに回転する。したがって、制御装置１０が情報に基づいて、湾曲モータ８の作動により湾曲部７を駆動して、不動点の位置を画像Ｇの中心位置Ｐに近づける。すなわち、不動点の位置から画像Ｇの中心位置Ｐに位置する方向を決定することができ、これにより、湾曲部７を精度よく直線化することができる。
　なお、本実施形態においては、湾曲部駆動ステップＳ２において、湾曲部７を所定角度だけ上下左右方向に駆動する場合を例示したが、これに代えて、図１１に示されるように、ステップＳ２０１において算出された距離Ｌに基づいて、湾曲モータ８の駆動角度を算出することにしてもよい（ステップＳ２１０）。例えば、距離Ｌに定数Ｃを乗算することにより湾曲モータ８の駆動角度Ｄを算出すればよい。これにより、画像Ｇの中心位置Ｐに不動点が近づくに連れて、湾曲部７の駆動角度Ｄが小さくなるので、より精度よく、湾曲部７を直線化することができるという利点がある。
　また、本実施形態においては、操作装置１１による操作に応じて制御装置１０がロボット３および内視鏡２を制御する内視鏡システム１を例示したが、これに限定されるものではなく、手動の内視鏡２が、内視鏡２の位置および姿勢を保持するサージカルアーム等の支持装置により支持されていてもよい。内視鏡２には、挿入部５を長手軸Ｋ回りに回転させる手動のハンドル（回転駆動部：図１２参照）２２と、湾曲部７を湾曲させる手動のハンドル（湾曲駆動部：図１２参照）２３が設けられていればよい。
　この場合には、制御装置１０から出力される、不動点の位置を画像Ｇの中心位置Ｐに近づけさせる情報を報知する情報報知部（図１２参照）２０が備えられていればよい。
　情報報知部２０としては、ディスプレイ、スピーカ等任意の報知手段を採用できる。
　ディスプレイによって報知する場合には、不動点の位置を画像Ｇの中心位置Ｐに近づけさせる情報として「右方向に５°だけ湾曲させて下さい。」のような文字を表示することにしてもよい。情報報知部２０における報知内容に従って、術者が内視鏡２を作動させることにより、取得された画像Ｇを制御装置１０が処理して、不動点の位置を画像Ｇの中心位置Ｐに近づけさせることができる。また、角度を明示せず、湾曲させる方向だけ報知することにしてもよい。
　また、ロボット３やサージカルアームを用意することなく、図１２に示されるように、術者が支持する内視鏡２自体に、ハンドル２２，２３、制御装置１０、ロールモータ９および湾曲モータ８が設けられている手動の内視鏡システム２１に適用してもよい。
　また、本実施形態においては、画像Ｇ内に不動点の位置が算出されなかった場合に、湾曲部７を湾曲動作させて、不動点が画像Ｇ内に取り込まれる位置に内視鏡２の視野範囲を移動させることとしたが、これに代えて、ロボット（進退駆動部）３等により、内視鏡２を挿入部５の長手軸Ｋに沿う方向に後退させて、視野範囲を広げ、それによって、不動点を画像Ｇ内に取り込むことにしてもよい。これにより、湾曲部７を作動させずに済むので、挿入部５の先端における湾曲部７の動作スペースが狭い場合に周囲組織との干渉を回避しながら、不動点の位置を算出することができる。
　また、この場合に、６軸多関節型ロボットを例示したが、これに代えて、図１３に示されるように、４軸ロボットの先端に、内視鏡２を挿入部５の長手軸Ｋに沿う方向に進退させる直動軸（進退駆動部）３０を備えるロボット３を採用してもよい。これにより、より簡易に、内視鏡２を挿入部５の長手軸方向に進退させることができる。
　また、本実施形態においては、画像Ｇの中心位置Ｐを不動点に一致させるために、湾曲部７を上下左右の４方向に個別に湾曲動作させる場合を例示したが、これに代えて、４方向の湾曲動作を組み合わせて、算出された動きベクトルに交差し、かつ、動きベクトルが小さくなる方向に、湾曲部７を湾曲動作させることにしてもよい。
　また、本実施形態においては、制御装置１０として、内視鏡２の制御と画像処理とを実行するものを例示したが、これに代えて、内視鏡２を制御するものと、画像処理を実行するものとを別個に設けたものを採用してもよい。
　１，２１　内視鏡システム
　３　ロボット（進退駆動部）
　５　挿入部（長尺部）
　６　撮像部
　７　湾曲部
　８　湾曲モータ（湾曲駆動部）
　９　ロールモータ（回転駆動部）
　１０　制御装置
　２０　情報報知部
　２２　ハンドル（回転駆動部）
　２３　ハンドル（湾曲駆動部）
　３０　直動軸（進退駆動部）
　Ｇ　画像
　Ｋ　長手軸
　Ｐ　中心位置（中心）

Claims (18)

  1. 　長手軸を有する長尺部と、
    　該長尺部の先端に備えられた撮像部と、
    　該撮像部の前記長尺部に対する傾斜角度を変化させる湾曲部と、
    　該湾曲部を駆動する湾曲駆動部と、
    　前記長尺部を前記長手軸回りに回転させる回転駆動部と、
    　前記撮像部により取得された画像を処理する制御装置とを備え、
    　該制御装置は、
    　前記回転駆動部による前記長尺部の回転動作中に、撮像された複数の前記画像を前記撮像部から取得し、
    　取得された複数の前記画像に基づいて、該画像上の不動点の位置を算出し、
    　算出された前記不動点の位置から前記画像の中心に位置する方向を決定する、
    内視鏡システム。
  2. 　前記制御装置は、
    　複数の前記画像に基づいて、複数の不動点候補を設定し、
    　各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、
    　算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出する、
    請求項１に記載の内視鏡システム。
  3. 　前記制御装置は、
    　前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出する、
    請求項２に記載の内視鏡システム。
  4. 　前記制御装置は、
    　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記湾曲駆動部により前記湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させる、
    請求項３に記載の内視鏡システム。
  5. 　前記長尺部を前記長手軸方向に進退させる進退駆動部をさらに備え、
    　前記制御装置は、
    　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記進退駆動部が、内視鏡を前記長手軸方向後方に後退させる、
    請求項３に記載の内視鏡システム。
  6. 　前記制御装置は、決定された前記方向に基づいて前記湾曲駆動部を制御する、
    請求項１に記載の内視鏡システム。
  7. 　前記制御装置は、算出された前記不動点の位置と前記中心との距離を小さくする方向に前記湾曲部の角度を調節する、
    請求項６に記載の内視鏡システム。
  8. 　前記制御装置により決定された前記方向を報知する情報報知部を備える、
    請求項１に記載の内視鏡システム。
  9. 　内視鏡のキャリブレーション方法であって、
    　前記内視鏡が、長手軸を有する長尺部と、該長尺部の先端に備えられた撮像部と、該撮像部の前記長尺部に対する傾斜角度を変化させる湾曲部とを備え、
    　前記長尺部の回転動作中に、前記撮像部によって撮像された複数の画像を取得し、
    　取得された複数の前記画像に基づいて、該画像上の不動点の位置を算出し、
    　算出された該不動点の位置から前記画像の中心に位置する方向を決定し、
    　決定された方向に基づいて、前記湾曲部を動作する、
    内視鏡のキャリブレーション方法。
  10. 　複数の前記画像に基づいて、複数の不動点候補を設定し、
    　各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、
    　算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出する、
    請求項９に記載の内視鏡のキャリブレーション方法。
  11. 　前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出する、
    請求項１０に記載の内視鏡のキャリブレーション方法。
  12. 　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させる、
    請求項１１に記載の内視鏡のキャリブレーション方法。
  13. 　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡を該内視鏡における長手軸方向後方に後退させる、
    請求項１１に記載の内視鏡のキャリブレーション方法。
  14. 　内視鏡の制御装置であって、
    　１以上のプロセッサを備え、
    　該プロセッサは、
    　前記内視鏡の回転駆動部による前記内視鏡の長尺部の回転動作中に、撮像された複数の画像を前記内視鏡の撮像部により取得し、
    　取得された前記複数の画像に基づいて、画像上の不動点の位置を算出し、
    　算出された前記不動点の位置から前記画像の中心に位置する方向を決定する、
    内視鏡の制御装置。
  15. 　前記プロセッサは、
    　複数の前記画像に基づいて、複数の不動点候補を設定し、
    　各該不動点候補の前記長尺部の回転動作中における動きベクトルを算出し、
    　算出された各該動きベクトルの大きさが最小となる前記不動点候補の位置を前記不動点の位置として算出する、
    請求項１４に記載の内視鏡の制御装置。
  16. 　前記プロセッサは、
    　前記動きベクトルの大きさが最小、かつ所定閾値よりも小さい前記不動点候補の位置を前記不動点の位置として算出する、
    請求項１５に記載の内視鏡の制御装置。
  17. 　前記プロセッサは、
    　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡の湾曲部を前記動きベクトルに交差させ、かつ、前記動きベクトルが小さくなる方向に、前記湾曲部を動作させる、
    請求項１６に記載の内視鏡の制御装置。
  18. 　前記プロセッサは、
    　前記動きベクトルの大きさが前記所定閾値よりも大きい場合に、前記内視鏡を前記長尺部の長手軸方向後方に後退させる、
    請求項１６に記載の内視鏡の制御装置。
     
PCT/JP2018/026181 2018-07-11 2018-07-11 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置 WO2020012576A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/026181 WO2020012576A1 (ja) 2018-07-11 2018-07-11 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置
CN201880095017.6A CN112351722A (zh) 2018-07-11 2018-07-11 内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置
JP2020529895A JP7135087B2 (ja) 2018-07-11 2018-07-11 内視鏡システムおよび内視鏡の制御装置
US17/142,516 US20210121250A1 (en) 2018-07-11 2021-01-06 Endoscope system, method for calibrating endoscope, and endoscope control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026181 WO2020012576A1 (ja) 2018-07-11 2018-07-11 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/142,516 Continuation US20210121250A1 (en) 2018-07-11 2021-01-06 Endoscope system, method for calibrating endoscope, and endoscope control device

Publications (1)

Publication Number Publication Date
WO2020012576A1 true WO2020012576A1 (ja) 2020-01-16

Family

ID=69141418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026181 WO2020012576A1 (ja) 2018-07-11 2018-07-11 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置

Country Status (4)

Country Link
US (1) US20210121250A1 (ja)
JP (1) JP7135087B2 (ja)
CN (1) CN112351722A (ja)
WO (1) WO2020012576A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397704A (zh) * 2021-05-10 2021-09-17 武汉联影智融医疗科技有限公司 机器人定位方法、装置、系统及计算机设备
CN114136682A (zh) * 2022-01-27 2022-03-04 极限人工智能有限公司 器械的运动控制精度检测方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023126769A1 (en) * 2021-12-30 2023-07-06 Auris Health, Inc. Calibration of camera and location sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261798A (ja) * 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010035587A (ja) * 2008-07-31 2010-02-18 Fujifilm Corp 内視鏡、内視鏡システム及び内視鏡の湾曲部矯正方法
JP2014232222A (ja) * 2013-05-29 2014-12-11 オリンパス株式会社 内視鏡装置及び内視鏡画像の撮影方法
WO2015141483A1 (ja) * 2014-03-17 2015-09-24 オリンパス株式会社 内視鏡システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3382977B2 (ja) * 1992-10-01 2003-03-04 オリンパス光学工業株式会社 内視鏡装置
US5588948A (en) * 1993-02-17 1996-12-31 Olympus Optical Co. Ltd. Stereoscopic endoscope
JP2002323661A (ja) * 2001-04-24 2002-11-08 Olympus Optical Co Ltd 電動湾曲内視鏡のセンタリング機構
JP4197877B2 (ja) 2002-02-25 2008-12-17 オリンパス株式会社 電動湾曲内視鏡装置及びキャリブレーション方法
US7599730B2 (en) * 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7344494B2 (en) * 2004-02-09 2008-03-18 Karl Storz Development Corp. Endoscope with variable direction of view module
WO2005091649A1 (ja) 2004-03-22 2005-09-29 National University Corporation Shizuoka University 単一の撮像装置で連続取得したビデオ映像による立体表示方法
US7520854B2 (en) * 2004-07-14 2009-04-21 Olympus Corporation Endoscope system allowing movement of a display image
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US20090259099A1 (en) * 2008-04-10 2009-10-15 Georgia Tech Research Corporation Image-based control systems
CN102469914B (zh) * 2009-09-30 2014-11-05 奥林巴斯医疗株式会社 内窥镜装置以及弯曲驱动控制方法
EP2863827B1 (en) * 2012-06-21 2022-11-16 Globus Medical, Inc. Surgical robot platform
CN106572791B (zh) * 2014-12-19 2018-11-13 奥林巴斯株式会社 内窥镜系统
WO2016136353A1 (ja) 2015-02-26 2016-09-01 オリンパス株式会社 内視鏡システム及び内視鏡較正方法
JP6356623B2 (ja) * 2015-03-18 2018-07-11 富士フイルム株式会社 画像処理装置、方法、及びプログラム
CN107613833B (zh) * 2015-05-28 2019-10-08 奥林巴斯株式会社 内窥镜系统
CN107847110B (zh) * 2015-07-23 2019-11-08 奥林巴斯株式会社 操纵器和医疗系统
US9918705B2 (en) * 2016-07-07 2018-03-20 Brian Giles Medical devices with distal control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261798A (ja) * 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010035587A (ja) * 2008-07-31 2010-02-18 Fujifilm Corp 内視鏡、内視鏡システム及び内視鏡の湾曲部矯正方法
JP2014232222A (ja) * 2013-05-29 2014-12-11 オリンパス株式会社 内視鏡装置及び内視鏡画像の撮影方法
WO2015141483A1 (ja) * 2014-03-17 2015-09-24 オリンパス株式会社 内視鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397704A (zh) * 2021-05-10 2021-09-17 武汉联影智融医疗科技有限公司 机器人定位方法、装置、系统及计算机设备
CN113397704B (zh) * 2021-05-10 2022-05-20 武汉联影智融医疗科技有限公司 机器人定位方法、装置、系统及计算机设备
CN114136682A (zh) * 2022-01-27 2022-03-04 极限人工智能有限公司 器械的运动控制精度检测方法、装置、设备及存储介质
CN114136682B (zh) * 2022-01-27 2022-05-17 极限人工智能有限公司 器械的运动控制精度检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210121250A1 (en) 2021-04-29
JPWO2020012576A1 (ja) 2021-08-02
JP7135087B2 (ja) 2022-09-12
CN112351722A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2020012576A1 (ja) 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置
JP6270537B2 (ja) 医療用システム
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
EP3664738B1 (en) Method for automatic detection of instrument orientation for robotic surgery
US9221176B2 (en) Robot system and method for controlling the same
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
US10932875B2 (en) Manipulator, medical system, and medical system control method
WO2015125592A1 (ja) 内視鏡システム
JP5272617B2 (ja) ロボット装置及びロボット装置の制御方法
US11540699B2 (en) Medical manipulator system
EP3421930A1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP2008245838A (ja) 内視鏡装置に搭載されるロボティクスアームシステム
WO2014007125A1 (ja) 手術支援装置
JP6568172B2 (ja) キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
US9395169B2 (en) Multi-axis type three-dimensional measuring apparatus
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP5200866B2 (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
KR20150053202A (ko) 수술용 항법 시스템의 교정 방법
US11890062B2 (en) Estimation device, estimation method, and program
WO2023100234A1 (ja) 内視鏡システムおよび座標系補正方法
JP2020028645A (ja) 推定システム、推定方法およびプログラム
JP2014144515A (ja) ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18926090

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020529895

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18926090

Country of ref document: EP

Kind code of ref document: A1