WO2019155617A1 - 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体 - Google Patents

内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2019155617A1
WO2019155617A1 PCT/JP2018/004653 JP2018004653W WO2019155617A1 WO 2019155617 A1 WO2019155617 A1 WO 2019155617A1 JP 2018004653 W JP2018004653 W JP 2018004653W WO 2019155617 A1 WO2019155617 A1 WO 2019155617A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
control information
information
control
advance
Prior art date
Application number
PCT/JP2018/004653
Other languages
English (en)
French (fr)
Inventor
博一 西村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/004653 priority Critical patent/WO2019155617A1/ja
Publication of WO2019155617A1 publication Critical patent/WO2019155617A1/ja
Priority to US16/986,961 priority patent/US20210022585A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0057—Constructional details of force transmission elements, e.g. control wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015—Control of fluid supply or evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0133—Tip steering devices
    • A61M25/0155—Tip steering devices with hydraulic or pneumatic means, e.g. balloons or inflatable compartments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0113—Mechanical advancing means, e.g. catheter dispensers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an endoscope system, an endoscope control device, an operation method of the endoscope system, and a recording medium on which an endoscope control program is recorded.
  • Japanese Patent No. 4323515 discloses an insertion portion provided with a bending portion, a bending drive portion that changes the orientation of the bending portion, an advance / retreat drive portion that advances or retracts the insertion portion, a bending drive portion, and an advance / retreat drive.
  • An endoscope system including a control device for controlling the unit is disclosed.
  • the system also includes an endoscope shape detection device that detects the curved shape of the insertion portion.
  • the control unit corrects the advancing / retreating direction of the insertion unit based on the curved shape detected by the endoscope shape detection device, and the control unit advances or retracts the insertion unit.
  • various insertion situations may occur due to the state of the subject (for example, fusion of lumens) or the state of the insertion portion (for example, occurrence of bending or looping).
  • the control device needs to perform appropriate insertion control according to various situations.
  • the present invention provides an endoscope system, an endoscope control device, an operation method of the endoscope system, and a recording medium on which an endoscope control program is recorded, which can perform appropriate insertion control according to the insertion situation.
  • the purpose is to provide.
  • a flexible insertion unit that is inserted into a subject, an imaging device that images the subject, a drive unit that performs an insertion operation of the insertion unit, and the imaging device
  • An image processing unit that generates image information based on information, the image information, and at least one of insertion state information related to an insertion state of the insertion unit is acquired, and an insertion status based on at least one of the acquired information
  • At least one of image information and insertion state information related to an insertion state of an insertion portion of an endoscope is acquired, and an insertion state is determined based on at least one of the acquired information
  • a state determination unit that performs insertion control information generation unit that generates insertion control information for controlling the insertion operation of the insertion unit based on the insertion state, and an insertion operation of the insertion unit based on the insertion control information.
  • An endoscope control apparatus comprising a control unit for controlling.
  • an embodiment of the present invention is a recording medium that records an operation method of an endoscope system as described above and an endoscope control program.
  • an endoscope system capable of performing appropriate insertion control in accordance with an insertion situation, an endoscope control device, an operation method of the endoscope system, and a recording medium recording an endoscope control program Can be provided.
  • FIG. 1 is a diagram schematically illustrating an example of an endoscope system.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the endoscope system.
  • FIG. 3 is a diagram illustrating an example of a configuration of an insertion / removal drive unit related to automatic insertion of the endoscope system.
  • FIG. 4 is a diagram illustrating an example of a configuration of a bending drive unit related to automatic insertion of an endoscope system.
  • FIG. 5 is a diagram illustrating an example of a configuration of an AWS driving unit related to automatic insertion of an endoscope system.
  • FIG. 6A is a diagram illustrating an example of an operation during insertion of the endoscope system.
  • FIG. 6A is a diagram illustrating an example of an operation during insertion of the endoscope system.
  • FIG. 6B is a diagram illustrating an example of an operation during insertion of the endoscope system.
  • FIG. 7 is a diagram illustrating an example of the bending removal process.
  • FIG. 8 is a diagram illustrating an example of a loop handling process.
  • FIG. 9 is a diagram illustrating an example of the ability cancellation processing.
  • FIG. 10 is a diagram illustrating an example of the stop / warning process.
  • FIG. 11 is a diagram illustrating an example of the collapse elimination process.
  • FIG. 12 is a diagram illustrating an example of the visual field improvement process.
  • FIG. 1 is a diagram schematically showing an example of an endoscope system 1 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the endoscope system 1.
  • FIG. 3 is a diagram schematically illustrating an example of a configuration related to automatic insertion of the endoscope system 1.
  • the endoscope system 1 includes an endoscope 10, an insertion shape calculation device 70, an external force information calculation device 80, a display device 90, and a control device 100.
  • the insertion shape calculation device 70 and the external force information calculation device 80 constitute an insertion state detection unit.
  • the endoscope 10 includes an insertion unit 11 and an operation unit 16.
  • the insertion portion 11 is an elongated tubular body that has a distal end and a proximal end and is inserted into a subject.
  • the insertion portion 11 includes a distal end portion 12, a bending portion 13, and a flexible tube portion 14 in that order from the distal end.
  • the distal end portion 12 includes an illumination optical system and an observation optical system (not shown), the image sensor 19 shown in FIG.
  • the bending portion 13 is bent in a desired direction (for example, up / down / left / right direction) by a bending drive unit 30 described later.
  • the flexible tube portion 14 is a soft tube and can be bent freely.
  • the operation unit 16 is located on the proximal end side of the insertion unit 11 in the endoscope 10.
  • the operation unit 16 includes a part of various drive units 20, 30, 40, and 50 described later.
  • an image transmission cable and a light guide (not shown) are incorporated.
  • a universal cord 17 extends from the operation unit 16, and the universal cord 17 includes the image transmission cable and the light guide, electric cables from the various drive units 20, 30, 40, and 50.
  • the endoscope 10 is connected to the control device 100 by the universal cord 17.
  • a plurality of transmission coils 18 are arranged, for example, in the bending part 13 and the flexible tube part 14.
  • the transmitting coils 18 are arranged away from each other along the longitudinal direction (axial direction) of the insertion portion 11.
  • the insertion unit 11 can be moved back and forth with respect to the subject under the control of the control device 100 (back and forth operation).
  • the bending unit 13 can be bent in a desired direction under the control of the control device 100 (bending operation).
  • the insertion unit 11 can be rotated around the insertion axis by the control of the control device 100 (rotation operation).
  • the endoscope 10 in the present embodiment is a fully automatic insertion endoscope.
  • the endoscope 10 may be a semi-automatic insertion endoscope or a partial automatic insertion endoscope.
  • semi-automatic, partial automatic, and fully automatic are defined as follows, for example.
  • Semi-automatic For example, the bending operation is automatic, that is, not based on the operator's judgment and input, but based on the judgment by the control device 100, the advance / retreat operation is performed based on the operator's judgment and input, etc.
  • the control device 100 controls one or more operations that are not all of the insertion operations such as the advance / retreat operation, the bending operation, the AWS operation, and the rotation operation.
  • Partially automatic In a normal situation (for example, a situation where the insertion operation proceeds smoothly), the insertion operation is performed based on the operator's judgment and input. On the other hand, the control device 100 controls the insertion operation under a specific situation such as a situation where it is difficult to continue the insertion operation (for example, a situation where a loop occurs in the insertion unit 11). Fully automatic: The control device 100 controls all basic insertion operations such as forward / backward operation, bending operation, AWS operation, and rotation operation.
  • the operator gives an operation instruction to the control device 100 from an input device such as an operation knob, operation button, joystick, or foot switch (not shown) provided in the operation unit 16. input.
  • an input device such as an operation knob, operation button, joystick, or foot switch (not shown) provided in the operation unit 16. input.
  • the endoscope 10 includes an advance / retreat drive unit 20, a bending drive unit 30, an AWS drive unit 40, and a rotation drive unit 50.
  • the advance / retreat drive unit 20 includes a motor (not shown) and the like, and is a drive mechanism for moving the insertion unit 11 forward and backward, that is, moving forward or backward.
  • the advancing / retreating drive unit 20 pushes / pulls the mechanism that advances into the subject by pushing the insertion unit 11 or retreats from the subject by pulling the insertion unit 11, that is, the insertion unit 11.
  • the bending drive unit 30 includes a motor (not shown) and the like and is a drive mechanism for bending the bending unit 13.
  • the AWS drive unit 40 is a drive mechanism for causing the endoscope 10 to perform air supply, water supply, and suction.
  • the rotation drive unit 50 is a drive mechanism for twisting the insertion unit 11 to the right or left around the insertion axis, that is, rotating the insertion unit 11.
  • the endoscope 10 is an electric endoscope in which various insertion operations are performed by the driving units 20, 30, 40, and 50.
  • the control device 100 includes a drive control unit 110.
  • the drive control unit 110 includes an advance / retreat control circuit 111, a bending control circuit 112, an AWS control circuit 113, and a rotation control circuit 114.
  • the advance / retreat drive unit 20 is controlled by an advance / retreat control circuit 111.
  • the bending drive unit 30 is controlled by the bending control circuit 112.
  • the AWS driving unit 40 is controlled by the AWS control circuit 113.
  • the rotation driving unit 50 is controlled by the rotation control circuit 114.
  • the forward / backward drive unit 20 includes, for example, a pair of rollers 21 and 22 as shown in FIG.
  • the rollers 21 and 22 are disposed to face each other with the insertion portion 11 interposed therebetween.
  • the rollers 21 and 22 can be rotated about the rotation axes C1 and C2 by a motor (not shown) electrically connected to the advance / retreat control circuit 111, respectively.
  • the insertion portion 11 is sent in the direction of the arrow indicated by A1, that is, toward the distal end, or returned in the direction of the arrow indicated by A2, that is, toward the proximal end. It is possible.
  • the bending drive unit 30 includes, for example, wires 31, 32, 33, and 34, as shown in FIG.
  • the tips of these wires 31, 32, 33, and 34 are fixed to the upper, lower, left, and right sides of the bending portion 13, respectively.
  • the base ends (not shown) of the wires 31 and 32 are connected to the first pulley 35
  • the base ends (not shown) of the wires 33 and 34 are connected to the second pulley 36.
  • Each of the pulleys 35 and 36 can be rotated around its rotation axis by a motor (not shown) electrically connected to the bending control circuit 112. By the rotation, the bending portion 13 can be bent in the vertical and horizontal directions, for example.
  • the AWS drive unit 40 includes a pump 41, electromagnetic valves 42, 43, 44, a water supply tank 45, a suction pump 46, an electromagnetic valve 47, and a suction tank 48.
  • the pump 41, the electromagnetic valves 42, 43, 44, the suction pump 46, and the electromagnetic valve 47 are electrically connected to the AWS control circuit 113.
  • an air supply conduit 65 and a water supply conduit 66 extending along the longitudinal direction are provided inside the insertion portion 11.
  • the air supply conduit 65 and the water supply conduit 66 are respectively connected to an air supply port and a water supply port (not shown) located at the distal end portion 12.
  • the air supply conduit 65 is connected to the pump 41 via the electromagnetic valve 43 and the electromagnetic valve 42.
  • the water supply conduit 66 is in the water portion of the water supply tank 45 and is connected to the pump 41 via the electromagnetic valve 44 and the electromagnetic valve 42.
  • the AWS control circuit 113 supplies air or water by controlling operations of the pump 41 and the electromagnetic valves 42, 43, and 44. For example, when the electromagnetic valve 42 is closed, the air supplied by the pump 41 leaks to the outside.
  • the air sent from the pump 41 is supplied via the air supply pipe 65. Sent from the mouth to the outside.
  • the subject can be inflated by air supply.
  • the solenoid valve 42 is opened only to the solenoid valve 44 side and the solenoid valve 43 is closed and the solenoid valve 44 is opened, the air sent from the pump 41 pressurizes the inside of the water supply tank 45 and the water supply tank.
  • the water in 45 is sent to the outside through the water supply pipe 66 from the water supply port. By supplying water, dirt such as bubbles, residues and lenses at the tip 12 is removed.
  • a suction pipe 67 extending along the longitudinal direction is provided inside the insertion portion 11.
  • the suction conduit is connected to a suction port (not shown) located at the distal end portion 12.
  • the suction pipe 67 is connected to the suction pump 46 via the suction tank 48 and the electromagnetic valve 47.
  • the AWS control circuit 113 performs suction by controlling the operations of the suction pump 46 and the electromagnetic valve 47. For example, when the solenoid valve 47 is closed, the suction pump 46 sucks outside air, and when the solenoid valve 47 is opened, suction from the suction port is performed via the suction tank 48 and the suction conduit 67. Is called. The liquid material such as the residue at the tip 12 is removed by suction.
  • the advancing / retreating drive unit 20 generates a propulsive force that is provided so as to be rotatable around the longitudinal axis of the outer periphery of the insertion unit as disclosed in, for example, Japanese Patent No. 4864003, a propulsion mechanism that uses expansion / contraction of a balloon. It may be a propulsion mechanism by a part.
  • the advancing / retreating drive unit 20 includes a gripping unit that grips the insertion unit 11 so that a person can hold it with a hand, and a mechanism capable of gripping / unholding that can push / pull the insertion unit 11 gripped by the gripping unit. It may be.
  • the rotation drive unit 50 includes, for example, a gripping unit that grips the insertion unit 11 on the proximal end side of the insertion unit 11 and a motor that supplies power to the gripping unit.
  • the gripping unit rotates the insertion unit 11 to the right or left around the insertion axis by the driving force from the motor. That is, the rotation drive unit 50 twists the insertion unit 11 to the right or left.
  • the rotation drive unit 50 is not limited to this, and various drive mechanisms capable of rotating the insertion unit 11 may be employed.
  • the rotation drive unit 50 is electrically connected to the rotation control circuit 114, and the rotation control circuit 114 can control, for example, the rotation angle, the rotation speed, and the amount of torque (torque) of the insertion unit 11.
  • the insertion shape calculation device 70 detects the shape of at least a part of the insertion portion 11 as shape information together with the transmission coil 18, the antenna 71, and the transmission signal generation portion 115 of the control device 100. Function as.
  • the transmission signal generation unit 115 generates a signal for generating a magnetic field from the transmission coil 18, for example, a sine wave current.
  • the generated signals are sequentially output from the transmitting coil 18 on the distal end side of the insertion portion 11, for example, in the order determined for each transmitting coil 18.
  • the transmission coil 18 generates a magnetic field by the current flowing from the transmission signal generation unit 115.
  • the antenna 71 is composed of a plurality of receiving coils (not shown).
  • the antenna 71 detects a magnetic field signal generated by the transmission coil 18.
  • the connection between the insertion shape calculation device 70 and the antenna 71 may be wired or wireless.
  • the insertion shape calculation device 70 calculates position information including the position and direction vector of each transmitting coil 18 based on the magnetic field strength information input from the antenna 71.
  • the insertion shape calculation device 70 calculates shape information of the insertion portion 11 from a plurality of position information with respect to each transmission coil 18.
  • the insertion shape calculation device 70 can also calculate how long the insertion unit 11 is inserted into the subject, that is, the insertion length information of the insertion unit 11 into the subject.
  • the shape information and the insertion length information are output to the external force information calculation device 80 and the control device 100. Displayable form shape information and insertion length information may be output to the display device 90.
  • an insertion shape detecting device other than a magnetic type may be used as long as it can detect the curved state of the insertion portion 11 in order to detect the shape of at least a part of the insertion portion 11.
  • sensing using magnetism magnetic sensor
  • sensing using ultrasonic waves ultrasonic sensor
  • sensing using loss of light guided through an optical fiber optical fiber sensor
  • sensing using distortion (distortion) Sensor or any one of sensing using an X-ray absorbing material, or a combination thereof can be used.
  • the external force information calculation device 80 calculates external force information applied to each position in the longitudinal direction of the insertion portion 11 based on the shape information of the insertion portion 11 detected by the insertion shape calculation device 70.
  • the external force information calculation device 80 for example, data on the curvature (or radius of curvature) and the bending angle of a plurality of predetermined positions of the insertion portion 11 in a state where there is no external force, and an arbitrary position of the insertion portion 11 from all possible directions.
  • the curvature (or radius of curvature) and curvature angle data of a plurality of predetermined positions of the insertion portion 11 acquired in a state where a predetermined external force is applied to are stored in advance.
  • the external force information calculation device 80 refers to various data stored in advance based on, for example, the curvature (or radius of curvature) or the bending angle of the insertion portion 11 at the position of each transmission coil 18, and stores each transmission coil 18. The external force information regarding the magnitude and direction of the external force at the position is calculated.
  • the external force information calculation device 80 may use, for example, an external force information calculation method disclosed in Japanese Patent No. 5851204 or Japanese Patent No. 5897092.
  • the external force information applied to each position in the longitudinal direction of the insertion unit 11 may be calculated by arranging a strain sensor, a pressure sensor, an acceleration sensor, a gyro sensor, a wireless element, or the like in the insertion unit 11.
  • the control apparatus 100 includes an image processing circuit 101, an image input unit 102, an insertion state input unit 103, a situation determination unit 104, an insertion control information generation unit 105, a warning output unit 106, and a drive control unit 110.
  • the drive control unit 110 includes the advance / retreat control circuit 111, the bending control circuit 112, the AWS control circuit 113, and the rotation control circuit 114.
  • Each of these units is configured by a processor including one or a plurality of integrated circuits such as a CPU.
  • a software program for causing the computer processor to function as the control device 100 is prepared in the storage unit 107 or other recording medium described later, and the program is executed by the processor so that the function of the control device 100 is achieved.
  • the processor may be configured to implement.
  • the above-described units of the control device 100 may be included in a control device different from the control device 100.
  • the image input unit 102, the insertion state input unit 103, the situation determination unit 104, the insertion control information generation unit 105, and the drive control unit 110 are controlled by a control device different from the endoscopic video image processor including the image processing circuit 101. May be included.
  • each may be included in a separate control device. That is, the processor or the hardware circuit that functions as each of the above-described units of the control device 100 may be included in one casing or may be included in a plurality of casings as long as the functions as the respective sections can be implemented. Also good.
  • the image processing circuit 101 converts an electrical signal obtained by converting light from a subject into a video signal by the imaging element 19 at the distal end portion 12 of the endoscope 10 to generate an endoscopic image based on the subject image, and a display device An endoscopic image is displayed at 90.
  • Endoscopic image information generated by the image processing circuit 101 (hereinafter simply referred to as “image information”) is input to the image input unit 102.
  • the insertion state input unit 103 receives the insertion shape information and the insertion length information calculated by the insertion shape calculation device 70 and the external force information calculated by the external force information calculation device 80.
  • the situation determination unit 104 acquires image information from the image input unit 102 and insertion state information from the insertion state input unit 103, respectively.
  • the status determination unit 104 determines the insertion status of the endoscope 10 based on at least one of the acquired image information and insertion status information.
  • the insertion control information generation unit 105 inserts insertion control information (advance / retreat control information, bending control information, AWS control information, or rotation control information) as information for controlling the insertion operation based on the insertion status determination in the status determination unit 104. ) Is generated.
  • the warning output unit 106 outputs a warning based on the insertion status determination in the status determination unit 104.
  • the advance / retreat control circuit 111 operates the advance / retreat drive unit 20 based on the advance / retreat control information generated by the insertion control information generation unit 105.
  • the bending control circuit 112 operates the bending driving unit 30 based on the bending control information generated by the insertion control information generating unit 105.
  • the AWS control circuit 113 operates the AWS drive unit 40 based on the AWS control information generated by the insertion control information generation unit 105.
  • the rotation control circuit 114 operates the rotation drive unit 50 based on the rotation control information generated by the insertion control information generation unit 105.
  • the control device 100 has a storage unit 107.
  • the storage unit 107 is a storage such as a semiconductor memory.
  • the storage unit 107 stores various data for the insertion control information generation unit 105 to generate insertion control information, various programs necessary for the operation of the control device 100, and the like.
  • the display device 90 is a monitor such as a liquid crystal display.
  • the display device 90 displays an endoscopic image, an endoscope insertion shape, and the like.
  • step S101 image information is input to the image input unit 102 of the control device 100. Further, the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103 of the control device 100.
  • the input insertion state information is the insertion shape information and insertion length information from the insertion shape calculation device 70 and the external force information from the external force information calculation device 80.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103, respectively.
  • the status determination unit 104 determines the insertion status based on at least one of the image information and the insertion status information acquired in step S101.
  • the insertion status is determined based on both pieces of information.
  • various insertion situations that occur in the insertion operation during colonoscopy are classified as follows. (I) Situation where insertion is possible without major problems (Ii) A situation where the insertion portion 11 is bent.
  • the insertion portion 11 can be promoted as it is.
  • the situation determination unit 104 determines that the insertion unit 11 is in a state that can be propelled or that a situation that prevents the insertion unit 11 from propelling has occurred.
  • the situation (the above (ii) and (iii)) regarding the shape of the insertion portion 11 is determined from the insertion shape information.
  • a method based on calculation of the amount of deflection in the shape analysis of the insertion portion 11 as disclosed in Japanese Patent No. 46569888 may be used to detect whether or not the insertion portion 11 is bent.
  • various methods can be applied to loop detection and loop type determination.
  • a specific position of the insertion unit 11 is detected and stored in the storage unit 107 in time series.
  • a method of performing shape analysis and loop type determination of the insertion unit 11 based on the time-series position information stored therein may be applied. It is also possible to apply identification processing by Deep Neural Network or the like by using insertion shape information as input data and using teacher data with a loop shape as a category to be identified.
  • the situation (the above (iv) and (v)) regarding the traveling direction and the lumen direction is determined from the image information.
  • the endoscope 10 may capture an endoscope image at 30 fps, and the situation determination unit 104 may perform situation determination using image information for 10 seconds before, that is, 300 frames.
  • the input endoscopic image is not limited to this, and may be less than 30 frames per second by sampling.
  • various methods can be applied to the detection of the luminal direction. In addition to the detection method by evaluating the change in light and darkness in the endoscopic image, deep learning such as Fully Convolutional Network (FCN) is used. An image region dividing method or the like may be used.
  • FCN Fully Convolutional Network
  • a large force (a force greater than a predetermined amount) is applied to the insertion unit 11 (above (vi)).
  • a large amount of force suggests that the intestinal tract is being loaded.
  • the fact that it has been inserted without any major problems (above (i)) and the other (indeterminate cases, special difficult cases, etc.) (above (vii)) are determined by comprehensively evaluating the insertion state information and image information.
  • the specially difficult case refers to a case in which it is difficult for an expert doctor to insert an endoscope into the large intestine for some reason, for example, a patient with stenosis or adhesion caused by inflammatory bowel disease or laparotomy, Examples include diverticulosis patients.
  • (vii) above for example, when a reliable recognition result is not obtained by various situation recognitions, or when stenosis or adhesion is found based on image information, further insertion operation can be continued.
  • step S102 the situation determination unit 104 determines which of the above situations (i) to (vii) the insertion unit 11 corresponds to. In the following steps, the situation determination unit 104 makes a determination based on the insertion situation determined in step S102.
  • step S103 the situation determination unit 104 determines whether or not the insertion unit 11 is bent based on the determination result in step S102 (that is, whether or not the determination result is (ii)). If it is determined that bending has occurred (step S103—Yes), the process proceeds to step S104, and the bending removal process is executed. If it is determined that no bending has occurred (step S103—No), the process proceeds to step S105.
  • FIG. 7 is a flowchart showing an example of the bending removal process.
  • the insertion control information generation unit 105 generates advance / retreat / rotation control information that is information on the advance / retreat / rotation control to be performed by the drive control unit 110 in order to remove the bend of the insertion unit 11. To do.
  • a pulling operation is effective for removing the bending. For example, it is also effective to repeat the push / pull operation of about 2 to 3 cm. This operation is also referred to as jiggling. In addition, when the bending cannot be removed even by such an operation, it is effective to add a rotation operation (twisting operation) of about 45 ° to the left and right.
  • the insertion control information generation unit 105 acquires information related to the operation stored in the storage unit 107 or information related to the operation from another external storage device, and generates advance / retreat control information.
  • step S202 the advance / retreat control circuit 111 or the rotation control circuit 114 of the drive control unit 110 operates the advance / retreat drive unit 20 or the rotation drive unit 50 based on the advance / retreat control information generated in step S201. Thereby, the advance / retreat / rotation control of the insertion portion 11 is executed.
  • step S203 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S204 the situation determination unit 104 determines whether or not the bending removal of the insertion unit 11 has been completed. The processes from step S201 to S204 are repeated until it is determined that the bend removal has been completed. If it is determined that the bend removal has been completed (step S204—Yes), the bend removal process returns.
  • step S104 the process returns to step S102.
  • step S105 the situation determination unit 104 determines whether or not a loop is formed in the insertion unit 11 based on the determination result in step S102 (that is, whether or not the determination result is (iii)). . If it is determined that a loop is formed (step S105—Yes), the process proceeds to step S106, and the loop handling process is executed. If it is determined that a loop is not formed (step S105—No), the process proceeds to step S107.
  • FIG. 8 is a flowchart showing an example of the loop handling process.
  • the situation determination unit 104 determines whether the loop is a releasable loop. For example, if the distal end portion 12 is sufficiently (for example, a predetermined length or more) with respect to the loop and enters the back side of the large intestine (mostly the descending colon to the splenic curve), it is determined that the release is possible.
  • step S301 If it is determined that the loop can be released (step S301—Yes), the process proceeds to step S302.
  • step S ⁇ b> 302 the insertion control information generation unit 105 generates advance / retreat / rotation control information that is information on advance / retreat control to be performed by the drive control unit 110 in order to release the loop of the insertion unit 11.
  • the loop of the insertion portion 11 that can occur near the sigmoid colon during colonoscopy includes an ⁇ loop, a reverse ⁇ loop, an N loop, a ⁇ loop, and the like.
  • the insertion control information generation unit 105 generates advance / retreat / rotation control information for the release operation corresponding to each.
  • the insertion control information generation unit 105 may read information related to operations suitable for various loop cancellations from the storage unit 107 or other storage devices, and generate advance / retreat control information. Operations suitable for releasing various loops are, for example, Takayoshi Suzuki and 10 others, “[Efforts to facilitate insertion] utilization of an endoscope insertion shape observation apparatus”, digestive organ endoscope, Tokyo Medical, Published April 25, 2016, Vol. 28, no. 4, P.I. Reference may be made to the techniques disclosed in US Pat.
  • step S303 the advance / retreat control circuit 111 or the rotation control circuit 114 of the drive control unit 110 operates the advance / retreat drive unit 20 or the rotation drive unit 50 based on the advance / retreat control information generated in step S302. Thereby, the advance / retreat / rotation control of the insertion portion 11 is executed.
  • step S304 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S305 the situation determination unit 104 determines whether or not the loop release of the insertion unit 11 has been completed. The processing from step S302 to S305 is repeated until it is determined that the loop cancellation is completed. When it is determined that the loop cancellation is completed (step S305-Yes), the loop handling processing returns.
  • step S301 determines whether or not to continue the insertion. For example, if the insertion should be continued without releasing the loop (such as a state where the distal end of the insertion portion 11 has reached the splenic curve), the situation determination unit 104 does not need to release the loop. It is determined that the insertion is continued. If it is determined to continue the insertion (step S306—Yes), the process proceeds to step S307. In step S ⁇ b> 307, the insertion control information generation unit 105 generates insertion control information that is information on insertion control to be performed by the drive control unit 110.
  • step S308 the drive control unit 110 operates the advance / retreat drive unit 20, the bending drive unit 30, the AWS drive unit 40, or the rotation drive unit 50 based on the insertion control information generated in step S307. Thereby, the insertion control of the insertion part 11 is performed.
  • step S308 the loop handling process returns.
  • step S306 determines whether the insertion is not continued (step S306-No). If it is determined in step S306 that the insertion is not continued (step S306-No), the process proceeds to step S309.
  • step S309 the insertion control information generation unit 105 generates stop / warning information.
  • step S310 the drive control unit 110 stops each of the drive units 20, 30, and 40. Further, based on the warning information from the insertion control information generation unit 105, the warning output unit 106 outputs a warning. After step S310, the process ends. After the stop / warning process is completed, the operator may manually improve the situation.
  • step S305 After the loop handling process returns from step S305 or step S308, the process returns to step S102.
  • step S107 the situation determination unit 104 determines whether or not a predetermined amount of force applied to the insertion unit 11 is detected based on the determination result in step S102 (that is, whether the determination result is (vi)). Is determined. If it is determined that a power level greater than or equal to the predetermined level has been detected (step S107—Yes), the process proceeds to step S108, and the power level cancellation process is executed. If it is determined that a predetermined amount of force is not detected (step S107—No), the process proceeds to step S109.
  • FIG. 9 is a flowchart showing an example of the competence elimination process.
  • the situation determination unit 104 uses a threshold process or the like to specify a position where a large force is applied in the insertion unit 11 from the insertion state information.
  • the insertion control information generation unit 105 refers to the identified position, and generates advance / retreat / rotation control information to be performed by the drive control unit 110 in order to eliminate the force. For example, advance / retreat / rotation control information similar to the case of bending removal is generated.
  • step S403 the advance / retreat control circuit 111 or the rotation control circuit 114 of the drive control unit 110 operates the advance / retreat drive unit 20 or the rotation drive unit 50 based on the advance / retreat / rotation control information generated in step S402. Thereby, the advance / retreat / rotation control of the insertion portion 11 is executed. For example, by executing such an insertion operation, the resistance received by the insertion unit 11 is eliminated.
  • step S404 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S405 the situation determination unit 104 determines whether or not the cancellation of the predetermined amount of power has been completed. Until it is determined that the cancellation has been completed, the processing from step S401 to S405 is repeated. If it is determined that the cancellation has been completed (step S405-Yes), the competence cancellation processing returns.
  • step S108 the process returns to step S102.
  • step S109 based on the determination result in step S102, the situation determination unit 104 determines whether or not it is an undecidable / special difficult case (that is, whether or not the determination result is (vii)). If it is determined that the case cannot be determined / specially difficult (step S109—Yes), the process proceeds to step S110 and proceeds to the stop / warning process. If it is determined that the case is not indeterminate / specially difficult (step S109—No), the process proceeds to step S111.
  • FIG. 10 is a flowchart showing an example of the stop / warning process.
  • the insertion control information generation unit 105 generates stop / warning information.
  • the drive control unit 110 stops the drive units 20, 30, 40, and 50. Further, based on the warning information from the insertion control information generation unit 105, the warning output unit 106 outputs a warning.
  • the process of step S502 ends, the process returns.
  • step S110 After the stop / warning process in step S110, the process ends.
  • the surgeon may make manual improvements. For example, the insertion unit 11 is inserted again after being pulled back by about 10 cm toward the hand side. Or, depending on the judgment of the surgeon, the insertion may be continued, the insertion may be stopped, the stomach part may be compressed, the endoscope may be replaced with a thin insertion part.
  • step S111 the situation determination unit 104 determines whether or not the lumen direction is detected (that is, (i), (iv), or (v)). If the lumen direction is detected (step S111—Yes), the process proceeds to step S112. This is a process corresponding to the situation (i) in which insertion is possible without a major problem.
  • step S112 the insertion control information generation unit 105 generates insertion control information to be performed.
  • step S113 the drive control unit 110 operates the advance / retreat drive unit 20, the bending drive unit 30, the AWS drive unit 40, or the rotation drive unit 50 based on the insertion control information generated in step S112. Thereby, the insertion control of the insertion part 11 is performed.
  • step S114 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S115 the situation determination unit 104 determines whether or not the insertion unit 11 is in an expected insertion state by the insertion operation performed in step S113 based on one or more pieces of information acquired in step S114 (that is, It is determined whether or not the insertion can be continued smoothly without any problem. If it is determined that the operation is performed (step S115—Yes), the process proceeds to step S116. If it is determined that the operation is not performed (step S115—No), the process returns to step S102.
  • step S116 the situation determination unit 104 determines whether to end the process. This is determined, for example, by the presence / absence of an end instruction (external input by an input device not shown) based on the fact that the distal end of the insertion portion 11 has reached the cecum. Or you may determine from insertion state information and image information. If it is determined not to end (step S116: No), the process returns to step S112. If it is determined to end (step S116—Yes), the process ends.
  • step S111 determines in step S111 that the lumen direction has not been detected (step S111—No)
  • step S111 determines whether or not a collapse is detected (that is, whether the determination result is (iv) or (v)). If crushing is detected (step S117-Yes), the process proceeds to step S118, and crushing elimination processing is performed. This is processing in the case of (iv) corresponding to the situation where the traveling direction of the lumen or the like is not visible due to the collapse of the intestinal tract.
  • FIG. 11 is a flowchart showing an example of the crush elimination processing.
  • the insertion control information generation unit 105 generates bending / air supply control information to be performed in order to eliminate the collapse. For example, when the collapsed state of the lumen due to concentration of wrinkles or the like is recognized, it is effective to expand the lumen by performing the bending operation so that the insertion portion 11 faces in the collapsed direction. It is.
  • the insertion control information generation unit 105 acquires information regarding the operation stored in the storage unit 107 or information regarding the operation from another external storage device, and generates bending / air supply control information.
  • step S602 the bending control circuit 112 and the AWS control circuit 113 of the drive control unit 110 operate the bending driving unit 30 and the AWS driving unit 40 based on the generated bending / air supply control information to perform the bending / air supply. Execute control.
  • step S603 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S604 the situation determination unit 104 determines whether or not the crush resolution is completed. The processes from step S601 to S604 are repeated until it is determined that the crush resolution is completed. If it is determined that the crush resolution is completed (step S604-Yes), the crush resolution process returns.
  • step S118 After the crushing elimination process in step S118, the process returns to step S102.
  • step S117-No if no collapse is detected in step S117 (step S117-No), the process proceeds to step S119, and the visual field improvement process is performed. This is processing in a case corresponding to the situation (v) where the lumen direction is lost.
  • FIG. 12 is a flowchart showing an example of the visual field improvement process.
  • the insertion control information generation unit 105 generates bending / rotation / retraction / air supply control information to be performed to improve the visual field. For example, when the lumen direction cannot be detected, it is effective to perform a search by a bending operation / rotation operation, and to improve a visual field by backward movement or air supply.
  • the insertion control information generation unit 105 acquires information related to the operation stored in the storage unit 107 or information related to the operation from another external storage device, and generates bending / rotation / retraction / air supply control information. .
  • Water supply control information may be generated in order to deal with dirt or the like on the tip surface of the tip portion 12.
  • step S ⁇ b> 702 the drive control unit 110 operates the drive units 20, 30, 40, 50, and the like based on the generated bending / rotation / retraction / air supply / water supply control information, and performs bending / rotation / retraction / air supply. / Execute water supply control.
  • step S703 image information is input to the image input unit 102.
  • the insertion state information of the insertion unit 11 of the endoscope 10 is input to the insertion state input unit 103.
  • the situation determination unit 104 acquires image information and insertion state information from the image input unit 102 and the insertion state input unit 103.
  • step S704 the situation determination unit 104 determines whether the visual field improvement is completed. The processes in steps S701 to S704 are repeated until it is determined that the visual field cancellation is completed. If it is determined that the visual field improvement is completed (Yes in step S704), the visual field improvement process returns.
  • step S119 After the visual field improvement process in step S119, the process returns to step S102.
  • the situation determination unit 104 determines whether or not a situation that prevents the insertion operation of the insertion unit 11 has occurred, and when it is determined that such a situation has occurred.
  • the drive control unit 110 operates the various drive units 20, 30, 40, and 50 based on the insertion control information generated by the insertion control information generation unit 105 so as to eliminate the situation.
  • control device 100 As for the implementation of the control device 100, a conventional software program (logical control based on algorithm description), or deep learning, machine learning (for example, reinforcement learning), or the like can be adopted. In logical control based on the algorithm description, various operations of the endoscope are controlled by programming. On the other hand, in reinforcement learning (deep reinforcement learning), a control model is constructed by learning image operations and insertion state information as inputs and learning an action corresponding to each input. The combination of reinforcement learning and deep neural network is deep reinforcement learning. Such techniques related to deep learning and machine learning may be implemented.
  • various situations that can make it difficult to continue the insertion operation are recognized from various information such as image information and insertion state information, and appropriate insertion control information corresponding to the situation is generated.
  • a smooth insertion operation is performed.
  • an endoscope can be automatically inserted.
  • basic insertion operations including advance / retreat operation, bending operation, AWS operation, and rotation operation can be performed by the various drive units 20, 30, 40, 50 and the control device 100 that controls them. It is possible to improve various difficult-to-insert situations that occur during endoscopy in a fully automatic, partially automatic, or semi-automatic manner.
  • the situation determination by the situation determination unit 104 may use at least one of the image information and the insertion state information, and the situation determination may be performed using only one information without acquiring both pieces of information. Moreover, even if both pieces of information are acquired, it is not always necessary to use both pieces of information for situation determination. However, since both types of information can be used to determine more various situations, it is more preferable to acquire both types of information and use them for the determination.
  • stop / warning control is executed depending on an insertion situation that may make it difficult to continue the insertion operation. After the stop or warning, the operator can improve the insertion situation, and more appropriate insertion can be performed by a partially automatic or semi-automatic insertion operation.
  • the insertion shape information is used for detecting the bending of the insertion portion 11.
  • sensors are attached to the distal end and the proximal side position of the insertion portion 11, and the distal end side position and the proximal side are detected by these sensors.
  • the amount of movement with the side position may be compared, and it may be determined that bending has occurred when the amount of movement of the tip is smaller than the amount of movement on the hand side (push-in amount).
  • Such detection and detection based on insertion shape information may be combined.
  • the situation determination unit 104 determines the insertion status based on the insertion status information and the image information.
  • a user for example, a doctor
  • inputs using an input device not shown.
  • the insertion status may be determined using the user instruction information.
  • the user instruction information is input when the user confirms the insertion status and wants to immediately perform appropriate control on the insertion status.
  • the endoscope 10 is not limited to a colonoscope, and the endoscope system 1 can be applied to various endoscopes.
  • each situation (i) to (vii) described above is only an example.
  • changes in the running form of the large intestine by the insertion part 11 partial straightening, etc.
  • passage of the bent part adsorption of the mucous membrane by suction
  • situation determination and insertion control information generation may be performed using image information and insertion state information, or in addition to these, various other information.
  • the insertion operation of the insertion unit 11 by the drive unit operated by the control device 100 may also include operations other than forward / backward movement, bending, air supply / water supply / suction, and rotation.
  • the endoscope, the drive device, and the control device have been described as a series of systems. However, these can be designed as individual units and configured to be used in combination.
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage.
  • the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained.
  • the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.

Abstract

内視鏡システム（１）は、挿入部（１１）と、挿入部の挿入動作を行わせる駆動部（２０，３０，４０，５０）と、を有する内視鏡（１０）を含む。また、内視鏡システムは、画像情報を生成する画像処理部（１０１）と、画像情報と挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部（１０４）と、挿入状況に基づいて挿入制御情報を生成する挿入制御情報生成部（１０６）と、挿入制御情報に基づいて駆動部を制御する制御部（１１０）と、を含む。

Description

内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体
　本発明は、内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体に関する。
　被検体内への内視鏡の挿入操作を術者による手動操作ではなく制御装置による自動操作で行う自動挿入内視鏡システムが知られている。例えば、日本国特許第４３２３５１５号公報には、湾曲部を備えた挿入部と、湾曲部の向きを変えさせる湾曲駆動部及び挿入部を前進又は後退させる進退駆動部と、湾曲駆動部及び進退駆動部を制御する制御装置と、を含む内視鏡システムが開示されている。このシステムはまた、挿入部の湾曲形状を検出する内視鏡形状検出装置を含む。このシステムでは、内視鏡形状検出装置が検出した湾曲形状に基づいて制御装置が挿入部の進退方向を補正しながら、制御装置による挿入部の前進又は後退が行われる。
　内視鏡検査では、被検体の状態（例えば管腔の癒着）、あるいは挿入部の状態（例えば撓み又はループの発生）などに起因する種々の挿入状況が生じうる。自動挿入内視鏡システムでの円滑な挿入操作のためには、制御装置が各種状況に応じた適切な挿入制御を行う必要がある。
　そこで、本発明は、挿入状況に応じた適切な挿入制御を行うことができる内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体を提供することを目的とする。
　本発明の一実施形態は、被検体に挿入される可撓性の挿入部と、被検体を撮像する撮像素子と、前記挿入部の挿入動作を行わせる駆動部と、前記撮像素子で取得した情報に基づいて画像情報を生成する画像処理部と、前記画像情報と、前記挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部と、前記挿入状況に基づいて挿入制御情報を生成する挿入制御情報生成部と、前記挿入制御情報に基づいて前記駆動部を制御する制御部と、を具備する、内視鏡システムである。
　また、本発明の一実施形態は、画像情報と、内視鏡の挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部と、前記挿入状況に基づいて前記挿入部の挿入動作を制御するための挿入制御情報を生成する挿入制御情報生成部と、前記挿入制御情報に基づいて前記挿入部の挿入動作を制御する制御部と、を具備する、内視鏡制御装置である。
　また、本発明の一実施形態は、上述のような内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体である。
　本発明によれば、挿入状況に応じた適切な挿入制御を行うことができる内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体を提供することができる。
図１は、内視鏡システムの一例を概略的に示す図である。 図２は、内視鏡システムの構成の一例を示すブロック図である。 図３は、内視鏡システムの自動挿入に関する挿抜駆動部の構成の一例を示す図である。 図４は、内視鏡システムの自動挿入に関する湾曲駆動部の構成の一例を示す図である。 図５は、内視鏡システムの自動挿入に関するＡＷＳ駆動部の構成の一例を示す図である。 図６Ａは、内視鏡システムの挿入時の動作の一例を示す図である。 図６Ｂは、内視鏡システムの挿入時の動作の一例を示す図である。 図７は、撓み除去処理の一例を示す図である。 図８は、ループ対応処理の一例を示す図である。 図９は、力量解消処理の一例を示す図である。 図１０は、停止／警告処理の一例を示す図である。 図１１は、つぶれ解消処理の一例を示す図である。 図１２は、視野改善処理の一例を示す図である。
　以下、本発明の実施形態が図面を参照して説明される。　
　図１は、本発明の実施形態による内視鏡システム１の一例を概略的に示す図である。図２は、内視鏡システム１の構成の一例を示すブロック図である。図３は、内視鏡システム１の自動挿入に関する構成の一例を概略的に示す図である。内視鏡システム１は、内視鏡１０と、挿入形状演算装置７０と、外力情報演算装置８０と、表示装置９０と、制御装置１００とを含む。挿入形状演算装置７０及び外力情報演算装置８０は、挿入状態検出部を構成する。
　（内視鏡）　
　内視鏡１０は、挿入部１１と、操作部１６とを有している。挿入部１１は、先端と基端とを有し、被検体に挿入される細長い管状体である。挿入部１１は、その先端から順に、先端部１２と、湾曲部１３と、可撓管部１４とを含む。先端部１２は、不図示の照明光学系及び観察光学系、図２に示される撮像素子１９などを含む。湾曲部１３は、後述する湾曲駆動部３０によって所望の方向（例えば、上下／左右方向）に湾曲される。可撓管部１４は、軟性管であって湾曲自在である。操作部１６は、内視鏡１０において挿入部１１の基端側に位置している。操作部１６は、後述する各種駆動部２０、３０、４０、５０の一部を含む。
　挿入部１１の内部には、不図示の像伝送ケーブル及びライトガイドが組み込まれている。また、操作部１６からユニバーサルコード１７が延びており、ユニバーサルコード１７には、前記像伝送ケーブル及びライトガイド、各種駆動部２０、３０、４０、５０からの電気ケーブルなどが含まれている。ユニバーサルコード１７によって内視鏡１０が制御装置１００に接続されている。
　挿入部１１の内部には、例えば湾曲部１３及び可撓管部１４に、複数の発信コイル１８が配置されている。発信コイル１８は、挿入部１１の長手方向（軸方向）に沿って互いに離間して配置されている。
　内視鏡１０では、制御装置１００による制御により、挿入部１１を被検体に進退させることが可能である（進退操作）。また、制御装置１００による制御により、湾曲部１３を所望の方向に湾曲させることが可能である（湾曲操作）。また、制御装置１００による制御により、先端部１２に設けられた不図示の送気口や送水口への送気や送水をさせたり吸引口から吸引させたりすることが可能である（送気（Ａ）・送水（Ｗ）・吸引（Ｓ）操作、以下、ＡＷＳ操作と称する）。さらに、制御装置１００による制御により、挿入部１１を挿入軸まわりに回転させることが可能である（回転操作）。
　本実施形態における内視鏡１０は、全自動挿入内視鏡である。しかしながら、内視鏡１０は、半自動挿入内視鏡、あるいは部分的自動挿入内視鏡であってもよい。ここで、半自動、部分的自動及び全自動は、例えば、以下のように定義される。　
　半自動：例えば、湾曲操作は自動で、すなわち操作者の判断及び入力に基づいてではなく、制御装置１００による判断に基づいて行われ、進退操作は操作者の判断及び入力に基づいて行われる等、上記の進退操作、湾曲操作、ＡＷＳ操作、回転操作などの挿入操作のうちの全てではない一以上の操作の制御を制御装置１００が行う。　
　部分的自動：通常の状況（例えば、挿入操作が順調に進められる状況）では操作者の判断及び入力に基づいて挿入操作が行われる。一方、挿入操作の継続が困難な状況（例えば挿入部１１にループが発生している状況）などの特定の状況下では制御装置１００が挿入操作の制御を行う。　
　全自動：進退操作、湾曲操作、ＡＷＳ操作、回転操作等の基本的な挿入操作の制御を全て制御装置１００が行う。
　なお、半自動、あるいは部分的自動の場合には、術者は、操作部１６に設けられた不図示の操作ノブ、操作ボタン、ジョイスティック、あるいはフットスイッチ等の入力装置から制御装置１００に操作指示を入力する。
　内視鏡１０は、進退駆動部２０と、湾曲駆動部３０と、ＡＷＳ駆動部４０と、回転駆動部５０とを含む。進退駆動部２０は、不図示のモータ等を含み、挿入部１１の進退、すなわち前進又は後退を行うための駆動機構である。例えば、進退駆動部２０は、挿入部１１を押すことにより被検体内に進行させる、あるいは、挿入部１１を引くことにより被検体内から後退させる機構、すなわち、挿入部１１を押し／引き操作するための機構である。湾曲駆動部３０は、不図示のモータ等を含み、湾曲部１３を湾曲させるための駆動機構である。ＡＷＳ駆動部４０は、内視鏡１０に送気、送水及び吸引を行わせるための駆動機構である。回転駆動部５０は、挿入部１１を挿入軸まわりに右又は左に捻る、すなわち回転させるための駆動機構である。このように、内視鏡１０は、各駆動部２０、３０、４０、５０により各種挿入操作がなされる電動内視鏡である。
　制御装置１００は、駆動制御部１１０を含む。駆動制御部１１０は、進退制御回路１１１と、湾曲制御回路１１２と、ＡＷＳ制御回路１１３と、回転制御回路１１４とを含む。進退駆動部２０は、進退制御回路１１１により制御される。湾曲駆動部３０は、湾曲制御回路１１２により制御される。ＡＷＳ駆動部４０は、ＡＷＳ制御回路１１３により制御される。回転駆動部５０は、回転制御回路１１４により制御される。
　以下、図３乃至図５を参照して、各駆動部２０、３０、４０の構成の一例について説明する。
　進退駆動部２０は、図３に示されるように、例えば、１対のローラ２１、２２を含む。ローラ２１、２２は、挿入部１１を挟んで対向して配置されている。ローラ２１、２２は、それぞれ、進退制御回路１１１に電気的に接続された不図示のモータにより回転軸Ｃ１、Ｃ２を中心として回転可能である。ローラ２１、２２の回転により、挿入部１１は、Ａ１で示される矢印の方向に、すなわち先端に向かって送られたり、Ａ２で示される矢印の方向に、すなわち基端に向かって戻されたりすることが可能である。
　湾曲駆動部３０は、図４に示されるように、例えば、ワイヤ３１、３２、３３、３４を含む。これらワイヤ３１、３２、３３、３４の先端は、それぞれ、湾曲部１３の上下左右にそれぞれ固定されている。また、ワイヤ３１、３２の不図示の基端は第１のプーリ３５に連結されており、ワイヤ３３、３４の不図示の基端は第２のプーリ３６に連結されている。プーリ３５、３６は、それぞれ、湾曲制御回路１１２に電気的に接続された不図示のモータによりその回転軸を中心として回転可能である。当該回転により、湾曲部１３は、例えば、上下左右方向に湾曲可能である。
　ＡＷＳ駆動部４０は、図５に示されるように、ポンプ４１と、電磁弁４２、４３、４４と、送水タンク４５と、吸引ポンプ４６と、電磁弁４７と、吸引タンク４８とを含む。ポンプ４１、電磁弁４２、４３、４４、吸引ポンプ４６、電磁弁４７は、ＡＷＳ制御回路１１３に電気的に接続されている。
　挿入部１１の内部には、その長手方向に沿って延びた送気用管路６５及び送水用管路６６が設けられている。送気用管路６５及び送水用管路６６は、それぞれ、先端部１２に位置する不図示の送気口及び送水口につながっている。送気用管路６５は、電磁弁４３、電磁弁４２を介してポンプ４１に接続されている。送水用管路６６は、送水タンク４５内の水部分内にあり、電磁弁４４、電磁弁４２を介してポンプ４１に接続されている。ＡＷＳ制御回路１１３は、ポンプ４１、電磁弁４２、４３、４４の動作を制御することにより、送気又は送水を行う。例えば、電磁弁４２が閉じられているときには、ポンプ４１による送気は、外部へリークしている。一方、電磁弁４２を電磁弁４３側へのみ開き、電磁弁４３が開かれて電磁弁４４が閉じられているときには、ポンプ４１から送られた空気が送気用管路６５を介して送気口から外部に送られる。送気により、被検体を膨張させることが可能である。また、電磁弁４２を電磁弁４４側へのみ開き、電磁弁４３が閉じられて電磁弁４４が開かれているときには、ポンプ４１から送られた空気が送水タンク４５内を加圧して、送水タンク４５内の水が送水用管路６６を介して送水口から外部に送られる。送水により、先端部１２の泡、残渣、レンズ等の汚れが除去される。
　挿入部１１の内部には、その長手方向に沿って延びた吸引用管路６７が設けられている。吸引用管路は、先端部１２に位置する不図示の吸引口につながっている。吸引用管路６７は、吸引タンク４８、電磁弁４７を介して吸引ポンプ４６に接続されている。ＡＷＳ制御回路１１３は、吸引ポンプ４６及び電磁弁４７の動作を制御することにより、吸引を行う。例えば、電磁弁４７が閉じられているときには、吸引ポンプ４６が外気を吸引し、電磁弁４７が開かれているときには、吸引タンク４８、吸引用管路６７を介して吸引口からの吸引が行われる。吸引により、先端部１２の残渣等の液状物質が除去される。
　以上説明した進退駆動部２０、湾曲駆動部３０及びＡＷＳ駆動部４０の構成は一例であり、これに限定されない種々の駆動機構が採用されてよい。例えば、進退駆動部２０は、バルーンの膨張／収縮を用いた推進機構、例えば特許第４８６４００３号公報に開示されるような、挿入部の外周の長手軸回りに回転可能に設けられた推進力発生部による推進機構などであってよい。また、例えば、進退駆動部２０は、挿入部１１を人が手で握るように把持する把持部を備え、当該把持部で握った挿入部１１を押し／引き操作できる把持／把持解除可能な機構であってもよい。
　回転駆動部５０は、図示しないが、例えば、挿入部１１の基端側で挿入部１１を把持する把持部と、把持部に動力を供給するモータとを含む。回転駆動部５０では、例えば、把持部が、モータからの駆動力により挿入部１１を挿入軸まわりに右又は左に回転させる。すなわち、回転駆動部５０は、挿入部１１を右又は左に捻らせる。回転駆動部５０も、これに限定されない、挿入部１１を回転させることが可能な種々の駆動機構を採用してよい。回転駆動部５０は、回転制御回路１１４に電気的に接続されており、回転制御回路１１４は、例えば、挿入部１１の回転角、回転速度及び回転力量（トルク）を制御可能である。
　（挿入形状検出装置）　
　本実施形態では、挿入形状演算装置７０は、発信コイル１８、アンテナ７１、制御装置１００の発信信号生成部１１５とともに、挿入部１１の少なくとも一部の形状を形状情報として検出する挿入形状検出装置７２として機能する。
　発信信号生成部１１５は、発信コイル１８から磁界を発生させるための信号、例えば正弦波の電流を生成する。生成した信号は、各発信コイル１８に対して決められた順番で、例えば挿入部１１の先端側の発信コイル１８から順番に出力される。発信コイル１８は、発信信号生成部１１５から流れる電流により、磁界を発生させる。
　アンテナ７１は、図示しない複数の受信コイルで構成されている。アンテナ７１は、発信コイル１８が発生した磁界信号を検出する。挿入形状演算装置７０とアンテナ７１との接続は、有線であっても無線であってもよい。
　挿入形状演算装置７０は、アンテナ７１から入力された磁界の強度情報に基づいて、各発信コイル１８の位置と方向ベクトルとを含む位置情報を演算する。挿入形状演算装置７０は、各発信コイル１８に対する複数の位置情報から、挿入部１１の形状情報を演算する。また、挿入形状演算装置７０は、挿入部１１が被検体内へどれくらいの長さだけ挿入されているか、すなわち、挿入部１１の被検体への挿入長情報も演算可能である。形状情報及び挿入長情報は、外力情報演算装置８０及び制御装置１００に出力される。表示可能な形式の形状情報及び挿入長情報が表示装置９０に出力されてもよい。
　なお、挿入部１１の少なくとも一部の形状を検出するために挿入部１１の湾曲状態を検出可能なものであれば磁気式以外の挿入形状検出装置であってもよい。例えば、磁気を利用したセンシング（磁気センサ）、超音波を利用したセンシング（超音波センサ）、光ファイバを導光する光の損失を利用したセンシング（光ファイバセンサ）、歪みを利用したセンシング（歪みセンサ）、あるいはＸ線吸収材料を利用したセンシングのいずれか１つ又はこれらの組合せが利用可能である。
　（外力情報演算装置）　
　外力情報演算装置８０は、挿入形状演算装置７０により検出された挿入部１１の形状情報に基づいて、挿入部１１の長手方向の各位置に加わっている外力情報を演算する。外力情報演算装置８０は、例えば、外力の無い状態での挿入部１１の複数の所定位置の曲率（又は曲率半径）及び湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した挿入部１１の複数の所定位置の曲率（又は曲率半径）及び湾曲角度のデータとを予め格納している。外力情報演算装置８０は、例えば、各発信コイル１８の位置における挿入部１１の曲率（又は曲率半径）や湾曲角度に基づいて、予め格納している各種データを参照して、各発信コイル１８の位置における外力の大きさや方向に関する外力情報を演算する。外力情報演算装置８０は、例えば、特許第５８５１２０４号公報又は特許第５８９７０９２号公報に開示される外力情報演算の手法を用いてよい。
　なお、挿入部１１の長手方向の各位置に加わっている外力情報は、挿入部１１に歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、無線素子等を配置することにより算出されてもよい。
　（制御装置）　
　制御装置１００は、画像処理回路１０１と、画像入力部１０２と、挿入状態入力部１０３と、状況判定部１０４と、挿入制御情報生成部１０５と、警告出力部１０６と、駆動制御部１１０とを含む。駆動制御部１１０は、上述したように、進退制御回路１１１と、湾曲制御回路１１２と、ＡＷＳ制御回路１１３と、回転制御回路１１４とを含む。これら各部は、ＣＰＵなどの１又は複数の集積回路を含むプロセッサにより構成されている。あるいは、コンピュータプロセッサを、制御装置１００として機能させるためのソフトウェアプログラムを後述の記憶部１０７あるいは他の記録媒体に準備しておき、そのプログラムをプロセッサが実行することで、この制御装置１００の機能をプロセッサが実施するように構成してもよい。
　制御装置１００の上述の各部は、制御装置１００とは別の制御装置に含まれてもよい。例えば、画像入力部１０２、挿入状態入力部１０３、状況判定部１０４、挿入制御情報生成部１０５及び駆動制御部１１０は、画像処理回路１０１を含む内視鏡ビデオ画像プロセッサとは別の制御装置に含まれてよい。あるいは、各々が別の制御装置に含まれてもよい。すなわち、制御装置１００の上述の各部として機能するプロセッサあるいはハードウエア回路は、各部としての機能を実施可能である限り、１つの筐体に含まれてもよいし、複数の筐体に含まれてもよい。
　画像処理回路１０１は、内視鏡１０の先端部１２の撮像素子１９で被写体からの光を変換した電気信号をビデオ信号に変換処理し、被写体像に基づく内視鏡画像を生成し、表示装置９０に内視鏡画像を表示させる。
　画像入力部１０２には、画像処理回路１０１で生成した内視鏡画像情報（以下、単に「画像情報」と称する）が入力される。挿入状態入力部１０３には、挿入形状演算装置７０で演算した挿入形状情報及び挿入長情報と、外力情報演算装置８０で演算した外力情報とが入力される。
　状況判定部１０４は、画像入力部１０２から画像情報を、挿入状態入力部１０３から挿入状態情報を、それぞれ取得する。状況判定部１０４は、取得した画像情報と挿入状態情報との少なくとも一方に基づいて、内視鏡１０の挿入状況を判定する。
　挿入制御情報生成部１０５は、状況判定部１０４での挿入状況判定に基づいて、挿入動作を制御するための情報として、挿入制御情報（進退制御情報、湾曲制御情報、ＡＷＳ制御情報又は回転制御情報）を生成する。警告出力部１０６は、状況判定部１０４での挿入状況判定に基づいて、警告を出力する。
　駆動制御部１１０において、進退制御回路１１１は、挿入制御情報生成部１０５で生成された進退制御情報に基づいて進退駆動部２０を動作させる。湾曲制御回路１１２は、挿入制御情報生成部１０５で生成された湾曲制御情報に基づいて湾曲駆動部３０を動作させる。ＡＷＳ制御回路１１３は、挿入制御情報生成部１０５で生成されたＡＷＳ制御情報に基づいてＡＷＳ駆動部４０を動作させる。回転制御回路１１４は、挿入制御情報生成部１０５で生成された回転制御情報に基づいて回転駆動部５０を動作させる。
　制御装置１００は、記憶部１０７を有している。記憶部１０７は、半導体メモリ等のストレージである。記憶部１０７は、挿入制御情報生成部１０５が挿入制御情報を生成するための各種データや制御装置１００の動作に必要な各種プログラムなどを記憶している。
　（表示装置）　
　表示装置９０は、液晶ディスプレイなどのモニタである。表示装置９０は、内視鏡画像や内視鏡挿入形状などを表示する。
　（自動挿入内視鏡システムの動作）　
　以下、図６Ａ及び図６Ｂを参照して、大腸内視鏡検査時の制御装置１００の動作が説明される。すなわち、以下の説明では、被検体は大腸であり、内視鏡１０は大腸内視鏡である。
　ステップＳ１０１において、制御装置１００の画像入力部１０２には、画像情報が入力される。また、制御装置１００の挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。入力される挿入状態情報とは、挿入形状演算装置７０からの挿入形状情報及び挿入長情報と、外力情報演算装置８０からの外力情報とである。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報をそれぞれ取得する。
　ステップＳ１０２において、状況判定部１０４は、ステップＳ１０１で取得した画像情報と挿入状態情報との少なくとも一方に基づいて、挿入状況の判定を行う。ここでは、一例として、両方の情報に基づいて挿入状況の判定が行われる。本実施形態では、大腸内視鏡検査時の挿入操作において生じる種々の挿入状況が以下の通り分類される。　
　（ｉ）大きな問題なく挿入できている状況　
　（ｉｉ）挿入部１１に撓みが生じている状況　
　（ｉｉｉ）挿入部１１にループが生じている状況　
　（ｉｖ）腸管のつぶれにより管腔等の進行方向が見えていない状況　
　（ｖ）管腔方向を見失っている状況　
　（ｖｉ）挿入部１１に大きな力量がかかっている状況　
　（ｖｉｉ）その他（判定不能、特殊困難症例など）。
　上記（ｉ）では、挿入部１１がそのまま推進することができる。一方、上記（ｉｉ）から（ｖｉｉ）では、挿入部１１の推進を妨げる状況が生じている。状況判定部１０４は、挿入部１１が推進可能な状況であること、又は挿入部１１の推進を妨げる状況が生じていることを判定する。
　挿入部１１の形状に関する状況（上記（ｉｉ）及び（ｉｉｉ））は、挿入形状情報から判定される。例えば、挿入部１１に撓みが生じているか否かの検出には、特許第４６５６９８８号公報に開示されるような、挿入部１１の形状解析における撓み量の算出に基づく手法を用いてよい。例えば、ループ検出及びループ種別判定には、種々の手法が適用可能であり、特許第４２７４８５４号公報に開示されるような、挿入部１１の特定の位置を検出して記憶部１０７に時系列的に記憶させ、記憶させた時系列的な位置情報に基づいて挿入部１１の形状解析及びループ種別判定を行う手法が適用されてよい。挿入形状情報を入力データとし、ループ形状を識別対象のカテゴリとした教師データを用いることによるDeep Neural Network等による識別処理の適用も可能である。
　進行方向や管腔方向に関する状況（上記（ｉｖ）及び（ｖ））は、画像情報から判定される。例えば、内視鏡１０が３０ｆｐｓで内視鏡画像を撮像し、現時点から前１０秒分、すなわち３００フレームの画像情報を用いて状況判定部１０４が状況判定を行ってよい。もちろん、入力される内視鏡画像はこれに限定されるものではなく、サンプリングにより１秒間に３０フレームよりも少なくしてもよい。例えば、管腔方向の検出には、種々の手法が適用可能であり、内視鏡画像中の明暗の変化を評価することによる検出手法のほか、Fully Convolutional Network（ＦＣＮ）などディープラーニングを用いた画像の領域分割手法などを用いてもよい。
　挿入部１１に大きな力量（所定以上の力量）がかかっていること（上記（ｖｉ））は、外力情報から判定される。大きな力量がかかっていることは、腸管に負荷を加えていることを示唆する。
　大きな問題なく挿入できていること（上記（ｉ））、及び、その他（判定不能、特殊困難症例など）（上記（ｖｉｉ））は、挿入状態情報及び画像情報を総合的に評価して判定される。なお、特殊困難症例とは、何らかの理由により熟練医であっても大腸への内視鏡挿入が難しい症例を指すもので、例えば炎症性腸疾患や開腹手術により狭窄や癒着が生じている患者、憩室症の患者等が挙げられる。上記（ｖｉｉ）は、例えば、各種の状況認識によっても確実な認識結果が得られなかった場合や、画像情報に基づいて狭窄や癒着等が見出されたことによりそれ以上の挿入操作の続行が困難とされた場合などを含む。あるいは、上記（ｖｉｉ）は、例えば、各種状況の検出・回避操作をしても状況が一向に改善しない場合や、上記（ｉｉ）から（ｖｉ）の状況が一旦解消したもののまた同じ状況が生じるなど、同じ状況を繰り返している場合や、何らかの理由で挿入部１１の先端が進まない状況などを含む。このような状況は、例えば、挿入状態情報及び画像情報を取得するたびにこれら情報を記憶部１０７に記憶させておき、状況判定部１０４が記憶された情報と新たに取得した挿入状態情報及び画像情報とを比較することにより判定可能である。あるいは、カウンタが設定されて、同じ状況が発生した回数（発生頻度）あるいは所定時間内に同じ状況が繰り返し発生していることを当該カウンタでカウントすることにより判定可能である。
　このように、状況判定部１０４は、ステップＳ１０２において、挿入部１１が上記（ｉ）～（ｖｉｉ）のいずれの状況に該当するかを判定する。そして、以下のステップにおいて、状況判定部１０４は、ステップＳ１０２で判定した挿入状況に基づいた判定を行う。
　ステップＳ１０３において、状況判定部１０４は、ステップＳ１０２での判定結果に基づいて、挿入部１１に撓みが生じているか否か（すなわち、判定結果が（ｉｉ）であるか否か）を判定する。撓みが生じていると判定された場合には（ステップＳ１０３－Ｙｅｓ）、処理はステップＳ１０４に進み、撓み除去処理が実行される。撓みが生じていないと判定された場合には（ステップＳ１０３－Ｎｏ）、処理はステップＳ１０５に進む。
　図７は、撓み除去処理の一例を示すフローチャートである。撓み除去処理では、ステップＳ２０１において、挿入制御情報生成部１０５が、挿入部１１の撓みを除去するために駆動制御部１１０によって行われるべき進退／回転制御の情報である進退／回転制御情報を生成する。
　撓みを除去するためには、引き操作が有効である。例えば、２～３ｃｍ程度の押し／引き操作を繰り返すことも有効である。当該操作はジグリングとも称される操作である。また、このような操作でも撓みを除去できない場合には、左右４５°程度の回転操作（捻り操作）を加えることが有効である。挿入制御情報生成部１０５は、記憶部１０７に記憶されている当該操作に関する情報、又は他の外部記憶装置から当該操作に関する情報を取得して、進退／回転制御情報を生成する。
　ステップＳ２０２において、駆動制御部１１０の進退制御回路１１１あるいは回転制御回路１１４が、ステップＳ２０１で生成された進退／回転制御情報に基づいて、進退駆動部２０あるいは回転駆動部５０を動作させる。これにより、挿入部１１の進退／回転制御が実行される。
　ステップＳ２０３において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ２０４において、状況判定部１０４は、挿入部１１の撓み除去が完了したか否かを判定する。撓み除去が完了したと判定されるまで、ステップＳ２０１からＳ２０４の処理が繰り返されて、撓み除去が完了したと判定されると（ステップＳ２０４－Ｙｅｓ）、撓み除去処理はリターンする。
　ステップＳ１０４の撓み除去処理の後、処理はステップＳ１０２に戻る。
　ステップＳ１０５において、状況判定部１０４は、ステップＳ１０２での判定結果に基づいて、挿入部１１にループが形成されているか否か（すなわち、判定結果が（ｉｉｉ）であるか否か）を判定する。ループが形成されていると判定された場合には（ステップＳ１０５－Ｙｅｓ）、処理はステップＳ１０６に進み、ループ対応処理が実行される。ループが形成されていないと判定された場合には（ステップＳ１０５－Ｎｏ）、処理はステップＳ１０７に進む。
　図８は、ループ対応処理の一例を示すフローチャートである。ループ対応処理では、ステップＳ３０１において、状況判定部１０４が、そのループが解除可能なループであるか否かを判定する。例えば、ループに対して先端部１２が十分に（例えば所定長さ以上）大腸奥側（多くは下行結腸～脾湾曲）に入っていれば解除可能であると判定される。
　ループ解除が可能であると判定された場合（ステップＳ３０１－Ｙｅｓ）、処理はステップＳ３０２に進む。ステップＳ３０２において、挿入制御情報生成部１０５が、挿入部１１のループを解除するために駆動制御部１１０によって行われるべき進退／回転制御の情報である進退／回転制御情報を生成する。
　大腸内視鏡検査時にＳ状結腸付近で生じうる挿入部１１のループには、αループ、逆αループ、Ｎループ、γループ等がある。挿入制御情報生成部１０５は、それぞれに対応する解除操作のための進退／回転制御情報を生成する。挿入制御情報生成部１０５は、記憶部１０７又は他の記憶装置から各種ループ解除に適した操作に関する情報を読み出して、進退／回転制御情報を生成してよい。各種ループ解除に適した操作は、例えば、鈴木孝良、他１０名、「〔挿入を容易にするための工夫〕内視鏡挿入形状観測装置の活用」、消化器内視鏡、東京医学社、２０１６年４月２５日発行、Ｖｏｌ．２８、Ｎｏ．４、Ｐ．５９２－５９６に開示される技術を参照してよい。
　ステップＳ３０３において、駆動制御部１１０の進退制御回路１１１あるいは回転制御回路１１４が、ステップＳ３０２で生成された進退／回転制御情報に基づいて、進退駆動部２０あるいは回転駆動部５０を動作させる。これにより、挿入部１１の進退／回転制御が実行される。
　ステップＳ３０４において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ３０５において、状況判定部１０４は、挿入部１１のループ解除が完了したか否かを判定する。ループ解除が完了したと判定されるまで、ステップＳ３０２からＳ３０５の処理が繰り返されて、ループ解除が完了したと判定されると（ステップＳ３０５－Ｙｅｓ）、ループ対応処理はリターンする。
　一方、ステップＳ３０１でループ解除が可能でないと判定された場合（ステップＳ３０１－Ｎｏ）、処理はステップＳ３０６に進む。そして、ステップＳ３０６において、状況判定部１０４は、挿入を継続するか否かを判定する。例えば、ループを解除しなくても挿入を継続すべき状態（挿入部１１の先端が脾湾曲に到達している状態など）であれば、状況判定部１０４は、ループ解除が可能でなくともそのまま挿入を継続すると判定する。挿入を継続すると判定された場合には（ステップＳ３０６－Ｙｅｓ）、処理はステップＳ３０７に進む。ステップＳ３０７において、挿入制御情報生成部１０５が、駆動制御部１１０によって行われるべき挿入制御の情報である挿入制御情報を生成する。
　ステップＳ３０８において、駆動制御部１１０が、ステップＳ３０７で生成された挿入制御情報に基づいて、進退駆動部２０、湾曲駆動部３０、ＡＷＳ駆動部４０あるいは回転駆動部５０を動作させる。これにより、挿入部１１の挿入制御が実行される。ステップＳ３０８の後、ループ対応処理はリターンする。
　一方、ステップＳ３０６で挿入を継続しないと判定された場合には（ステップＳ３０６－Ｎｏ）、処理はステップＳ３０９に進む。
　ステップＳ３０９において、挿入制御情報生成部１０５は、停止／警告情報を生成する。ステップＳ３１０において、駆動制御部１１０は、各駆動部２０、３０、４０を停止させる。また、挿入制御情報生成部１０５からの警告情報に基づいて、警告出力部１０６が警告を出力する。ステップＳ３１０の後、処理は終了する。停止／警告処理終了後に、術者による手動での状況改善などが行われてよい。
　ループ対応処理がステップＳ３０５又はステップＳ３０８からリターンした後、処理はステップＳ１０２に戻る。
　ステップＳ１０７において、状況判定部１０４は、ステップＳ１０２での判定結果に基づいて、挿入部１１にかかっている所定以上の力量を検出したか否か（すなわち、判定結果が（ｖｉ）であるか否か）を判定する。所定以上の力量が検出されたと判定された場合には（ステップＳ１０７－Ｙｅｓ）、処理はステップＳ１０８に進み、力量解消処理が実行される。所定以上の力量が検出されていないと判定された場合には（ステップＳ１０７－Ｎｏ）、処理はステップＳ１０９に進む。
　図９は、力量解消処理の一例を示すフローチャートである。力量解消処理では、ステップＳ４０１において、状況判定部１０４は、閾値処理等を用いて、挿入状態情報から挿入部１１において大きな力量がかかっている位置を特定する。ステップＳ４０２において、挿入制御情報生成部１０５は、特定した位置を参照して、当該力量を解消するために駆動制御部１１０によって行われるべき進退／回転制御情報を生成する。例えば、撓み除去の場合に似た進退／回転制御情報が生成される。ステップＳ４０３において、駆動制御部１１０の進退制御回路１１１あるいは回転制御回路１１４が、ステップＳ４０２で生成された進退／回転制御情報に基づいて、進退駆動部２０あるいは回転駆動部５０を動作させる。これにより、挿入部１１の進退／回転制御が実行される。例えば、このような挿入動作を実行することにより、挿入部１１が受ける抵抗の解消がなされる。
　ステップＳ４０４において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ４０５において、状況判定部１０４は、所定以上の力量の解消が完了したか否かを判定する。解消が完了したと判定されるまで、ステップＳ４０１からＳ４０５の処理が繰り返されて、解消が完了したと判定されると（ステップＳ４０５－Ｙｅｓ）、力量解消処理はリターンする。
　ステップＳ１０８の力量解消処理の後、処理はステップＳ１０２に戻る。
　ステップＳ１０９において、状況判定部１０４は、ステップＳ１０２での判定結果に基づいて、判定不能／特殊困難症例であるか否か（すなわち、判定結果が（ｖｉｉ）であるか否か）を判定する。判定不能／特殊困難症例であると判定された場合には（ステップＳ１０９－Ｙｅｓ）、処理はステップＳ１１０に進み、停止／警告処理に進む。判定不能／特殊困難症例でないと判定された場合には（ステップＳ１０９－Ｎｏ）、処理はステップＳ１１１に進む。
　図１０は、停止／警告処理の一例を示すフローチャートである。ステップＳ５０１において、挿入制御情報生成部１０５は、停止／警告情報を生成する。ステップＳ５０２において、駆動制御部１１０は、駆動部２０、３０、４０、５０を停止させる。また、挿入制御情報生成部１０５からの警告情報に基づいて、警告出力部１０６が警告を出力する。ステップＳ５０２の処理が終了すると、リターンする。
　ステップＳ１１０の停止／警告処理の後、処理は終了する。
　停止／警告処理終了後に、術者による手動での状況改善などが行われてよい。例えば、挿入部１１を１０ｃｍ程度手元側に引いて後退させた後に再度挿入を行う。あるいは、術者の判断により、適宜、挿入継続、挿入中止、用手腹部圧迫、細径な挿入部の内視鏡への交換などを行ってもよい。
　ステップＳ１１１において、状況判定部１０４は、管腔方向を検出したか否か（すなわち、上記（ｉ）か、あるいは（ｉｖ）又は（ｖ）か）を判定する。管腔方向が検出された場合には（ステップＳ１１１－Ｙｅｓ）、処理はステップＳ１１２に進む。これは、上記（ｉ）の大きな問題なく挿入できている状況に相当する場合の処理である。
　ステップＳ１１２において、挿入制御情報生成部１０５は、行われるべき挿入制御情報を生成する。ステップＳ１１３において、駆動制御部１１０が、ステップＳ１１２で生成された挿入制御情報に基づいて、進退駆動部２０、湾曲駆動部３０、ＡＷＳ駆動部４０あるいは回転駆動部５０を動作させる。これにより、挿入部１１の挿入制御が実行される。
　ステップＳ１１４において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ１１５において、状況判定部１０４は、ステップＳ１１４で取得した１以上の情報に基づいて、ステップＳ１１３で行われた挿入操作により挿入部１１が想定通りの挿入状態となっているか否か（すなわち、問題なく順調に挿入を続けられているか否か）を判定する。操作通りであると判定された場合には（ステップＳ１１５－Ｙｅｓ）、処理はステップＳ１１６に進む。操作通りでないと判定された場合には（ステップＳ１１５－Ｎｏ）、処理はステップＳ１０２に戻る。
　ステップＳ１１６において、状況判定部１０４は、処理を終了するか否かを判定する。これは、例えば、挿入部１１の先端が盲腸に到達したことに基づく終了指示（不図示の入力装置による外部入力）の有無により判定される。あるいは、挿入状態情報及び画像情報から判定されてもよい。終了しないと判定された場合（ステップＳ１１６－Ｎｏ）には、処理はステップＳ１１２に戻る。終了すると判定された場合には（ステップＳ１１６－Ｙｅｓ）、処理は終了する。
　一方、ステップＳ１１１において、状況判定部１０４が管腔方向が検出されなかったと判定した場合には（ステップＳ１１１－Ｎｏ）、処理はステップＳ１１７に進む。ステップＳ１１７において、状況判定部１０４は、つぶれを検出したか否か（すなわち、判定結果が（ｉｖ）であるか（ｖ）であるか）を判定する。つぶれが検出された場合には（ステップＳ１１７－Ｙｅｓ）、処理はステップＳ１１８に進み、つぶれ解消処理が行われる。これは、上記（ｉｖ）の腸管のつぶれにより管腔等の進行方向が見えていない状況に相当する場合の処理である。
　図１１は、つぶれ解消処理の一例を示すフローチャートである。ステップＳ６０１において、挿入制御情報生成部１０５は、つぶれを解消するために行われるべき湾曲／送気制御情報を生成する。例えば、襞集中等による管腔つぶれ状態が認識されている場合には、つぶれている方向に挿入部１１が向くように湾曲操作を行った後に送気をして管腔を広げさせることが有効である。挿入制御情報生成部１０５は、記憶部１０７に記憶されている当該操作に関する情報、又は他の外部記憶装置から当該操作に関する情報を取得して、湾曲／送気制御情報を生成する。
　ステップＳ６０２において、駆動制御部１１０の湾曲制御回路１１２及びＡＷＳ制御回路１１３は、生成された湾曲／送気制御情報に基づいて、湾曲駆動部３０及びＡＷＳ駆動部４０を動作させて湾曲／送気制御を実行する。
　ステップＳ６０３において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ６０４において、状況判定部１０４は、つぶれ解消が完了したか否かを判定する。つぶれ解消が完了したと判定されるまで、ステップＳ６０１からＳ６０４の処理が繰り返されて、つぶれ解消が完了したと判定されると（ステップＳ６０４－Ｙｅｓ）、つぶれ解消処理はリターンする。
　ステップＳ１１８のつぶれ解消処理の後、処理はステップＳ１０２に戻る。
　一方、ステップＳ１１７において、つぶれが検出されなかった場合には（ステップＳ１１７－Ｎｏ）、ステップＳ１１９に進み、視野改善処理が行われる。これは、上記（ｖ）管腔方向を見失っている状況に相当する場合の処理である。
　図１２は、視野改善処理の一例を示すフローチャートである。ステップＳ７０１において、挿入制御情報生成部１０５は、視野を改善するために行われるべき湾曲／回転／後退／送気制御情報を生成する。例えば、管腔方向が検出できなかった場合には、湾曲操作・回転操作による探索、後退や送気による視野改善を行うことが有効である。挿入制御情報生成部１０５は、記憶部１０７に記憶されている当該操作に関する情報、又は他の外部記憶装置から当該操作に関する情報を取得して、湾曲／回転／後退／送気制御情報を生成する。先端部１２の先端面の汚れ等に対処するために送水制御情報が生成されてもよい。
　ステップＳ７０２において、駆動制御部１１０は、生成した湾曲／回転／後退／送気／送水制御情報に基づいて、駆動部２０、３０、４０、５０等を動作させて湾曲／回転／後退／送気／送水制御を実行する。
　ステップＳ７０３において、画像入力部１０２には、画像情報が入力される。また、挿入状態入力部１０３には、内視鏡１０の挿入部１１の挿入状態情報が入力される。状況判定部１０４は、画像入力部１０２及び挿入状態入力部１０３から、画像情報及び挿入状態情報を取得する。
　ステップＳ７０４において、状況判定部１０４は、視野改善が完了したか否かを判定する。視野解消が完了したと判定されるまで、ステップＳ７０１からＳ７０４の処理が繰り返されて、視野改善が完了したと判定されると（ステップＳ７０４－Ｙｅｓ）、視野改善処理はリターンする。
　ステップＳ１１９の視野改善処理の後、処理はステップＳ１０２に戻る。
　なお、上述の撓み除去処理、ループ対応処理におけるループ解除、力量解消処理、つぶれ解消処理及び視野改善処理において、各種挿入制御を行っても状況が一向に改善しない場合には、停止／警告処理に進んでもよい。例えば、各種処理において挿入状態情報及び画像情報を取得するたびにこれら情報を記憶部１０７に記憶させておき、状況判定部１０４が記憶された情報と新たに取得した挿入状態情報及び画像情報とを比較することにより、あるいは、所定時間挿入制御を実行しても各種処理が完了しなかったか否かを判定することにより、停止／警告処理に進むか否かを判定してよい。
　以上説明したように、本実施形態では、状況判定部１０４は、挿入部１１の挿入動作を妨げる状況が生じているか否かを判定し、そのような状況が生じていると判定された場合には、駆動制御部１１０が、当該状況を解消するように、挿入制御情報生成部１０５で生成された挿入制御情報に基づいて各種駆動部２０、３０、４０、５０を動作させる。
　以下、制御装置１００による制御手法について説明する。　
　制御装置１００の実装については、従来型のソフトウェアプログラム（アルゴリズム記述に基づく論理的な制御）、あるいは、ディープラーニングや機械学習（例えば強化学習）などによるものを採用することができる。アルゴリズム記述に基づく論理的な制御では、プログラミングにより、内視鏡の各種操作が制御される。一方、強化学習（深層強化学習）では、画像情報及び挿入状態情報を入力（state）とし、個々の入力に対応する操作（action）を学習させることで制御モデルが構築される。また、強化学習とディープニューラルネットワークと組み合わせたものが深層強化学習である。ディープラーニングや機械学習関連のこのような技術が実装されてよい。
　例えば、上述のループ解除のための制御において、プログラミングによる論理的な制御では、挿入部１１の進退操作、回転操作、湾曲操作などの組合せがプログラムとして記述される。これに対して、ディープラーニングを中心としたＡＩ（Artificial Intelligence）技術では、熟練医の内視鏡操作を教師データとした学習（教師あり学習）や、制御装置が試行錯誤により自己学習することが可能である強化学習を用いたネットワークモデルが構築される。そして、例えばこのようなネットワークモデルに基づいて用意された各種制御情報から、画像情報や挿入状態情報に基づき規定される状況ごとに適切なものを選択することにより、複雑な走行形態を呈する大腸に対する自動挿入が実現可能となる。
　大腸内視鏡検査は、医師にとって習得が難しい手技とされており、非熟練医による検査は盲腸までの到達に時間を要したり、到達できないこともあったりする。また、患者に疼痛等を与えることもある。これに対して、例えば、挿入動作を制御装置１００により行うことにより、より効率的で確実な挿入操作を行うことが可能となる。
　従来の制御装置による機械的な自動挿入では、特に、複雑な走行形態を呈する大腸において挿入操作を継続し難い状況（挿入部１１の撓みの発生による推進力量伝達不良、あるいはループの発生による腸管への負荷）が発生した場合などにうまく挿入できないことが多い。これに対して、本実施形態では、挿入状況に応じた適切な挿入制御情報が制御装置１００で生成されて、これに基づいて挿入動作も制御装置１００によって制御される。これにより、本実施形態では、全自動、部分的自動、あるいは半自動といった電動式の内視鏡を含む内視鏡システムにおける適切な挿入制御を提供することができる。
　特に、本実施形態では、挿入操作の継続を困難にしうる各種状況が、画像情報、挿入状態情報などの種々の情報から認識され、状況に応じた適切な挿入制御情報が生成され、これに基づく制御が行われることにより、円滑な挿入動作が行われる。複雑な走行形態を呈する大腸のような被検体であっても内視鏡の自動挿入が可能となる。本実施形態では、進退操作、湾曲操作、ＡＷＳ操作及び回転操作を含む基本的な挿入操作を各種駆動部２０、３０、４０、５０及びこれらを制御する制御装置１００により行うことができるので、大腸内視鏡検査時に生じる種々の挿入困難な状況の改善を全自動、部分的自動、あるいは半自動で行うことが可能となる。
　なお、状況判定部１０４による状況判定には、画像情報と挿入状態情報との少なくとも一方を用いればよく、両方の情報を取得しなくても一方の情報のみで状況判定がされてもよい。また、両方の情報を取得しても状況判定には必ずしも両方の情報を用いなくてよい。しかしながら、両方の情報を用いるとより多様な状況を判定可能となるため、両方の情報を取得して判定に用いることがより好ましい。
　本実施形態では、挿入操作の継続を困難にしうる挿入状況によっては停止／警告制御が実行される。停止や警告後、術者による挿入状況の改善を行うことができ、部分的自動や半自動の挿入操作でより適切な挿入が行われることができる。
　なお、挿入部１１の撓みの検出に関して、本実施形態では挿入形状情報を用いているが、例えば、挿入部１１の先端と手元側の位置とにセンサを取り付けてこれらセンサにより先端側位置と手元側位置との移動量を比較して、手元側の移動量（押し込み量）に対して先端の移動量が少ない場合に撓みが発生していると判定されてもよい。このような検出と挿入形状情報による検出とが組み合せられてもよい。
　また、以上の説明では、状況判定部１０４が挿入状態情報及び画像情報に基づいて挿入状況を判定しているが、これら情報に加えて、不図示の入力装置によりユーザ（例えば医師）が入力したユーザ指示情報を用いて挿入状況を判定してもよい。ユーザ指示情報は、ユーザが挿入状況を確証し、それに対して適切な制御を直ちに行いたい場合などに入力される。
　大腸内視鏡検査を例に挙げて説明してきたが、内視鏡１０は大腸内視鏡に限定されるものではなく、内視鏡システム１は各種内視鏡に対して適用可能である。
　上述の各状況（ｉ）～（ｖｉｉ）の分類は一例にすぎない。これらの分類の他にも、挿入部１１による大腸の走行形態の変更（部分的な直線化等）、屈曲部の通過、吸引による粘膜の吸着、残渣や粘液・泡等の存在に対する除去等、種々の状況が存在する。このような各種状況に対して、画像情報及び挿入状態情報を用いて、あるいはこれらに加えてこれら以外の各種情報も用いて、状況判定及び挿入制御情報生成が行われてよい。また、制御装置１００によって動作される駆動部による挿入部１１の挿入動作も、進退、湾曲、送気・送水・吸引、回転以外の動作を含んでもよい。
　本実施形態においては内視鏡、駆動装置及び制御装置を一連のシステムとして説明したが、これらは個別のユニットとして設計され、組み合わせて使用するように構成することももちろん可能である。
　本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出されうる。

Claims (17)

  1. 　被検体に挿入される可撓性の挿入部と、
    　被検体を撮像する撮像素子と、
    　前記挿入部の挿入動作を行わせる駆動部と、
    　前記撮像素子で取得した情報に基づいて画像情報を生成する画像処理部と、
    　前記画像情報と、前記挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部と、
    　前記状況判定部の判定結果に基づいて挿入制御情報を生成する挿入制御情報生成部と、
    　前記挿入制御情報に基づいて前記駆動部を制御する制御部と、
    　を具備する、内視鏡システム。
  2. 　前記状況判定部は、前記挿入部の挿入動作を妨げる状況が生じているか否かを判定する、請求項１に記載の内視鏡システム。
  3. 　前記挿入部の挿入動作を妨げる状況が生じていると判定されたとき、前記制御部は、当該妨げる状況を解消するように前記駆動部を動作させる、請求項２に記載の内視鏡システム。
  4. 　前記駆動部は、
    　前記挿入部を進退させる進退機構及び前記進退機構を駆動させる進退駆動部と、
    　前記挿入部を回転させる回転機構及び前記回転機構を駆動させる回転駆動部と、
    　を備え、
    　前記挿入制御情報生成部は、前記挿入制御情報として、進退制御情報と回転制御情報との少なくとも一方を生成する、請求項１乃至３のいずれか１項に記載の内視鏡システム。
  5. 　前記状況判定部は、前記挿入部にループが形成されているか否かを判定し、ループが形成されていると判定された場合に、前記挿入制御情報生成部は、前記ループを解消するために、前記進退制御情報と前記回転制御情報とを生成し、前記制御部は、前記進退制御情報及び前記回転制御情報に基づいて前記進退駆動部及び前記回転駆動部を動作させる、請求項４に記載の内視鏡システム。
  6. 　前記状況判定部は、前記挿入部が撓んでいるか否かを判定し、撓んでいると判定された場合に、前記挿入制御情報生成部は、撓みを解消するために、前記進退制御情報と前記回転制御情報とを生成し、前記制御部は、前記進退制御情報及び前記回転制御情報に基づいて前記進退駆動部及び前記回転駆動部を動作させる、請求項４に記載の内視鏡システム。
  7. 　前記状況判定部は、前記挿入部が撓んでいるか否かを判定し、撓んでいると判定された場合に、前記挿入制御情報生成部は、撓みを解消するために、前記挿入部を後退させる前記進退制御情報を生成し、前記制御部は、前記進退制御情報に基づいて前記進退駆動部を動作させる、請求項４に記載の内視鏡システム。
  8. 　前記状況判定部は、前記挿入部が撓んでいるか否かを判定し、撓んでいると判定された場合に、前記挿入制御情報生成部は、撓みを解消するために、前記挿入部の前進と後退とを交互に繰り返す前記進退制御情報を生成し、前記制御部は、前記進退制御情報に基づいて前記進退駆動部を動作させる、請求項４に記載の内視鏡システム。
  9. 　前記状況判定部は、前記挿入部に所定以上の外力が加わっているか否かを判定し、所定以上の外力が加わっていると判定された場合に、前記挿入制御情報生成部は、前記外力を解消するために、前記進退制御情報と前記回転制御情報とを生成し、前記制御部は、前記進退制御情報及び前記回転制御情報に基づいて前記進退駆動部及び前記回転駆動部を動作させる、請求項４乃至８のいずれか１項に記載の内視鏡システム。
  10. 　前記駆動部は、
    　前記挿入部を湾曲させる湾曲機構及び前記湾曲機構を駆動させる湾曲駆動部と、
    　前記挿入部への送気を行う送気機構及び前記送気機構を駆動させる送気駆動部と、
    　を備え、
    　前記挿入制御情報生成部は、前記挿入制御情報として、湾曲制御情報と送気制御情報との少なくとも一方を生成する、請求項４乃至９のいずれか１項に記載の内視鏡システム。
  11. 　前記状況判定部は、前記画像情報から前記被検体の管腔が認識されるか否かを判定し、前記管腔が認識されなかった場合に、前記被検体がつぶれているか否かを判定し、つぶれていると判定された場合に、前記挿入制御情報生成部は、つぶれを解消するために、前記湾曲制御情報と前記送気制御情報との少なくとも一方を生成し、前記制御部は、前記湾曲制御情報及び前記送気制御情報に基づいて前記湾曲駆動部及び前記送気駆動部を動作させる、請求項１０に記載の内視鏡システム。
  12. 　前記状況判定部は、前記画像情報から前記被検体の管腔が認識されるか否かを判定し、前記管腔が認識されなかった場合に、前記被検体がつぶれているか否かを判定し、つぶれていないと判定された場合に、前記挿入制御情報生成部は、内視鏡視野を改善するために、前記湾曲制御情報と前記回転制御情報と前記進退制御情報と前記送気制御情報との少なくとも一方を生成し、前記制御部は、前記湾曲制御情報、前記回転制御情報、前記進退制御情報及び前記送気制御情報に基づいて前記湾曲駆動部、前記回転駆動部、前記進退駆動部及び前記送気駆動部を動作させる、請求項１０に記載の内視鏡システム。
  13. 　前記状況判定部は、前記挿入部の挿入継続可能か否かを判定し、挿入継続が可能でないと判定された場合に、前記挿入制御情報生成部は、停止情報を生成し、前記制御部は、前記挿入制御情報に基づいて前記駆動部を停止させる、請求項１乃至１２のいずれか１項に記載の内視鏡システム。
  14. 　前記挿入制御情報生成部は、画像と挿入状態との少なくとも一方に関する情報を入力とする機械学習に基づいて構築された制御モデルに基づいて、前記挿入制御情報を生成する、請求項１乃至１３のいずれか１項に記載の内視鏡システム。
  15. 　画像情報と、内視鏡の挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部と、
    　前記状況判定部の判定結果に基づいて前記挿入部の挿入動作を制御するための挿入制御情報を生成する挿入制御情報生成部と、
    　前記挿入制御情報に基づいて前記挿入部の挿入動作を制御する制御部と、
    　を具備する、内視鏡制御装置。
  16. 　被検体に挿入される可撓性の挿入部と、被検体を撮像する撮像素子と、前記挿入部の挿入動作を行わせる駆動部と、を有する内視鏡システムの作動方法であって、
    　画像処理部が、前記撮像素子で取得した情報に基づいて画像情報を生成し、
    　状況判定部が、前記画像情報と、前記挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定し、
    　挿入制御情報生成部が、前記状況判定部の判定結果に基づいて挿入制御情報を生成し、
    　制御部が、前記挿入制御情報に基づいて前記駆動部を制御する、
    　内視鏡システムの作動方法。
  17. 　コンピュータを、
    　画像情報と、内視鏡の挿入部の挿入状態に関する挿入状態情報との少なくとも一方を取得して、取得した情報の少なくとも１つに基づいて挿入状況を判定する状況判定部と、
    　前記状況判定部の判定結果に基づいて前記挿入部の挿入動作を制御するための挿入制御情報を生成する挿入制御情報生成部と、
    　前記挿入制御情報に基づいて前記挿入部の挿入動作を制御する制御部
    　として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2018/004653 2018-02-09 2018-02-09 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体 WO2019155617A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/004653 WO2019155617A1 (ja) 2018-02-09 2018-02-09 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体
US16/986,961 US20210022585A1 (en) 2018-02-09 2020-08-06 Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/004653 WO2019155617A1 (ja) 2018-02-09 2018-02-09 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/986,961 Continuation US20210022585A1 (en) 2018-02-09 2020-08-06 Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program

Publications (1)

Publication Number Publication Date
WO2019155617A1 true WO2019155617A1 (ja) 2019-08-15

Family

ID=67548241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004653 WO2019155617A1 (ja) 2018-02-09 2018-02-09 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US20210022585A1 (ja)
WO (1) WO2019155617A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021048925A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法
JPWO2021064861A1 (ja) * 2019-10-01 2021-04-08

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
WO2020020558A1 (en) * 2018-07-25 2020-01-30 Universität Zürich Video-endoscopic intubation stylet
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467829A (ja) * 1990-07-05 1992-03-03 Olympus Optical Co Ltd 腔内挿入装置
JPH06217931A (ja) * 1993-01-28 1994-08-09 Olympus Optical Co Ltd 体内挿入補助具
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2007090098A (ja) * 2006-12-25 2007-04-12 Olympus Corp 内視鏡形状検出装置
JP2011092309A (ja) * 2009-10-28 2011-05-12 Hoya Corp 内視鏡用副送水装置
JP2015043988A (ja) * 2014-10-14 2015-03-12 オリンパス株式会社 管状挿入装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60330335D1 (de) * 2002-10-29 2010-01-14 Olympus Corp Endoskopinformationsprozessor und verarbeitungsmethode
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
EP2158834A4 (en) * 2007-06-20 2012-12-05 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM, IMAGING SYSTEM, AND IMAGE PROCESSING DEVICE
US8460236B2 (en) * 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
CN103429134B (zh) * 2011-12-28 2015-12-09 奥林巴斯株式会社 体腔内压调整装置以及内窥镜系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467829A (ja) * 1990-07-05 1992-03-03 Olympus Optical Co Ltd 腔内挿入装置
JPH06217931A (ja) * 1993-01-28 1994-08-09 Olympus Optical Co Ltd 体内挿入補助具
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2007090098A (ja) * 2006-12-25 2007-04-12 Olympus Corp 内視鏡形状検出装置
JP2011092309A (ja) * 2009-10-28 2011-05-12 Hoya Corp 内視鏡用副送水装置
JP2015043988A (ja) * 2014-10-14 2015-03-12 オリンパス株式会社 管状挿入装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUZUKI, TAKAYOSHI ET AL.: "Utilization of endoscope position detecting unit", ENDOSCOPIA DIGESTIVA, vol. 28, no. 4, 25 April 2016 (2016-04-25), pages 592 - 597, ISBN: 978-4-88563-483-3 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021048925A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
JPWO2021049475A1 (ja) * 2019-09-10 2021-03-18
WO2021049475A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御方法及びプログラム
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法
JPWO2021064861A1 (ja) * 2019-10-01 2021-04-08
WO2021064861A1 (ja) * 2019-10-01 2021-04-08 オリンパス株式会社 内視鏡挿入制御装置及び内視鏡挿入制御方法
JP7300514B2 (ja) 2019-10-01 2023-06-29 オリンパス株式会社 内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラム

Also Published As

Publication number Publication date
US20210022585A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
WO2019155617A1 (ja) 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体
Dario et al. A microrobotic system for colonoscopy
Valdastri et al. Magnetic air capsule robotic system: proof of concept of a novel approach for painless colonoscopy
US6162171A (en) Robotic endoscope and an autonomous pipe robot for performing endoscopic procedures
JP5214187B2 (ja) 内視鏡、内視鏡装置および内視鏡装置の作動方法
Kassim et al. Locomotion techniques for robotic colonoscopy
EP1726250B1 (en) Double-balloon endoscope system
CN110769737B (zh) 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
US20100185056A1 (en) System for advancing in a body lumen
JP5502645B2 (ja) 内視鏡挿入補助具及び内視鏡システム
US20080091073A1 (en) Inflatable actuation device
JP2006500141A (ja) 体腔を検査する装置及びその使用方法
JP2009045141A (ja) 内視鏡用挿入補助具及び内視鏡
JP5284570B2 (ja) 回転自走式内視鏡システム
US7833176B2 (en) Pressure-propelled system for body lumen
Yeung et al. Emerging next‐generation robotic colonoscopy systems towards painless colonoscopy
CN117083030A (zh) 机器人动态刚性化复合医疗结构的控制
US8795157B1 (en) Method and system for navigating within a colon
JP7300514B2 (ja) 内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラム
JP2010005091A (ja) 内視鏡装置
Singh et al. Application of robotic technologies in lower gastrointestinal tract endoscopy: A systematic review
WO2021048925A1 (ja) 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
WO2023122767A2 (en) Methods and apparatuses for reducing curvature of a colon
Breedveld et al. Locomotion through the intestine by means of rolling stents
WO2023183952A2 (en) Methods and apparatuses for navigating using a pair of rigidizing devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18904967

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18904967

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP