WO2021064861A1 - 内視鏡挿入制御装置及び内視鏡挿入制御方法 - Google Patents

内視鏡挿入制御装置及び内視鏡挿入制御方法 Download PDF

Info

Publication number
WO2021064861A1
WO2021064861A1 PCT/JP2019/038751 JP2019038751W WO2021064861A1 WO 2021064861 A1 WO2021064861 A1 WO 2021064861A1 JP 2019038751 W JP2019038751 W JP 2019038751W WO 2021064861 A1 WO2021064861 A1 WO 2021064861A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
unit
classification
control device
control unit
Prior art date
Application number
PCT/JP2019/038751
Other languages
English (en)
French (fr)
Inventor
博一 西村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/038751 priority Critical patent/WO2021064861A1/ja
Priority to CN201980100076.2A priority patent/CN114401660A/zh
Priority to JP2021550811A priority patent/JP7300514B2/ja
Publication of WO2021064861A1 publication Critical patent/WO2021064861A1/ja
Priority to US17/709,868 priority patent/US20220218180A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope insertion control device and an endoscope insertion control method that ensure and facilitate the insertion of an endoscope insertion portion.
  • the surgeon inserts the endoscope insertion part into the body cavity by hand or the like for observing the organs or the like.
  • the conduit in the body cavity into which the endoscope insertion portion is inserted has elasticity, and the conduit bends due to the force of pushing the endoscope insertion portion at the bent portion of the endoscope, resulting in the endoscope.
  • the insertion part may not move forward smoothly.
  • Japanese Patent No. 3645223 proposes an endoscope bending device that facilitates the insertion operation.
  • the dark part is detected by the image from the imaging means provided at the tip of the insertion part to detect the center of the cavity, and the curved part provided at the insertion part faces the center of the cavity. The bending angle indicated value is calculated.
  • an automatic insertion endoscope capable of automatically inserting an endoscope into a lumen.
  • the tip of the endoscope can be advanced in the forward direction by detecting the direction of the lumen or the like.
  • the endoscope insertion portion can reach, for example, the deep part of the large intestine.
  • the insertion state of the insertion portion always changes or progresses according to the insertion operation intended by the operator with respect to the insertion portion. Do not mean. For example, even if an operation of inserting (advancing) the insertion portion is performed, the insertion state of the insertion portion is not always in a good forward state, and is slight due to, for example, bending of the endoscope or friction with the intestinal wall. The tip may move away from the direction of travel when it stays forward or when a so-called stick phenomenon occurs locally in the splenic bay. Continuing to advance the endoscope in such a situation may cause further deterioration of the insertion situation or cause pain to the patient who is the subject.
  • the present invention evaluates the behavior of the endoscope insertion portion with respect to a certain insertion operation from an image, and selectively executes the next operation based on the evaluation result, thereby performing the insertion of the endoscope reliably and smoothly. It is an object of the present invention to provide an endoscope insertion control device and an endoscope insertion control method that can effectively support such a situation.
  • the endoscope insertion control device includes an operation selection unit that selects an operation related to insertion of the endoscope, and a plurality of operation selection units that are obtained in time series according to the execution of the operation selected by the operation selection unit.
  • the operation selection unit includes an image acquisition unit for acquiring an image, and the operation selection unit selects an operation related to insertion of the endoscope based on a plurality of images acquired by the image acquisition unit in a time series.
  • the endoscope insertion control device corresponds to an image acquisition unit that acquires a plurality of images obtained in a time series and a plurality of images obtained by being imaged in a time series by an endoscope depending on the insertion state.
  • the image acquisition unit is provided with a control unit that gives the plurality of images acquired by the image acquisition unit to the classification unit and obtains the classification result of the inserted state.
  • an operation related to insertion of an endoscope is selected, and a plurality of images obtained in time series according to the execution of the selected operation are acquired and acquired. A plurality of images are classified, and an operation is selected with reference to the result of the classification.
  • FIG. 3 is a block diagram for explaining a specific configuration of the endoscope system 1.
  • the figure which shows an example of the advance / retreat mechanism.
  • Explanatory drawing for explaining a time series image and a label attached to it Explanatory drawing for explaining a time series image and a label attached to it.
  • Explanatory drawing for explaining a time series image and a label attached to it Explanatory drawing for explaining a time series image and a label attached to it.
  • Explanatory drawing for explaining a time series image and a label attached to it Explanatory drawing for explaining a time series image and a label attached to it.
  • Explanatory drawing for explaining a time series image and a label attached to it Explanatory drawing for explaining a time series image and a label attached to it.
  • a flowchart for explaining the operation of the embodiment The block diagram which shows the 2nd Embodiment of this invention. Explanatory drawing which shows the state of endoscopy. The flowchart for demonstrating the operation of the 2nd Embodiment. Explanatory drawing for demonstrating operation of 2nd Embodiment.
  • FIG. 1 is a block diagram showing an endoscope system including an endoscope insertion control device according to a first embodiment of the present invention.
  • the first embodiment is applied to an automatic insertion endoscope in which an insertion portion of the endoscope is automatically inserted into the large intestine of a subject.
  • whether or not the expected insertion state is obtained and what kind of insertion state is obtained for the selected operation among the plurality of types of operations for inserting the endoscope insertion portion. Is determined by a classifier using a model obtained by machine learning. This classifier classifies a plurality of images (time-series images) captured continuously and over time into teacher data according to the insertion state, and learns the teacher data using a neural network. The model generated by is used, and the class according to the insertion state is estimated from the time series image.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an endoscope insertion control device.
  • the endoscope system 1 includes an endoscope 10, a main body device 20, an insertion shape detection device 30, an external force information acquisition device 40, an input device 50, and a display device 60. , And are configured.
  • the endoscope 10 is an automatic insertion endoscope whose insertion is automated, as will be described later.
  • the endoscope 10 has an insertion portion 11 to be inserted into the subject, an operation portion 16 provided on the proximal end side of the insertion portion 11, and a universal cord 17 extending from the operation portion 16. It is configured. Further, the endoscope 10 is configured to be detachably connected to the main body device 20 via a scope connector (not shown) provided at the end of the universal cord 17. Further, inside the insertion unit 11, the operation unit 16, and the universal cord 17, a light guide (not shown) for transmitting the illumination light supplied from the main body device 20 is provided.
  • the insertion portion 11 is configured to have a flexible and elongated shape. Further, the insertion portion 11 is configured by providing a rigid tip portion 12, a bendable portion 13 formed so as to be bendable, and a long flexible tube portion 14 having flexibility in order from the tip side. There is. Further, inside the tip portion 12, the curved portion 13, and the flexible tube portion 14, a plurality of source coils 18 that generate a magnetic field according to the coil drive signal supplied from the main body device 20 are arranged in the longitudinal direction of the insertion portion 11. They are arranged at predetermined intervals along the line.
  • the tip portion 12 is provided with an illumination window (not shown) for emitting the illumination light transmitted by the light guide provided inside the insertion portion 11 to the subject. Further, the tip portion 12 operates according to the image pickup control signal supplied from the main body device 20, and outputs the image pickup signal by imaging the subject illuminated by the illumination light emitted through the illumination window.
  • An imaging unit 110 (not shown in FIG. 1) configured in the above is provided.
  • the curved portion 13 is configured to be able to be curved according to the control of the curved control unit 242 described later. Further, the curved portion 13 is configured to be able to be curved according to the operation of the angle knob (not shown) provided in the operating portion 16.
  • the operation unit 16 is configured to have a shape that can be grasped and operated by the user. Further, the operation unit 16 is configured to be able to perform an operation for bending the curved portion 13 in, for example, four or eight directions intersecting the longitudinal axis of the insertion portion 11. May be provided. Further, the operation unit 16 may be provided with one or more scope switches (not shown) capable of giving instructions according to a user's input operation.
  • the main body device 20 includes one or more processors 20P and a storage medium 20M. Further, the main body device 20 is configured to be detachably connected to the endoscope 10 by a universal cord 17. Further, the main body device 20 is configured to be detachably connected to each part of the insertion shape detection device 30, the input device 50, and the display device 60. Further, the main body device 20 is configured to perform an operation in response to an instruction from the input device 50. Further, the main body device 20 generates an endoscope image based on an imaging signal output from the endoscope 10 and performs an operation for displaying the generated endoscope image on the display device 60. It is configured. Further, the main body device 20 is configured to generate and output various control signals for controlling the operation of the endoscope 10.
  • the main body device 20 has a function as an endoscope control device, and controls the insertion operation of the insertion unit 11 by using the insertion shape information (described later) output from the insertion shape detection device 30. It is configured. Further, the main body device 20 generates an insertion shape image according to the insertion shape information output from the insertion shape detection device 30, and also performs an operation for displaying the generated insertion shape image on the display device 60. It may be.
  • the insertion shape detection device 30 detects the magnetic fields emitted from each of the source coils 18 provided in the insertion portion 11, and acquires the positions of the plurality of source coils 18 based on the strength of the detected magnetic fields. It is configured in. Further, the insertion shape detection device 30 is configured to generate insertion shape information indicating the positions of the plurality of source coils 18 acquired as described above and output the insertion shape information to the main body device 20 and the external force information acquisition device 40. There is. That is, the insertion shape detection device 30 detects the insertion shape of the insertion portion inserted in the subject and acquires the insertion shape information, and the acquired insertion shape information is used in the main body device 20 and the external force information acquisition device 40. It is configured to output to.
  • the external force information acquisition device 40 for example, data on the curvature (or radius of curvature) and the curvature angle of a plurality of predetermined positions of the insertion portion 11 in a state where no external force is applied, and the insertion portion 11 from all possible directions. Data of curvature (or radius of curvature) and curvature angle of the predetermined plurality of positions acquired in a state where a predetermined external force is applied to an arbitrary position of the above are stored. Further, the external force information acquisition device 40 specifies, for example, the positions of the plurality of source coils 18 provided in the insertion portion 11 based on the insertion shape information output from the insertion shape detection device 30, and the plurality of sources.
  • the magnitude and direction of the external force at each position of the plurality of source coils 18 can be determined. It is configured to get. Further, the external force information acquisition device 40 is configured to generate external force information indicating the magnitude and direction of the external force at each position of the plurality of source coils 18 acquired as described above and output the external force information to the main body device 20. There is.
  • the external force information acquisition device 40 is disclosed in Japanese Patent No. 5851204 as a method for calculating the external force at each position of the plurality of source coils 18 provided in the insertion portion 11.
  • the method may be used, or the method disclosed in Japanese Patent No. 5897902 may be used.
  • the external force information acquisition device 40 uses the electronic components. It may be configured to calculate the external force at each position of the plurality of source coils 18 based on the signal output from the component.
  • the input device 50 is configured to have one or more input interfaces operated by the user, such as a mouse, keyboard, touch panel, and the like. Further, the input device 50 is configured to be able to output an instruction according to the operation of the user to the main body device 20.
  • the display device 60 is configured to include, for example, a liquid crystal monitor or the like. Further, the display device 60 is configured so that an endoscopic image or the like output from the main body device 20 can be displayed on the screen.
  • FIG. 2A is a block diagram for explaining a specific configuration of the endoscope system 1. An example of a specific configuration of the endoscope 10 and the main body device 20 will be described with reference to FIG. 2A.
  • the endoscope 10 includes a plurality of source coils 18, an imaging unit 110, an advancing / retreating mechanism 141, a bending mechanism 142, an AWS (Air feding, Water feeding, and Action) mechanism 143, and a rotation mechanism 144. It is composed of.
  • the image pickup unit 110 includes, for example, an observation window into which the return light from the subject illuminated by the illumination light is incident, and an image sensor such as a color CCD that captures the return light and outputs an image pickup signal. It is configured.
  • FIG. 2B is a diagram showing an example of a specific configuration of the advance / retreat mechanism 141.
  • the advancing / retreating mechanism 141 includes, for example, a pair of rollers 141a and 141b arranged at positions facing each other with the insertion portion 11 interposed therebetween, and a motor (not shown) for supplying a rotational driving force for rotating the pair of rollers 141a and 141b. , And are configured. Further, the advancing / retreating mechanism 141 drives the motor in response to the advancing / retreating control signal output from the advancing / retreating control unit 241 of the main body device 20, and the pair of rollers 141a, according to the rotational driving force supplied from the motor.
  • the bending mechanism 142 is, for example, a motor that supplies a plurality of bending pieces provided in the bending portion 13, a plurality of wires connected to the plurality of bending pieces, and a rotational driving force for pulling the plurality of wires. And, it is configured to have. Further, the bending mechanism 142 drives the motor in response to the bending control signal output from the main body device 20, and changes the traction amount of each of the plurality of wires according to the rotational driving force supplied from the motor. As a result, the curved portion 13 is configured to be able to be curved in four directions of up, down, left and right.
  • the AWS mechanism 143 includes, for example, two pipelines (not shown), an air supply / water supply pipeline and a suction pipeline, which are provided inside the endoscope 10 (insertion unit 11, operation unit 16 and universal cord 17), and the two. It is configured to have an electromagnetic valve that operates to close one of the pipelines while opening the other. Further, the AWS mechanism 143 is supplied from the main body device 20 when, for example, an operation for opening the air supply / water pipe line is performed in the solenoid valve in response to the AWS control signal output from the main body device 20. A fluid containing at least one of water and air can be circulated through the air supply / water pipe, and the fluid can be discharged from a discharge port formed at the tip portion 12. ..
  • the AWS mechanism 143 applies the suction force generated in the main body device 20 when, for example, an operation for opening the suction pipeline is performed in the solenoid valve in response to the AWS control signal output from the main body device 20. It is configured so that it can act on the suction conduit and can suck an object existing in the vicinity of the suction port formed at the tip portion 12 by the suction force.
  • the rotation mechanism 144 includes, for example, a grip member that grips the insertion portion 11 on the proximal end side of the flexible pipe portion 14, and a motor that supplies a rotational driving force for rotating the grip member. ing. Further, the rotation mechanism 144 drives the motor in response to the rotation control signal output from the main body device 20, and rotates the gripping member in response to the rotation driving force supplied from the motor, so that the insertion portion is inserted.
  • 11 is configured to be rotatable around an insertion axis (longitudinal axis).
  • the main body device 20 includes a light source unit 210, an image processing unit 220, a coil drive signal generation unit 230, an insertion operation control unit 240, a display control unit 250, and a system control unit 260. It is configured to have.
  • the light source unit 210 is configured to have, for example, one or more LEDs or one or more lamps as a light source. Further, the light source unit 210 is configured to generate illumination light for illuminating the inside of the subject into which the insertion portion 11 is inserted and to supply the illumination light to the endoscope 10. Further, the light source device 210 is configured so that the amount of illumination light can be changed according to the system control signal supplied from the system control unit 260.
  • the image processing unit 220 that constitutes the image acquisition unit together with the image pickup unit 110 is configured to include, for example, an image processing circuit. Further, the image processing unit 220 generates an endoscope image by performing a predetermined process on the imaging signal output from the endoscope 10, and displays the generated endoscope image on the display control unit 250 and the display control unit 250. It is configured to output to the system control unit 260.
  • the coil drive signal generation unit 230 is configured to include, for example, a drive circuit. Further, the coil drive signal generation unit 230 is configured to generate and output a coil drive signal for driving the source coil 18 in response to the system control signal supplied from the system control unit 260.
  • the insertion operation control unit 240 includes an advance / retreat control unit 241, a curvature control unit 242, an AWS control unit 243, and a rotation control unit 244.
  • the insertion operation control unit 240 is configured to perform an operation for controlling the function realized by the endoscope 10 based on the insertion control signal supplied from the system control unit 260.
  • the insertion motion control unit 240 is realized by the advancing / retreating function realized by the advancing / retreating mechanism 141, the bending function realized by the bending mechanism 142, the AWS function realized by the AWS mechanism 143, and the rotation mechanism 144. It is configured to perform an operation for controlling at least one of the rotation functions.
  • the advance / retreat control unit 241 is configured to generate and output an advance / retreat control signal for controlling the operation of the advance / retreat mechanism 141 based on the insertion control signal supplied from the system control unit 260. Specifically, the advance / retreat control unit 241 generates, for example, an advance / retreat control signal for controlling the rotational state of the motor provided in the advance / retreat mechanism 141 based on the insertion control signal supplied from the system control unit 260. It is configured to output.
  • the bending control unit 242 is configured to generate and output a bending control signal for controlling the operation of the bending mechanism 142 based on the insertion control signal supplied from the system control unit 260. Specifically, the bending control unit 242 generates a bending control signal for controlling the rotation state of the motor provided in the bending mechanism 142, for example, based on the insertion control signal supplied from the system control unit 260. It is configured to output.
  • the AWS control unit 243 controls a pump or the like (not shown) based on an insertion control signal supplied from the system control unit 260 to supply a fluid containing at least one of water and air to the endoscope 10. And the operation for generating a suction force for sucking an object existing in the vicinity of the suction port of the tip portion 12 can be selectively performed. ing. Further, the AWS control unit 243 is configured to generate and output an AWS control signal for controlling the operation of the AWS mechanism 143. Specifically, the AWS control unit 243 generates an AWS control signal for controlling the operating state of the solenoid valve provided in the AWS mechanism 143, for example, based on the insertion control signal supplied from the system control unit 260. Is configured to output.
  • the rotation control unit 244 is configured to generate and output a rotation control signal for controlling the operation of the rotation mechanism 144 based on the insertion control signal supplied from the system control unit 260. Specifically, the rotation control unit 244 generates a rotation control signal for controlling the rotation state of the motor provided in the rotation mechanism 144, for example, based on the insertion control signal supplied from the system control unit 260. It is configured to output.
  • the insertion operation control unit 240 is an operation for advancing the insertion unit 11 as a control signal corresponding to the operation realized by the function of the endoscope 10 based on the insertion control signal supplied from the system control unit 260.
  • a pushing operation corresponding to, a pulling operation corresponding to an operation for retracting the insertion portion 11, a direction in which the curved portion 13 is curved so that the direction of the tip portion 12 intersects the insertion shaft (longitudinal axis) of the insertion portion 11.
  • An angle operation corresponding to an operation for directing (for example, one of eight directions consisting of four directions up, down, left and right, and four directions in between), and the insertion portion 11 is rotated around the insertion axis (longitudinal axis).
  • the display control unit 250 performs processing for generating a display image including the endoscopic image output from the image processing unit 220, and also performs processing for displaying the generated display image on the display device 60. It is configured in. Further, the display control unit 250 may be configured to perform processing for displaying the insertion shape image output from the system control unit 260 on the display device 60.
  • the insertion shape detection device 30 includes a receiving antenna 310 and an insertion shape information acquisition unit 320.
  • the receiving antenna 310 is configured to include, for example, a plurality of coils for three-dimensionally detecting magnetic fields emitted from each of the plurality of source coils 18. Further, the receiving antenna 310 detects the magnetic fields emitted from each of the plurality of source coils 18 and generates a magnetic field detection signal corresponding to the strength of the detected magnetic field and outputs the magnetic field detection signal to the insertion shape information acquisition unit 320. It is configured.
  • the insertion shape information acquisition unit 320 is configured to acquire the respective positions of the plurality of source coils 18 based on the magnetic field detection signal output from the receiving antenna 310. Further, the insertion shape information acquisition unit 320 is configured to generate insertion shape information indicating the positions of the plurality of source coils 18 acquired as described above and output the insertion shape information to the system control unit 260.
  • the insertion shape information acquisition unit 320 has an origin or a reference point as the respective positions of the plurality of source coils 18, for example, a predetermined position (anus or the like) of the subject into which the insertion unit 11 is inserted. Acquire a plurality of three-dimensional coordinate values in the spatial coordinate system virtually set as described above. Further, the insertion shape information acquisition unit 320 generates the insertion shape information including the plurality of three-dimensional coordinate values acquired as described above and outputs the insertion shape information to the system control unit 260.
  • a process for acquiring a plurality of two-dimensional coordinate values corresponding to each of the plurality of three-dimensional coordinate values included in the insert shape information output from the insert shape information acquisition unit 320 performs a process for interpolating the acquired two-dimensional coordinate values and a process for generating an inserted shape image corresponding to the interpolated two-dimensional coordinate values.
  • the insertion shape detection device 30 may be configured as an electronic circuit, or may be configured as a circuit block in an integrated circuit such as an FPGA. Further, in the present embodiment, for example, the insertion shape detection device 30 may be configured to include one or more processors (CPU or the like).
  • the system control unit 260 includes an insertion control unit 261, a control content recording unit 262, an insertion shape classification unit 263, and an operation database (DB) unit 264.
  • the system control unit 260 is configured to generate and output a system control signal for performing an operation in response to an instruction or the like from the operation unit 16 and the input device 50.
  • the insertion control unit 261 as an operation selection unit inserts the insertion unit 11 into a desired cavity according to automatic insertion control based on the outputs of the insertion shape detection device 30, the external force information acquisition device 40, and the image processing unit 220.
  • a control signal (hereinafter referred to as a basic control signal) for controlling various operations (hereinafter referred to as a basic insertion operation) is generated.
  • the basic insertion operation by the insertion control unit 261 is performed on the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape detection device 30. Based on at least one of them, for example, it is selected and executed from each basic insertion operation realized by the function of the endoscope 10, and for example, the forward operation (push operation) and the backward operation described above are performed. There are (pulling operation), stopping operation, angle (curving) operation, rotation operation (twisting operation), air supply operation, water supply operation, suction operation, and the like.
  • the basic control signal from the insertion control unit 261 also includes control contents related to the movement amount, the movement speed, the rotation angle, the rotation direction, the operation force, and the like when the insertion basic operation is executed.
  • the control content recording unit 262 is composed of a predetermined recording medium.
  • the control content recording unit 262 sequentially records the basic insertion operation, which is the control content of the insertion control unit 261.
  • a skilled doctor attaches great importance to the reaction of the tip side to the operation of the hand side with respect to the endoscope. For example, if the tip of the tip moves smoothly with respect to the pushing operation of the right hand by the amount corresponding to the pushing amount, that is, the amount equivalent to the amount intended by the doctor, the surgeon has a good endoscope. Recognize that it is in an inserted state. In this case, it becomes easier for the operator to select the pushing operation intended to move forward in the next operation as well.
  • Such a good insertion state is sometimes expressed as "the endoscope feels free” or "the relationship between the hand and the tip moving one-to-one".
  • a good insertion state will be described as "the state in which the endoscope is free”.
  • the tip cannot be advanced sufficiently with respect to the amount of pushing, or if the tip hardly moves, or if a movement different from the advance such as retreat or rotation occurs, the operator will move the mucous membrane. It is judged that there are factors that hinder the advancement such as friction and deflection.
  • the skilled doctor selects an operation for eliminating or reducing these obstructive factors, such as a rotation operation and a jiggling operation (repeating fine back and forth movements).
  • the insertion shape classification unit 263 equipped with a discriminator learned so that the same determination process as that of a skilled doctor can be executed is adopted.
  • the insertion shape classification unit 263 classifies (also called inference) what kind of insertion state the insertion unit 11 is based on based on a series of images imaged by the image pickup unit 110 and given by the image processing unit 220. Get results.
  • the series of images is a plurality of images (time-series images) obtained in a time series such as a moving image having a predetermined frame rate and a still image obtained by being continuously photographed. As long as it is a plurality of images obtained in a time series, even a plurality of images that do not change at all are time series images.
  • auxiliary insertion operation it is possible to recognize whether or not an image change corresponding to the intended insertion state has been obtained for the executed basic insertion operation by the classification of the insertion shape classification unit 263, and this recognition. Based on the result, the operation considered to be effective for smooth insertion is selected as the next operation (hereinafter referred to as auxiliary insertion operation).
  • the insertion control unit 261 refers to the operation DB unit 264 based on the basic insertion operation recorded in the control content recording unit 262 and the insertion state classification result output from the insertion shape classification unit 263 to perform auxiliary insertion. It is configured to acquire an operation and output a control signal (hereinafter referred to as an auxiliary control signal) for realizing the acquired auxiliary insertion operation.
  • an auxiliary control signal a control signal for realizing the acquired auxiliary insertion operation.
  • the insertion state classification unit 263 includes, for example, each 3D coupling coefficient (weight) in a 3D-CNN (Convolutional Neural Network) corresponding to a multi-layer neural network including an input layer, one or more convolutional layers, and an output layer. Is classified from the time-series images output from the image processing unit 220 by performing processing using a discriminator created by learning by a learning method such as deep learning, among a plurality of types. It is configured to obtain classification results classified into one type.
  • 3D-CNN makes it possible to apply CNN (Convolutional Neural Network), which is widely used for recognition and classification of ordinary (two-dimensional) images, to three-dimensional images (voxel images) or time-series images. It is a method extended to.
  • each of the predetermined plurality of types described above is formed in a period from, for example, the time when the insertion of the insertion portion 11 into the subject is started to the time when the insertion of the insertion portion 11 in the subject is completed.
  • the various insertion states to be obtained it is set as a characteristic insertion state or a type of success or failure of the operation that contributes to the judgment regarding the success or failure of the operation when the insertion operation of the insertion unit 11 is performed manually or automatically.
  • insertion state not only "forward” but also "good forward” and “stop” including the success or failure of the operation can be considered.
  • FIGS. 3A to 3F are explanatory views for explaining a time-series image and a label attached to the time-series image.
  • 3A to 3F are time-series images obtained by being imaged by the imaging unit 110 during the insertion operation of the insertion unit 11, and at times t1, ..., T5, each image constituting the time-series image is Indicates the time of acquisition.
  • the time-series image can be acquired from a plurality of images obtained from the start to the end of a certain operation, for example, at regular time intervals, and FIGS. 3A to 3F are time-series images generated in this way. An example of is shown.
  • the operation of the insertion portion may cause a slight delay with respect to the operation.
  • a margin time of about 1 to 2 seconds may be added to the end time.
  • a set of time-series images is composed of five images in the following description.
  • FIG. 3A shows a time-series image at the time of the forward operation, and the tip of the insertion portion 11 advances (advances) in the deep direction of the cavity.
  • the tip portion 12 advances, changes appear such that the dark cavity and folds existing on the distant side gradually approach or deviate from the image field of view.
  • the teacher data creator is assumed to be a skilled doctor in the colonoscopy insertion procedure or a person who has sufficient knowledge about endoscopic operation as well as a skilled doctor.
  • teacher data creators label time series images as "good progress.”
  • “Good advance” indicates, for example, an insertion state in which the tip of the insertion portion 11 advances by about 5 cm when an operation of advancing the insertion portion 11 by 5 cm is performed.
  • the insertion state in which the tip of the insertion portion 11 is advanced by about 2.5 cm may be labeled as “insufficient advance”. ..
  • the insertion state may be labeled as “stop”.
  • the amount of advance with respect to the operation is quantitatively expressed, but the actual amount of advance may be subjectively evaluated. For example, if the teacher data creator evaluates that the time-series image obtained when the advance / retreat mechanism 141 advances the insertion portion 11 by 5 cm is sufficiently advanced, it is "good advance” and hardly moves. It can be labeled “stop” if it is in a state, and "insufficient advance” if it is none of them and the amount of advance feels intermediate.
  • FIG. 3B shows a time-series image at the time of the retracting operation in the state where the endoscope is free, and the tip of the insertion portion 11 is retracted with respect to the deep direction of the tube.
  • the teacher data creator labels the time series image of FIG. 3B as "backward”.
  • FIG. 3C shows a time-series image of the clockwise rotation operation when the endoscope is free, and the tip of the insertion portion 11 is rotated clockwise with respect to the deep direction of the tube.
  • the teacher data creator labels the time-series image of FIG. 3C as "rotate right".
  • FIG. 3B shows a time-series image at the time of the retracting operation in the state where the endoscope is free, and the tip of the insertion portion 11 is retracted with respect to the deep direction of the tube.
  • the teacher data creator labels the time series image of FIG. 3B as "backward”.
  • FIG. 3C shows a time-series image of the clockwise rotation operation when the endoscope is
  • 3D shows a time-series image during the counterclockwise rotation operation in the state where the endoscope is free, and the tip of the insertion portion 11 is rotated counterclockwise with respect to the deep direction of the tube.
  • the teacher data creator labels the time series image of FIG. 3D as "rotate counterclockwise”.
  • FIGS. 3B to 3D it has been described that the time-series images in the free state of the endoscope are shown, but regardless of whether the endoscope is in the free state or not, the above FIG. 3B -The time-series images in FIG. 3D are labeled as "backward”, “rotated to the right", and “rotated to the left”.
  • FIG. 3A it was explained that the label was "good progress", but it is assumed that the teacher data creator knows what kind of operation is the result of the time-series image. It is attached.
  • FIG. 3E shows a time-series image labeled as "translation to the right" by the teacher data creator
  • FIG. 3F shows an "angle to the right” by the teacher data creator. Shows a time-series image labeled "Operation”.
  • FIG. 3F only the angle operation of bending the curved portion 13 to the right as a predetermined one direction is shown, but for example, a time-series image in the case of performing the angle operation in eight directions is used in eight directions. May be labeled corresponding to each.
  • the tip of the insertion portion 11 may be in an inserted state accompanied by deformation on the intestinal tract side.
  • intestinal deformity By using a time-series image in such a case, it is possible to label it as "intestinal deformity".
  • the type of intestinal deformation is not limited to one.
  • a classifier for classifying the insertion state is obtained.
  • learning for example, a total of 14 classes of good forward, insufficient forward, backward, rotation in two directions, angle operation in eight directions, and stop indicating a state of almost no movement are targeted for identification, and each class is used as teacher data.
  • About 1000 sets of time-series images may be used for each, and the number of learnings (called epoch) may be 100 times.
  • multidimensional data such as the pixel value of each pixel included in the time series image output from the image processing unit 220 is acquired, and the multidimensional data is used as input data for the neural network.
  • a plurality of likelihoods corresponding to each type that can be classified as the type of the insertion state of the insertion unit 11 obtained from the time series image are used as output data output from the output layer of the neural network.
  • the processing using this discriminator for example, one insertion state corresponding to the highest likelihood among the plurality of likelihoods included in the output data output from the output layer of the neural network.
  • the type can be obtained as a classification result of the insertion state of the insertion unit 11 obtained as a result of the operation.
  • the insertion state classification unit 263 classifies the time-series image from the image processing unit 220 and the insertion state of the insertion unit 11 obtained from the time-series image into one of a plurality of predetermined types.
  • the insertion state of the insertion unit 11 which is the result of the insertion operation into the subject. It is configured to obtain classification results indicating the type.
  • the insertion control unit 261 reads the insertion state obtained as a result of the classification from the insertion shape classification unit 263, reads the basic insertion operation that generated the insertion state from the control content recording unit 262, and reads the operation DB.
  • the auxiliary insertion operation is acquired by referring to the part 264. Normally, when the expected insertion state for the basic insertion operation is obtained, such as when the endoscope is free, the auxiliary insertion operation is not performed and the next basic insertion operation is performed.
  • At least a part of the functions of the main device 20 may be realized by the processor 20P. Further, in the present embodiment, at least a part of the main body device 20 may be configured as an individual electronic circuit, or may be configured as a circuit block in an integrated circuit such as FPGA (Field Programmable Gate Array). May be good. Further, by appropriately modifying the configuration according to the present embodiment, for example, the computer reads a program for executing at least a part of the functions of the main unit 20 from the storage medium 20M such as a memory, and the read program. The operation may be performed according to the above.
  • the storage medium 20M such as a memory
  • FIG. 4 is a flowchart for explaining the operation of the embodiment.
  • the system control unit 260 selects the basic insertion operation in step S1 of FIG.
  • the system control unit 260 records the content of the selected basic insertion operation in the control content recording unit 262 (step S2).
  • the insertion control unit 261 outputs a basic control signal for executing the selected basic insertion operation to the insertion operation control unit 240.
  • the insertion operation control unit 240 controls each mechanism of the endoscope 10 to execute the basic insertion operation (step S3).
  • the image pickup unit 110 takes an image of the subject at the time of insertion (step S4) and outputs the image pickup signal to the image processing unit 220.
  • the image processing unit 220 gives an captured image (endoscopic image) based on the imaging signal to the display control unit 250 to display it on the display device 60, and also gives it to the insertion shape classification unit 263.
  • the image processing unit 220 gives the images captured by the image pickup unit 110 to the insertion shape classification unit 263, and the insertion shape classification unit 263 responds to the insertion state of the tip of the image pickup unit 110 at the time of the basic insertion operation. Get a series image.
  • step S6 the system control unit 260 determines whether or not the specified number of sheets has been reached, returns the process to step S3 if the specified number of sheets has not been reached, and steps S7 when the specified number of sheets is reached. Move to.
  • the insertion shape classification unit 263 classifies the insertion state using the time-series images composed of the predetermined number of captured images in step S7. This classification indicates what kind of insertion state the change in the image caused by the operation corresponds to when the operation related to the insertion of the endoscope 10 is performed.
  • the tip portion advanced well", “not advanced sufficiently”, and “not advanced” with respect to the operation.
  • the movement of the tip portion 12 such as “,” retracted (the cavity has moved away) ",” rotated ", etc. can be obtained by classification.
  • the insertion control unit 261 reads the content of the basic insertion operation that gives the insertion state obtained as a result of the classification from the control content recording unit 262, and based on the insertion state obtained by the classification and the read basic insertion operation, the operation DB unit 264. Performs the following auxiliary insert operation by referring to. In this case, the insertion control unit 261 determines whether or not the read basic insertion operation and the insertion state obtained by the classification correspond to each other, that is, whether or not the expected insertion state is obtained (step S8). ). When the expected insertion state is obtained, the insertion control unit 261 returns the process to step S1 to select the next basic insertion operation, and when the expected insertion state is not obtained, step S9. The auxiliary insertion operation is determined in.
  • step S10 when a determination result other than "the tip portion has advanced satisfactorily" is obtained with respect to the operation of advancing the tip portion 12, as an auxiliary insertion operation, a jig ring, a rotation operation, or the like is performed on the endoscope 10. An operation for improving the situation is selected and executed so that the tip portion 12 can proceed smoothly (step S10).
  • next operation is normally selected for the determination result of "slightly forward", or the operation of moving forward while applying a rotational force is selected.
  • the normal next operation is selected, the amount of advance is increased, or the advance condition is relaxed. Etc. may be selected.
  • the system control unit 260 determines whether or not the tip portion 12 has reached the target portion (step S11), and repeats the processes of steps S1 to S10 until the tip portion 12 reaches the target portion.
  • the time-series image is classified according to the insertion state of the endoscope line portion into the lumen, thereby performing the insertion of the endoscope insertion portion. It is possible to determine whether or not the expected insertion state has been obtained and what kind of insertion state has been obtained for the selected operation among the plurality of types of operations. By deciding the next insertion operation using this judgment result, it is possible to understand how the endoscope insertion part and the tip part behaved with respect to the intended operation, and it is appropriate according to the situation. The operation can be selected, and the endoscope insertion portion can be inserted into the lumen more reliably and smoothly while preventing the insertion situation from deteriorating and causing pain in the patient.
  • this classifier was generated by classifying time-series images according to the insertion state of the endoscopic line into the cavity to obtain teacher data, and learning the teacher data using a neural network. By using the model, highly accurate classification results can be obtained.
  • FIG. 5 is a block diagram showing a second embodiment of the present invention. Further, FIG. 6 is an explanatory diagram showing a state of endoscopy.
  • FIGS. 5 and 6 the same configurations as those in FIG. 2A are designated by the same reference numerals, and the description thereof will be omitted.
  • the endoscope system 400 includes an endoscope 410 and a main body device 420.
  • the endoscope 410 omits the advance / retreat mechanism 141, the AWS mechanism 143, and the rotation mechanism 144 from the endoscope 10 of FIG. 2A.
  • the insertion operation control unit 240 is omitted from the main body device 20 of FIG. 2A.
  • the insertion control unit 261 and the control content recording unit 262 and the operation DB unit 264 are omitted, and the insertion shape image generation unit 461 and the curvature control unit 462 are added.
  • the system control unit 460 is adopted.
  • the endoscope 410 is connected to an elongated and flexible insertion portion 410b that is inserted into the body cavity of the subject P, which is a subject, and the base end of the insertion portion 410b, and is provided with various actuators. It has a unit 410a, a cable 410c for connecting the operation unit 410a and the main body device 420.
  • FIG. 6 shows a state in which the insertion portion 410b is inserted into the large intestine from the anus of the subject P lying on the examination bed 6.
  • FIG. 6 shows a state in which the operator O is grasping the operation portion 410a and the insertion portion 410b of the endoscope 410 connected to the main body device 420 on the medical trolley 4 by the cable 410c.
  • the configuration of the insertion portion 410b is the same as that of the insertion portion 11 of FIG. 1, and the imaging unit 110 is arranged at the tip portion and a plurality of source coils 18 for detecting the insertion state are arranged. Further, a curved portion is provided at the tip of the insertion portion 410b, and the curved portion is configured to be curved and driven by the bending mechanism 142.
  • the operation unit 410a is provided with a curved knob 410d that constitutes the input device 50.
  • an operation signal is supplied to the system control unit 460.
  • the bending control unit 462 of the system control unit 460 is configured to generate and output a bending control signal for controlling the operation of the bending mechanism 142 based on the operation of the bending knob 410d.
  • this bending control signal for example, the rotational state of the motor provided in the bending mechanism 142 is controlled, and the bending operation is performed according to the operation of the bending knob 410d. In this way, the operator can push the insertion portion 410b into the body cavity while bending the bending portion by operating the bending knob 410d.
  • the insertion state of the insertion portion 410b is observed by a known insertion shape detection device 30.
  • An insertion shape detection device 30 composed of a receiving antenna 310 and an insertion shape information acquisition unit 320 is arranged in the vicinity of the bed 6.
  • the insertion shape detection device 30 is connected to the main body device 420 by a cable 7a.
  • the insertion shape detection device 30 generates the insertion shape information of the insertion unit 410b and outputs it to the system control unit 460.
  • the insertion operation by the operator O can be detected by the operation detection sensor 70.
  • the operation detection sensor 70 detects, for example, the advancing / retreating direction, the moving amount, the rotating direction, and the rotating amount of the insertion portion 410b in the vicinity of the anus of the subject P.
  • the operation detection sensor 70 outputs the detection result to the operator operation detection device 71.
  • the operator operation detection device 71 determines the start timing of various operations of the operator based on the detection result of the operation detection sensor 70. Further, the operator operation detection device 71 determines the type of operation of the operator based on the detection result of the operation detection sensor 70 in a predetermined period from the start timing of the operation. It should be noted that this predetermined period is set according to the time-series image at the time of learning for obtaining the model used by the insertion shape classification unit 263.
  • the operator operation detection device 71 outputs information on the type of operator's operation and the start timing to the system control unit 460.
  • the insertion shape image generation unit 461 of the system control unit 460 acquires, for example, a plurality of two-dimensional coordinate values corresponding to each of the plurality of three-dimensional coordinate values included in the insertion shape information output from the insertion shape information acquisition unit 320. Processing, processing for interpolating the acquired plurality of two-dimensional coordinate values, and processing for generating an inserted shape image corresponding to the interpolated plurality of two-dimensional coordinate values are executed.
  • the insertion shape image generation unit 461 outputs the generated insertion shape image to the display control unit 250. As a result, the display control unit 250 can display the inserted shape image on the display screen of the display device 60.
  • the system control unit 460 has, for example, an insertion shape classification unit 263 using a model obtained by the same learning as in the first embodiment.
  • the system control unit 460 outputs to the display control unit 250 the information of the classification result indicating the type of the insertion state acquired by the classification of the insertion shape classification unit 263 for the operation of the operator detected by the operator operation detection device 71. It is designed to do.
  • the display control unit 250 displays a display indicating the type of the inserted state on the display screen of the display device 60.
  • FIG. 7 is a flowchart for explaining the operation of the second embodiment.
  • the same procedure as in FIG. 4 is designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 8 is an explanatory diagram for explaining the operation of the second embodiment.
  • step S7 of FIG. 7 the insertion shape classification unit 263 classifies the insertion state using a time-series image composed of a predetermined number of captured images. This classification indicates what kind of insertion state the change in the image caused by the insertion operation of the endoscope 10 performed by the operator corresponds to.
  • the insertion shape classification unit 263 gives the classification result to the display control unit 250, and the display control unit 250 displays the classification result on the screen of the display device 60 (step S22).
  • FIG. 8 shows a display example in this case.
  • the insertion shape image 61 of the insertion unit 11 generated by the insertion shape image generation unit 461 is displayed on the display screen 60a of the display device 60, and the classification result.
  • Display 62 of the type of insertion state of is displayed.
  • the display 62 of the insertion state type is a display of "almost no advance". The operator can easily recognize from the display 62 that the tip of the insertion portion 11 is hardly advanced even though the forward operation is performed, for example.
  • the time-series images are classified according to the insertion state of the endoscopic line portion into the lumen to obtain the teacher data, and the teacher data is learned using the neural network. Whether or not the expected insertion state was obtained for the selected operation among the multiple types of operations for inserting the endoscope insertion part by adopting the classifier using the model generated by , It is possible to determine what kind of insertion state was obtained. By displaying this determination result, the surgeon can effectively support the selection of the next insertion operation that can improve the insertion situation or prevent the patient from causing pain. It can be performed.
  • the insertion operation control unit 240, the system control unit 260, the system control unit 460, and the like according to the above embodiment may be configured by combining a dedicated circuit or a plurality of general-purpose circuits, and may be configured in advance as necessary. It may be configured by combining a microprocessor such as a microprocessor and a CPU that operates according to programmed software, or a sequencer. Further, it is possible to design so that an external device takes over a part or all of the control, and in this case, a wired or wireless communication circuit intervenes. An embodiment in which an external device such as a server or a personal computer performs characteristic processing or supplementary processing of each embodiment is also assumed.
  • the present application also covers the case where a plurality of devices cooperate to establish the features of the present invention.
  • Bluetooth registered trademark
  • Wi-Fi registered trademark
  • a telephone line or the like is used.
  • the communication at this time may be performed by USB or the like.
  • a dedicated circuit, a general-purpose circuit, and a control unit may be integrated into an ASIC.
  • the controls and functions mainly described in the flowchart can be set by a program, and the above-mentioned controls and functions can be realized by reading and executing the program by a computer. it can.
  • the program may record or store all or part of it on a portable medium such as a flexible disk, a CD-ROM, or a non-volatile memory, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line.
  • the user can easily realize the endoscope insertion control device of the present embodiment by downloading the program via a communication network and installing it on a computer, or installing it on a computer from a recording medium. can do.
  • the present invention is not limited to each of the above embodiments as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by appropriately combining the plurality of components disclosed in each of the above embodiments. For example, some components of all the components shown in the embodiment may be deleted. In addition, components across different embodiments may be combined as appropriate.
  • 3D-CNN which is a method of deep learning, is used as a method for detecting the state of the endoscope insertion portion from a time-series image has been described. For example, a known optical flow is used.
  • the endoscope insertion control device and method of the present invention can be used even if the organ other than the large intestine is, for example, the small intestine or the bronchus, or an industrial endoscope for inspecting piping or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡挿入制御装置は、内視鏡の挿入に関する操作を選択する操作選択部と、前記操作選択部により選択された操作の実行に応じて時系列に得られる複数の画像を取得する画像取得部と、を具備し、前記操作選択部は、前記画像取得部による取得された時系列に得られる複数の画像に基づき前記内視鏡の挿入に関する操作を選択する。

Description

内視鏡挿入制御装置及び内視鏡挿入制御方法
　本発明は、内視鏡挿入部の挿入を確実かつ容易にする内視鏡挿入制御装置及び内視鏡挿入制御方法に関する。
　従来より、細長の挿入部を屈曲した体腔内に挿入することにより、体表面を切開することなく体腔内深部の臓器などを観察したり、必要に応じて内視鏡挿入部の処置具チャンネル内に挿通した処置具を用いて各種の治療や処置などをしたりする医療用の内視鏡が広く利用されている。
　術者は、臓器等の観察のために、内視鏡挿入部を手等によって体腔内に挿入させる。しかし、内視鏡挿入部が挿入される体腔内の管路は弾力性を有しており、管路の屈曲部分等において、内視鏡挿入部を押し込む力によって管路が撓み、内視鏡挿入部が円滑に前進しないことがある。
　このため内視鏡の挿入操作は熟練を要する。特に大腸の内視鏡挿入手技については、腸管が長く複雑な走行形態を示すこと、また、横行結腸やＳ状結腸部は体腔に固定されておらず可動する状態であるため挿入が難しく、内視鏡の挿入状況によっては患者に苦痛を与える可能性があることもあり熟練が必要であることが知られている。そこで、日本国特許第３６４５２２３号公報においては、挿入操作を容易にする内視鏡湾曲装置が提案されている。この提案では、挿入部の先端に設けられた撮像手段からの画像によって暗部を検出して管腔の中心を検出し、挿入部に設けられた湾曲部を、管腔の中心を向くように、湾曲角度指示値を算出するようになっている。
　また、近年、内視鏡を管腔内に自動挿入可能な自動挿入内視鏡も開発されている。このような自動挿入内視鏡では、管腔方向の検出等により内視鏡先端部を前進方向に向けて先端部を前進させることができる。これにより、内視鏡挿入部を例えば、大腸深部まで到達させることができる。
　しかしながら、術者による挿入時、及び、自動挿入内視鏡による挿入時のいずれの場合においても、挿入部の挿入状態は、挿入部に対する術者が意図した挿入操作の通りに常に変化あるいは進行するわけではない。例えば、挿入部を挿入（前進）させる操作を行ったとしても、必ずしも挿入部の挿入状態が良好な前進状態になるとは限らず、例えば内視鏡のたわみや腸壁との摩擦等によりわずかな前進にとどまったり、脾湾局部においていわゆるステッキ現象が生じた際等には先端部はむしろ進行方向から遠ざかるように動くこともある。このような状況において内視鏡を前進させる操作を続けると、挿入状況のさらなる悪化を生じさせたり、被検者である患者に疼痛を与えることがある。したがって、意図した操作に対し内視鏡挿入部や先端部がどのような挙動を示したかを常に把握し、状況に応じた適切な操作をしなければ内視鏡挿入を完遂することは困難であるにもかかわらず、従来の内視鏡挿入支援装置や自動挿入内視鏡においては考慮されていない。このため、日本国特許第３６４５２２３号公報等の技術を利用したとしても、挿入が円滑に行われるとは限らないという問題があった。また、例えば特許公報４８５５９０１号のように内視鏡挿入形状からループやたわみを検出し、解除操作等をうながす内視鏡挿入支援装置も提案されているが、これらはループやたわみが生じてから支援情報を提供することはできるものの、医師や内視鏡自動挿入装置の一度の操作によるわずかな変化から挿入状況を検出することは難しく、 また、必ずしも挿入形状に現れない粘膜表面との摩擦等の状況を知ることもできないという問題がある。
　本発明は、ある挿入操作に対する内視鏡挿入部の挙動を画像から評価し、その評価の結果に基づき次の操作を選択的に実行することにより、内視鏡の挿入を確実かつ円滑に行うことを効果的に支援することができる内視鏡挿入制御装置及び内視鏡挿入制御方法を提供することを目的とする。
　本発明の一態様の内視鏡挿入制御装置は、内視鏡の挿入に関する操作を選択する操作選択部と、前記操作選択部により選択された操作の実行に応じて時系列に得られる複数の画像を取得する画像取得部と、を具備し、前記操作選択部は、前記画像取得部による取得された時系列に得られる複数の画像に基づき前記内視鏡の挿入に関する操作を選択する。
　本発明の一態様の内視鏡挿入制御装置は、時系列に得られる複数の画像を取得する画像取得部と、内視鏡により時系列に撮像されて得られる複数の画像について挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて前記教師データを用いた学習を行うことにより生成したモデルを用いた識別器を有する分類部と、内視鏡挿入部の挿入操作に伴って前記画像取得部が取得した前記複数の画像を前記分類部に与えて、前記挿入状態の分類結果を得る制御部とを具備する。
　本発明の一態様の内視鏡挿入制御方法は、内視鏡の挿入に関する操作を選択し、選択された前記操作の実行に応じて時系列に得られる複数の画像を取得し、取得した前記複数の画像を分類し、前記分類の結果を参照して操作を選択する。
本発明の第１の実施の形態に係る内視鏡挿入制御装置を含む内視鏡システムを示すブロック図。 内視鏡システム１の具体的な構成を説明するためのブロック図。 進退機構の一例を示す図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 内視鏡検査の様子を示す説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するための説明図。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る内視鏡挿入制御装置を含む内視鏡システムを示すブロック図である。第１の実施の形態は内視鏡の挿入部を被検体の大腸に自動的に挿入する自動挿入内視鏡に適用したものである。
　本実施の形態は、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを、機械学習によって得たモデルを用いた識別器により判定するものである。この識別器は、連続的、経時的に撮像された複数の画像（時系列画像）についてそれぞれ挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いるものであり、時系列画像から挿入状態に応じたクラスを推定する。
　図１は内視鏡挿入制御装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム１は、例えば、図１に示すように、内視鏡１０と、本体装置２０と、挿入形状検出装置３０と、外力情報取得装置４０と、入力装置５０と、表示装置６０と、を有して構成されている。
　内視鏡１０は、後述するように、挿入が自動化された自動挿入内視鏡である。内視鏡１０は被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７と、を有して構成されている。また、内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）を介し、本体装置２０に対して着脱自在に接続されるように構成されている。また、挿入部１１、操作部１６及びユニバーサルコード１７の内部には、本体装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。
　挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１２と、湾曲自在に形成された湾曲部１３と、可撓性を有する長尺な可撓管部１４と、を先端側から順に設けて構成されている。また、先端部１２、湾曲部１３及び可撓管部１４の内部には、本体装置２０から供給されるコイル駆動信号に応じた磁界を発生する複数のソースコイル１８が挿入部１１の長手方向に沿って所定の間隔で配置されている。
　先端部１２には、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１２には、本体装置２０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部１１０（図１では不図示）が設けられている。
　湾曲部１３は、後述の湾曲制御部２４２の制御に応じて湾曲することができるように構成されている。また、湾曲部１３は、操作部１６に設けられたアングルノブ（不図示）の操作に応じて湾曲することができるように構成されている。
　操作部１６は、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部１６には、挿入部１１の長手軸に対して交差する上下左右の例えば４方向や８方向に湾曲部１３を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられていてもよい。また、操作部１６には、ユーザの入力操作に応じた指示を行うことが可能な１つ以上のスコープスイッチ（不図示）が設けられていてもよい。
　本体装置２０は、１つ以上のプロセッサ２０Ｐと、記憶媒体２０Ｍと、を有して構成されている。また、本体装置２０は、ユニバーサルコード１７により内視鏡１０に対して着脱自在に接続されるように構成されている。また、本体装置２０は、挿入形状検出装置３０、入力装置５０及び表示装置６０の各部に対して着脱自在に接続されるように構成されている。また、本体装置２０は、入力装置５０からの指示に応じた動作を行うように構成されている。また、本体装置２０は、内視鏡１０から出力される撮像信号に基づいて内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示装置６０に表示させるための動作を行うように構成されている。また、本体装置２０は、内視鏡１０の動作を制御するための様々な制御信号を生成して出力するように構成されている。また、本体装置２０は、内視鏡制御装置としての機能を具備し、挿入形状検出装置３０から出力される挿入形状情報（後述）を用いて挿入部１１の挿入操作に係る制御を行うように構成されている。また、本体装置２０は、挿入形状検出装置３０から出力される挿入形状情報に応じた挿入形状画像を生成するとともに、当該生成した挿入形状画像を表示装置６０に表示させるための動作を行うようになっていてもよい。
　挿入形状検出装置３０は、挿入部１１に設けられたソースコイル１８の各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいて複数のソースコイル１８のそれぞれの位置を取得するように構成されている。また、挿入形状検出装置３０は、前述のように取得した複数のソースコイル１８の各々の位置を示す挿入形状情報を生成して本体装置２０及び外力情報取得装置４０へ出力するように構成されている。すなわち、挿入形状検出装置３０は、被検体内に挿入されている挿入部の挿入形状を検出して挿入形状情報を取得するとともに、当該取得した挿入形状情報を本体装置２０及び外力情報取得装置４０へ出力するように構成されている。
　外力情報取得装置４０には、例えば、外力が加えられていない状態における挿入部１１の所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、が格納されている。また、外力情報取得装置４０は、例えば、挿入形状検出装置３０から出力される挿入形状情報に基づいて挿入部１１に設けられた複数のソースコイル１８のそれぞれの位置を特定し、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）及び湾曲角度に基づいて予め格納されている各種データを参照することにより、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を取得するように構成されている。また、外力情報取得装置４０は、前述のように取得した複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を生成して本体装置２０へ出力するように構成されている。
　なお、本実施形態においては、外力情報取得装置４０が挿入部１１に設けられた複数のソースコイル１８のそれぞれの位置における外力を算出するための手法として、日本国特許第５８５１２０４号公報に開示された手法が用いられるものであってもよく、または、日本国特許第５８９７０９２号公報に開示された手法が用いられるものであってもよい。また、本実施形態においては、例えば、歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、及び、無線素子等の電子部品が挿入部１１に設けられている場合に、外力情報取得装置４０が当該電子部品から出力される信号に基づいて複数のソースコイル１８のそれぞれの位置における外力を算出するように構成されていてもよい。
　入力装置５０は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作される１つ以上の入力インターフェースを有して構成されている。また、入力装置５０は、ユーザの操作に応じた指示を本体装置２０へ出力することができるように構成されている。
　表示装置６０は、例えば、液晶モニタ等を有して構成されている。また、表示装置６０は、本体装置２０から出力される内視鏡画像等を画面上に表示することができるように構成されている。
　図２Ａは内視鏡システム１の具体的な構成を説明するためのブロック図である。図２Ａを参照して、内視鏡１０及び本体装置２０の具体的な構成の一例について説明する。
　内視鏡１０は、複数のソースコイル１８と、撮像部１１０と、進退機構１４１と、湾曲機構１４２と、ＡＷＳ（Ａｉｒ　ｆｅｅｄｉｎｇ， Ｗａｔｅｒ　ｆｅｅｄｉｎｇ， ａｎｄ Ｓｕｃｔｉｏｎ）機構１４３と、回転機構１４４と、を有して構成されている。
　撮像部１１０は、例えば、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮像して撮像信号を出力するカラーＣＣＤ等のイメージセンサと、を有して構成されている。
　図２Ｂは進退機構１４１の具体的な構成の一例を示す図である。進退機構１４１は、例えば、挿入部１１を挟んで対向する位置に配置された一対のローラ１４１ａ，１４１ｂと、当該一対のローラ１４１ａ，１４１ｂを回転させるための回転駆動力を供給する図示しないモータと、を有して構成されている。また、進退機構１４１は、例えば、本体装置２０の進退制御部２４１から出力される進退制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて一対のローラ１４１ａ，１４１ｂを軸Ｃ１，Ｃ２を中心に回転させることにより、挿入部１１を矢印Ａ１方向に前進させるための動作、及び、挿入部１１を矢印Ａ２方向に後退させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。
　湾曲機構１４２は、例えば、湾曲部１３に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するための回転駆動力を供給するモータと、を有して構成されている。また、湾曲機構１４２は、例えば、本体装置２０から出力される湾曲制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて複数のワイヤ各々の牽引量を変化させることにより、湾曲部１３を上下左右の４方向に湾曲させることができるように構成されている。
　ＡＷＳ機構１４３は、例えば、内視鏡１０（挿入部１１、操作部１６及びユニバーサルコード１７）の内部に設けられた図示しない送気送水管路及び吸引管路の２つの管路と、当該２つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁と、を有して構成されている。また、ＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、送気送水管路を開放するための動作が電磁弁において行われた場合に、本体装置２０から供給される水及び空気のうちの少なくとも一方を含む流体を当該送気送水管路に流通させることができるとともに、先端部１２に形成された排出口から当該流体を排出することができるように構成されている。また、ＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、吸引管路を開放するための動作が電磁弁において行われた場合に、本体装置２０において発生した吸引力を当該吸引管路に作用させることができるとともに、先端部１２に形成された吸引口の付近に存在する物体を当該吸引力により吸引することができるように構成されている。
　回転機構１４４は、例えば、可撓管部１４の基端側において挿入部１１を把持する把持部材と、当該把持部材を回転させるための回転駆動力を供給するモータと、を有して構成されている。また、回転機構１４４は、例えば、本体装置２０から出力される回転制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて把持部材を回転させることにより、挿入部１１を挿入軸（長手軸）周りに回転させることができるように構成されている。
　本体装置２０は、図２Ａに示すように、光源部２１０と、画像処理部２２０と、コイル駆動信号生成部２３０と、挿入動作制御部２４０と、表示制御部２５０と、システム制御部２６０と、を有して構成されている。
　光源部２１０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源部２１０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源装置２１０は、システム制御部２６０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。
　撮像部１１０と共に画像取得部を構成する画像処理部２２０は、例えば、画像処理回路を有して構成されている。また、画像処理部２２０は、内視鏡１０から出力される撮像信号に対して所定の処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示制御部２５０及びシステム制御部２６０へ出力するように構成されている。
　コイル駆動信号生成部２３０は、例えば、ドライブ回路を有して構成されている。また、コイル駆動信号生成部２３０は、システム制御部２６０から供給されるシステム制御信号に応じ、ソースコイル１８を駆動させるためのコイル駆動信号を生成して出力するように構成されている。
　挿入動作制御部２４０は、進退制御部２４１と、湾曲制御部２４２と、ＡＷＳ制御部２４３と、回転制御部２４４と、を有して構成されている。挿入動作制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０により実現される機能を制御するための動作を行うように構成されている。具体的には、挿入動作制御部２４０は、進退機構１４１により実現される進退機能、湾曲機構１４２により実現される湾曲機能、ＡＷＳ機構１４３により実現されるＡＷＳ機能、及び、回転機構１４４により実現される回転機能のうちの少なくとも１つの機能を制御するための動作を行うように構成されている。
　進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、進退機構１４１の動作を制御するための進退制御信号を生成して出力するように構成されている。具体的には、進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、進退機構１４１に設けられたモータの回転状態を制御するための進退制御信号を生成して出力するように構成されている。
　湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。具体的には、湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、湾曲機構１４２に設けられたモータの回転状態を制御するための湾曲制御信号を生成して出力するように構成されている。
　ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づいて図示しないポンプ等を制御することにより、水及び空気のうちの少なくとも一方を含む流体を内視鏡１０へ供給するための動作、及び、先端部１２の吸引口の付近に存在する物体を吸引するための吸引力を発生させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。また、ＡＷＳ制御部２４３は、ＡＷＳ機構１４３の動作を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。具体的には、ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、ＡＷＳ機構１４３に設けられた電磁弁の動作状態を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。
　回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、回転機構１４４の動作を制御するための回転制御信号を生成して出力するように構成されている。具体的には、回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、回転機構１４４に設けられたモータの回転状態を制御するための回転制御信号を生成して出力するように構成されている。
　すなわち、挿入動作制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０の機能により実現される操作に対応する制御信号として、挿入部１１を前進させるための操作に相当する押し操作、挿入部１１を後退させるための操作に相当する引き操作、湾曲部１３を湾曲させて先端部１２の向きを挿入部１１の挿入軸（長手軸）に対して交差する方向（例えば上下左右の４方向及び各々の中間である４方向からなる８方向のうちの一の方向）に向けるための操作に相当するアングル操作、挿入部１１を挿入軸（長手軸）周りに回転させる操作に相当する捻り操作、先端部１２の前方へ気体を噴出させるための送気操作、先端部１２の前方へ液体を噴出させるための送水操作、及び、先端部１２の前方の組織等を吸引させるための吸引操作の各操作に対応する制御信号を生成して出力することができるように構成されている。
　表示制御部２５０は、画像処理部２２０から出力される内視鏡画像を含む表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置６０に表示させるための処理を行うように構成されている。また、表示制御部２５０は、システム制御部２６０から出力される挿入形状画像を表示装置６０に表示させるための処理を行うようになっていてもよい。
　挿入形状検出装置３０は、図２Ａに示すように、受信アンテナ３１０と、挿入形状情報取得部３２０と、を有して構成されている。
　受信アンテナ３１０は、例えば、複数のソースコイル１８のそれぞれから発せられる磁界を３次元的に検出するための複数のコイルを有して構成されている。また、受信アンテナ３１０は、複数のソースコイル１８のそれぞれから発せられる磁界を検出するとともに、当該検出した磁界の強度に応じた磁界検出信号を生成して挿入形状情報取得部３２０へ出力するように構成されている。
　挿入形状情報取得部３２０は、受信アンテナ３１０から出力される磁界検出信号に基づき、複数のソースコイル１８のそれぞれの位置を取得するように構成されている。また、挿入形状情報取得部３２０は、前述のように取得した複数のソースコイル１８のそれぞれの位置を示す挿入形状情報を生成してシステム制御部２６０へ出力するように構成されている。
　具体的には、挿入形状情報取得部３２０は、複数のソースコイル１８のそれぞれの位置として、例えば、挿入部１１が挿入される被検体の所定の位置（肛門等）が原点または基準点となるように仮想的に設定された空間座標系における複数の３次元座標値を取得する。また、挿入形状情報取得部３２０は、前述のように取得した複数の３次元座標値を含む挿入形状情報を生成してシステム制御部２６０へ出力する。そして、このような場合においては、例えば、挿入形状情報取得部３２０から出力される挿入形状情報に含まれる複数の３次元座標値各々に対応する複数の２次元座標値を取得するための処理と、当該取得した複数の２次元座標値を補間するための処理と、当該補間した複数の２次元座標値に応じた挿入形状画像を生成するための処理と、がシステム制御部２６０により行われる。
　本実施形態においては、挿入形状検出装置３０の少なくとも一部が、電子回路として構成されていてもよく、または、ＦＰＧＡ等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。
　システム制御部２６０は、挿入制御部２６１と、制御内容記録部２６２と、挿入形状分類部２６３と、操作データベース（ＤＢ）部２６４と、を有して構成されている。システム制御部２６０は、操作部１６及び入力装置５０からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。
　操作選択部としての挿入制御部２６１は、挿入形状検出装置３０、外力情報取得装置４０及び画像処理部２２０の出力に基づく自動挿入制御に従って、挿入部１１を所望の管腔内に挿入させるための各種操作（以下、基本挿入操作という）を制御するための制御信号（以下、基本制御信号という）を発生する。
　挿入制御部２６１による基本挿入操作は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状検出装置３０により生成された挿入形状画像のうちの少なくとも１つに基づき、例えば、内視鏡１０の機能により実現される各基本挿入操作の中から選択されて実行されるものであり、例えば、上述した前進操作（押し操作）、後退操作（引き操作）、停止操作、アングル（湾曲）操作、回転操作（捻り操作）、送気操作、送水操作、及び、吸引操作等がある。挿入制御部２６１からの基本制御信号には、挿入基本操作を実行する際の移動量、移動速度、回転角度、回転方向、及び、操作力等に係る制御内容も含まれる。
　制御内容記録部２６２は、所定の記録媒体により構成される。制御内容記録部２６２は、挿入制御部２６１による制御内容である基本挿入操作を逐次記録するようになっている。
　ところで、自動挿入機能を有しない内視鏡の挿入手技において、熟練医は内視鏡に対する手元側の操作に対する先端側の反応を重要視している。例えば、右手の押し込み操作に対し先端部が押し込み量に相当する量、すなわち、医師の意図したものと同等の量だけ、抵抗なくスムーズに前進した場合には、術者は、内視鏡が良好な挿入状態であると認識する。この場合には、術者にとっては、次の操作においても前進を意図した押し込み操作を選択しやすくなる。
　このような挿入が良好な状態は、"内視鏡のフリー感がある"、"手元と先端が一対一で動く関係"などと表現されることもある。以後、このような良好な挿入状態を"内視鏡がフリーな状態"と記載する。一方、押し込み量に対して十分な先端部の前進が得られない、あるいは先端部がほぼ動かない場合や、後退、回転等の前進とは異なる動きが生じた場合には、術者は粘膜との摩擦やたわみ等の前進阻害要因が生じていると判断する。この場合には、熟練医は、回転操作やジグリング操作（細かい前後運動を繰り返す）等の、これらの阻害要因を解消・低減するための操作を選択する。これらの判断は、主として画像や内視鏡から右手に伝わる力量・力感に基づくものであるが、特に前者が重要である。
　例えば、αループ等のループが生じている場合には、右手の押し込み操作はあまり抵抗なく実施可能であっても、前進させるための力がループ部に吸収されてしまうことから、撮像部１１０によって、先端部１２がほとんど動かない画像（動画像）が得られたり、前進以外の例えば少量の回転等の動作を示す動画像が得られたりする。熟練医は、このような動画像から、操作に対して実際の挿入状態を判断することができる。
　そこで、本実施の形態においては、このような熟練医と同様の判定処理が実行可能となるように学習した識別器を備えた挿入形状分類部２６３を採用する。挿入形状分類部２６３は、撮像部１１０により撮像され、画像処理部２２０から与えられる一連の画像に基づいて、挿入部１１がどのような挿入状態となったかを分類（推論とも呼ばれる）し、分類結果を得る。なお、一連の画像とは、所定フレームレートの動画像や、連続的に撮影されて得られる静止画像等の時系列に得られる複数の画像（時系列画像）である。時系列に得られる複数の画像であれば、全く変化しない複数の画像であっても、時系列画像である。
　本実施の形態においては、挿入形状分類部２６３の分類によって、実行された基本挿入操作に対して、意図した挿入状態に対応する画像変化が得られたか否かを認識することができ、この認識結果に基づいて、次に続ける操作（以下、補助挿入操作という）として、スムーズな挿入に有効と考えられる操作を選択するようになっている。
　操作ＤＢ部２６４には、基本挿入操作と分類の結果得られた挿入状態との関係に基づいて、スムーズな挿入に有効と考えられる補助挿入操作の情報が登録されている。挿入制御部２６１は、制御内容記録部２６２に記録されている基本挿入操作と、挿入形状分類部２６３から出力された挿入状態の分類結果とに基づいて操作ＤＢ部２６４を参照することで補助挿入操作を取得し、取得した補助挿入操作を実現するための制御信号（以下、補助制御信号という）を出力するように構成されている。
　ここで、本実施形態における挿入状態分類部２６３の構成の具体例について説明する。
　挿入状態分類部２６３は、例えば、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当する３Ｄ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）における各３Ｄ結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された識別器を用いた処理を行うことにより、画像処理部２２０から出力された時系列画像から分類される挿入状態を複数の種類のうちの一の種類に分類した分類結果を得るように構成されている。ここで、３Ｄ－ＣＮＮは通常の（２次元の）画像の認識や分類に広く用いられているＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を３次元画像（ボクセル画像）あるいは時系列画像にも適用可能になるように拡張された手法である。
　識別器の作成時においては、例えば、画像処理部２２０により生成されるものと同様の一連の複数の撮像画像（時系列画像）と、当該時系列画像から判断される挿入状態の所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いた機械学習が行われる。また、前述の所定の複数の種類各々は、例えば、被検体内への挿入部１１の挿入が開始された時点から当該被検体内における挿入部１１の挿入が終了する時点までの期間において形成され得る様々な挿入状態のうち、挿入部１１の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断に資するような特徴的な挿入状態あるいは操作の成否の種類として設定されている。
　例えば、挿入状態として、単なる「前進」だけでなく、操作の成否も含む「良好な前進」や「停止」等の種類も考えられる。教師データの作成時においては、例えば、時系列画像による挿入部１１の挿入状態が所定の複数の種類のうちのどの種類に属するかを熟練者が目視で判断した際の判断結果に応じたラベルを当該一の時系列画像に付与するための作業が行われる。
　図３Ａから図３Ｆは時系列画像及びこれに付加されるラベルを説明するための説明図である。図３Ａ～図３Ｆは、それぞれ、挿入部１１の挿入操作時において撮像部１１０により撮像されて得られた時系列画像であり、時刻ｔ１，…，ｔ５は、時系列画像を構成する各画像が取得される時刻を示している。時系列画像はある操作の開始から終了までの間において得られる複数の画像から、例えば一定の時間間隔毎に取得することができ、図３Ａ～図３Ｆはそのようにして生成された時系列画像の例を示している。また、時系列画像の生成においては、例えばアングル操作において機構にワイヤーや空気圧を使用している場合には、挿入部の動作が操作に対して若干の遅れを生ずることもあり得るため、操作の終了時刻に対して例えばさらに１～２秒程度の余裕時間を付加してもよい。なお、本実施の形態においては、以後の説明において一組の時系列画像は５枚の画像により構成されているものとする。
　図３Ａは前進操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に進行（前進）している。時間軸上でサンプリングされた各画像には、先端部１２が前進するにつれて遠方側に存在した管腔暗部や襞が徐々に近付いてくる、あるいは画像視野から外れていくような変化が現れる。
　本実施の形態においては、教師データ作成者は大腸内視鏡挿入手技における熟練医あるいは熟練医と同様に内視鏡操作について十分な知識を備えた者であるものとする。
　例えば、教師データ作成者は時系列画像に対して、「良好な前進」というラベルを付す。「良好な前進」は、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端が約５ｃｍ前進するような挿入状態を示す。なお、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端が約２．５ｃｍ前進するような挿入状態は、「不十分な前進」というラベルを付してもよい。また、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端の前進量が１ｃｍ以下の場合の挿入状態は、「停止」というラベルを付してもよい。
　なお、上述した説明においては操作に対する前進量を定量的に表現しているが、実際の前進量は主観的に評価したものであってもよい。例えば進退機構１４１が挿入部１１を５ｃｍ前進させる操作を行った場合に得られた時系列画像に対し、教師データ作成者が十分に前進したと評価すれば「良好な前進」、ほとんど動いていない状態であれば「停止」、それらのいずれでもなく中間的と感じる前進量であれば「不十分な前進」というラベルを付すことができる。
　また、このようにある操作に対する内視鏡の挙動をその変化量に応じて複数のクラスに分類することは、後退や回転についても可能であり、例えば「９０度未満の右回転」と「９０度以上の右回転」のように設定することで、操作に対してより正確な分類が可能となる。
　図３Ｂは内視鏡がフリーな状態における後退操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して後退している。例えば、教師データ作成者は、図３Ｂの時系列画像に対して、「後退」というラベルを付す。図３Ｃは内視鏡がフリーな状態における右回転操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して右回転している。例えば、教師データ作成者は、図３Ｃの時系列画像に対して、「右回転」というラベルを付す。また、図３Ｄは内視鏡がフリーな状態における左回転操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して左回転している。例えば、教師データ作成者は、図３Ｄの時系列画像に対して、「左回転」というラベルを付す。
　なお、上記図３Ｂ～図３Ｄの説明では、内視鏡がフリーな状態における時系列画像を示すものと説明したが、内視鏡がフリーな状態であるか否かに拘わらず、上記図３Ｂ～図３Ｄの時系列画像に対して、「後退」、「右回転」、「左回転」というラベルが付される。図３Ａでは「良好な前進」というラベルを付すものと説明したが、これは、どのような操作を行った結果得られた時系列画像であるかを、教師データ作成者が知っているものとして付されたものである。
　また、図３Ｅは、教師データ作成者により、「右方向への平行移動」というラベルが付された時系列画像を示しており、図３Ｆは、教師データ作成者により、「右方向へのアングル操作」というラベルが付された時系列画像を示している。なお、図３Ｆの例では、所定の一方向として右方向に湾曲部１３を湾曲させるアングル操作のみを示したが、例えば８方向のアングル操作を行った場合の時系列画像を用いて、８方向にそれぞれ対応したラベル付けを行ってもよい。
　また、操作の結果、挿入部１１の先端が腸管側の変形を伴うような挿入状態となることもある。このような場合の時系列画像を用いることにより、「腸管側変形」というラベルを付すこともできる。なお、腸管側変形の種類としても、１つに限らない。
　こうして、各時系列画像に挿入状態の種類に応じたラベル付けを行った教師データを用いて機械学習を行う結果、挿入状態を分類する識別器が得られる。学習においては、例えば、良好な前進、不十分な前進、後退、２方向の回転、８方向のアングル操作、及びほぼ動かない状態を示す停止の合計１４クラスを識別対象とし、教師データとして各クラスごとに約１０００組の時系列画像を用い、学習回数（epochと呼ばれる）を１００回とすればよい。このような識別器によれば、例えば、画像処理部２２０から出力された時系列画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該時系列画像から得られる挿入部１１の挿入状態の種類として分類され得る種類各々に対応する複数の尤度を当該ニューラルネットワークの出力層から出力される出力データとして取得することができる。また、この識別器を用いた処理によれば、例えば、ニューラルネットワークの出力層から出力される出力データに含まれる複数の尤度の中で最も高い一の尤度に対応する一の挿入状態の種類を、操作の結果得られる挿入部１１の挿入状態の分類結果として得ることができる。
　すなわち、挿入状態分類部２６３は、画像処理部２２０からの時系列画像と、当該時系列画像から得られる挿入部１１の挿入状態を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された識別器を用いた処理を行うことにより、被検体内への挿入操作の結果である挿入部１１の挿入状態の種類を示す分類結果を得るように構成されている。
　上述したように、挿入制御部２６１は、分類の結果得られた挿入状態を挿入形状分類部２６３から読み出し、当該挿入状態を発生させた基本挿入操作を制御内容記録部２６２から読み出して、操作ＤＢ部２６４を参照することにより、補助挿入操作を取得する。なお、通常、内視鏡がフリーな状態のように、基本挿入操作に対して期待された挿入状態が得られた場合には、補助挿入操作は行われず、次の基本挿入操作が行われる。
　なお、本実施形態においては、本体装置２０の少なくとも一部の機能が、プロセッサ２０Ｐにより実現されるようにすればよい。また、本実施形態においては、本体装置２０の少なくとも一部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置２０の少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体２０Ｍから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
　次に、このように構成された実施の形態の動作について図４を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。
　システム制御部２６０は、図４のステップＳ１において、基本挿入操作を選択する。システム制御部２６０は、選択した基本挿入操作の内容を制御内容記録部２６２に記録する（ステップＳ２）。挿入制御部２６１は、選択した基本挿入操作を実行するための基本制御信号を挿入動作制御部２４０に出力する。これにより、挿入動作制御部２４０は、内視鏡１０の各機構を制御して、基本挿入操作を実行する（ステップＳ３）。
　撮像部１１０は、挿入時において被検体を撮像し（ステップＳ４）、撮像信号を画像処理部２２０に出力する。画像処理部２２０は、撮像信号に基づく撮像画像（内視鏡画像）を表示制御部２５０に与えて表示装置６０に表示させると共に、挿入形状分類部２６３にも与える。画像処理部２２０は、撮像部１１０によって撮像される画像を逐次挿入形状分類部２６３に与えており、挿入形状分類部２６３は、基本挿入操作時の撮像部１１０の先端の挿入状態に応じた時系列画像を取得する。
　なお、システム制御部２６０は、ステップＳ６において、規定枚数に到達したか否かを判定し、規定枚数に到達していない場合には処理をステップＳ３に戻し、規定枚数に到達すると処理をステップＳ７に移行する。こうして、挿入形状分類部２６３は、ステップＳ７において、規定枚数の撮像画像により構成される時系列画像を用いて、挿入状態の分類を行う。この分類は、内視鏡１０の挿入に関する操作を実施した際に、その操作により生じる画像の変化がどのような挿入状態に対応するかを示すものである。
　例えば、先端部１２を前進させる操作に対して撮像された複数枚の時系列画像から、操作に対して"先端部が良好に進んだ"、"十分には進まなかった"、"進まなかった"、"後退した（管腔が遠ざかった）"、"回転した"等の先端部１２の動きを分類により取得することができる。
　挿入制御部２６１は、分類の結果得られた挿入状態を与える基本挿入操作の内容を制御内容記録部２６２から読み出し、分類により得た挿入状態と読み出した基本挿入操作とに基づいて操作ＤＢ部２６４を参照することにより、次の補助挿入操作を実行する。この場合には、挿入制御部２６１は、読み出した基本挿入操作と分類により得た挿入状態とが対応するか否か、即ち、期待された挿入状態が得られたか否かを判定する（ステップＳ８）。挿入制御部２６１は、期待された挿入状態が得られた場合には、処理をステップＳ１に戻して次の基本挿入操作の選択を行い、期待された挿入状態が得られない場合に、ステップＳ９において補助挿入操作の決定を行う。
　例えば、先端部１２を前進させる操作に対して、"先端部が良好に進んだ"以外の判定結果が得られた場合には、補助挿入操作として、ジグリングや回転操作等、内視鏡１０の先端部１２がスムーズに進められるよう状況を好転させるための操作が選択されて実行される（ステップＳ１０）。
　例えば、"進まない"という判定結果に対して、進むようにたわみ除去やジグリング等を選択する。また、例えば、"やや進む"という判定結果に対して、普通に次の操作を選択したり、回転の力を加えながら前進する操作等を選択したりする。また、例えば、"進んだ"という判定結果に対して、普通の次の操作を選択したり、前進量を増やしたり、前進条件を緩める、例えば管腔が多少視野中央から外れていても前進させる等の選択をしたりしてもよい。
　システム制御部２６０は、先端部１２が目標部位に到達したか否かを判定し（ステップＳ１１）、目標部位に到達するまで、ステップＳ１～Ｓ１０の処理を繰り返す。
　このように本実施の形態においては、時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行う識別器を用いることにより、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを判定することができる。この判定結果を利用して次の挿入操作を決定することにより、意図した操作に対し内視鏡挿入部や先端部がどのような挙動を示したかを把握することで、状況に応じた適切な操作を選択することができ、挿入状況の悪化や患者の疼痛を生じさせることを防止しながら内視鏡挿入部をより確実かつスムーズに管腔に挿入することが可能となる。また、この識別器は時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いることで、高精度の分類結果を得ることができる。
（第２の実施形態）
　図５は本発明の第２の実施の形態を示すブロック図である。また、図６は内視鏡検査の様子を示す説明図である。図５及び図６において図２Ａと同一の構成には同一符号を付して説明を省略する。
　第１の実施の形態においては、自動挿入内視鏡に適用した例を説明した。本実施の形態は術者によって挿入部を被検体に挿入する一般的な内視鏡に適用したものである。
　図５及び図６において、内視鏡システム４００は、内視鏡４１０と、本体装置４２０とを含む。図５に示すように、内視鏡４１０は、図２Ａの内視鏡１０から進退機構１４１、ＡＷＳ機構１４３及び回転機構１４４を省略している。また、本体装置４２０は、図２Ａの本体装置２０から、挿入動作制御部２４０が省略される。また、本体装置４２０は、図２Ａのシステム制御部２６０に代えて、挿入制御部２６１、制御内容記録部２６２及び操作ＤＢ部２６４を省略し、挿入形状画像生成部４６１及び湾曲制御部４６２を追加したシステム制御部４６０を採用する。
　内視鏡４１０は、被検体である被検体Ｐの体腔内に挿入される細長で可撓性を有する挿入部４１０ｂと、挿入部４１０ｂの基端に接続され、各種操作器が設けられた操作部４１０ａと、操作部４１０ａと本体装置４２０とを接続するためのケーブル４１０ｃとを有している。
　図６は挿入部４１０ｂが、検査用のベッド６上に横たわる被検体Ｐの肛門から大腸内に挿入されている状態を示している。図６では、術者Ｏが医療用トロリー４上の本体装置４２０にケーブル４１０ｃによって接続された内視鏡４１０の操作部４１０ａと挿入部４１０ｂを把持している様子を示している。
　挿入部４１０ｂの構成は、図１の挿入部１１と同様であり、先端部に撮像部１１０が配設されると共に、挿入状態検出用の複数のソースコイル１８が配設される。また、挿入部４１０ｂの先端には湾曲部が設けられており、この湾曲部は、湾曲機構１４２によって湾曲駆動されるように構成されている。
　操作部４１０ａには、入力装置５０を構成する湾曲ノブ４１０ｄが配設されている。湾曲ノブ４１０ｄを操作することによって、操作信号がシステム制御部４６０に供給される。システム制御部４６０の湾曲制御部４６２は、湾曲ノブ４１０ｄの操作に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。この湾曲制御信号によって、例えば、湾曲機構１４２に設けられたモータの回転状態が制御されて、湾曲ノブ４１０ｄの操作に応じた湾曲動作が行われる。こうして、術者は、湾曲ノブ４１０ｄを操作して湾曲部を湾曲させながら、挿入部４１０ｂを体腔内へ押し込むことができる。
　挿入部４１０ｂの挿入状態は、公知の挿入形状検出装置３０によって観測される。ベッド６の近傍には、受信アンテナ３１０及び挿入形状情報取得部３２０によって構成される挿入形状検出装置３０が配設される。挿入形状検出装置３０は、ケーブル７ａによって本体装置４２０に接続されている。挿入形状検出装置３０は、挿入部４１０ｂの挿入形状情報を生成してシステム制御部４６０へ出力する。
　一方、術者Ｏによる挿入操作は、操作検出センサ７０によって、検出可能である。操作検出センサ７０は、例えば、被検体Ｐの肛門近傍において、挿入部４１０ｂの進退方向および移動量と回転方向及び回転量を検出するようになっている。操作検出センサ７０は、検出結果を術者操作検出装置７１に出力する。
　術者操作検出装置７１は、操作検出センサ７０の検出結果に基づいて、術者の各種操作の開始タイミングを判定する。また、術者操作検出装置７１は、操作の開始タイミングから所定の期間における操作検出センサ７０の検出結果に基づいて、術者の操作の種類を判定する。なお、この所定の期間は、挿入形状分類部２６３が用いるモデルを得るための学習時の時系列画像に応じて設定される。術者操作検出装置７１は、術者の操作の種類及び開始タイミングの情報をシステム制御部４６０に出力する。
　システム制御部４６０の挿入形状画像生成部４６１は、例えば、挿入形状情報取得部３２０から出力される挿入形状情報に含まれる複数の３次元座標値各々に対応する複数の２次元座標値を取得するための処理と、当該取得した複数の２次元座標値を補間するための処理と、当該補間した複数の２次元座標値に応じた挿入形状画像を生成するための処理と、を実行する。挿入形状画像生成部４６１は、生成した挿入形状画像を表示制御部２５０に出力する。これにより、表示制御部２５０は、表示装置６０の表示画面上に、挿入形状画像を表示させることができる。
　本実施の形態においては、システム制御部４６０は、例えば第１の実施の形態と同様の学習により得たモデルを用いた挿入形状分類部２６３を有している。システム制御部４６０は、術者操作検出装置７１が検出した術者の操作に対して、挿入形状分類部２６３の分類によって取得した挿入状態の種類を示す分類結果の情報を表示制御部２５０に出力するようになっている。これにより、表示制御部２５０は、表示装置６０の表示画面上に、挿入状態の種類を示す表示を表示させるようになっている。
　次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は第２の実施の形態の動作を説明するためのフローチャートである。図７において図４と同一の手順には同一符号を付して説明を省略する。また、図８は第２の実施の形態の動作を説明するための説明図である。
　本実施の形態においては、自動挿入できない内視鏡４１０を採用していることから、図７では、図４のステップＳ１～Ｓ３は行われない。図７のステップＳ７において、挿入形状分類部２６３は、規定枚数の撮像画像により構成される時系列画像を用いて、挿入状態の分類を行う。この分類は、術者が行った内視鏡１０の挿入操作の結果により生じる画像の変化が、どのような挿入状態に対応するかを示すものである。挿入形状分類部２６３は、この分類結果を表示制御部２５０に与え、表示制御部２５０は、分類結果を表示装置６０の画面上に表示する（ステップＳ２２）。
　図８はこの場合の表示例を示しており、表示装置６０の表示画面６０ａ上には、挿入形状画像生成部４６１により生成された挿入部１１の挿入形状画像６１が表示されると共に、分類結果の挿入状態の種類の表示６２が表示される。図８の例では、挿入状態の種類の表示６２は、「殆ど前進していません」という表示である。術者は、例えば前進操作を行っていたにも拘わらず、挿入部１１の先端が殆ど前進していないことを表示６２により容易に認識することができる。
　このように本実施の形態においては、時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いた識別器を採用することにより、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを判定することができる。この判定結果を表示することにより、術者に対して、挿入状況を改善したり、患者の疼痛を生じさせることを防止したりすることが可能な次の挿入操作の選択のための有効な支援を行うことができる。
　なお、上記実施の形態の挿入動作制御部２４０、システム制御部２６０、システム制御部４６０等は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能であり、この場合、有線や無線の通信回路が介在する。各実施の形態の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ－Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を経由して流通又は提供可能である。利用者は、通信ネットワークを経由してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることにより、容易に本実施の形態の内視鏡挿入制御装置を実現することができる。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　なお、以上の説明においては時系列画像から内視鏡挿入部の状態を検出する方法としてディープラーニングの一手法である３Ｄ－ＣＮＮを用いた場合について説明したが、例えば公知のオプティカルフローを利用した動画像認識等、時系列画像の識別において同様の効果を得られる各種の手法を用いることも可能である。
　また、大腸以外の臓器として例えば小腸や気管支であったり、配管等の検査を行うための工業用内視鏡であっても本発明の内視鏡挿入制御装置及び方法は利用可能である。

Claims (11)

  1. 　内視鏡の挿入に関する操作を選択する操作選択部と、
    　前記操作選択部により選択された操作の実行に応じて時系列に得られる複数の画像を取得する画像取得部と、を具備し、
    　前記操作選択部は、前記画像取得部による取得された時系列に得られる複数の画像に基づき前記内視鏡の挿入に関する操作を選択する
    ことを特徴とする内視鏡挿入制御装置。
  2. 　前記内視鏡挿入制御装置は、前記画像取得部が取得した複数の画像を基に前記内視鏡の状態を推定する推定部を、さらに備え、
    　前記操作選択部は、前記推定部の推定結果に基づき前記内視鏡の挿入に関する操作を選択する
    ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
  3. 　前記内視鏡挿入制御装置は、前記画像取得部が取得した複数の画像を分類する分類部を、さらに備え、
    　前記操作選択部は、前記分類部の分類結果を参照して内視鏡の挿入に関する操作を選択する
    ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
  4. 　前記分類部は、前記内視鏡の先端部の動きおよび／または前記内視鏡を挿入している被挿入体の動きに関する各々複数の分類のいずれかに前記複数の画像を分類する
    ことを特徴とする請求項３に記載の内視鏡挿入制御装置。
  5. 　前記操作選択部は、前記分類部の分類結果が前記操作選択部が以前に選択した操作が適切に実行された際に生ずる分類であるか否かに基づき操作を選択する
    ことを特徴とする請求項３又は４に記載の内視鏡挿入制御装置。
  6. 　前記分類部は、前記操作選択部が前進に関する操作を選択した際に前記内視鏡が十分に前進したことに対応する第１の分類と十分に前進しなかったことに対応する第２の分類とを含み、
    　前記操作選択部は、選択した操作が前記内視鏡の前進に関する操作であった場合に生成された前記分類部の分類結果が前記第１又は第２の分類のいずれであるかにより、選択する操作を変更する
    ことを特徴とする請求項３から５のいずれか１つに記載の内視鏡挿入制御装置。
  7. 　時系列に得られる複数の画像を取得する画像取得部と、
    　内視鏡により時系列に撮像されて得られる複数の画像について挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて前記教師データを用いた学習を行うことにより取得したモデルを用いた識別器を有する分類部と、
    　内視鏡挿入部の挿入操作に伴って前記画像取得部が取得した前記複数の画像を前記分類部に与えて、前記挿入状態の分類結果を得る制御部と
    を具備したことを特徴とする内視鏡挿入制御装置。
  8. 　前記制御部が取得した前記挿入状態の分類結果を表示する表示制御部
    を更に具備したことを特徴とする請求項７に記載の内視鏡挿入制御装置。
  9. 　内視鏡の挿入に関する操作を選択する操作選択部と、
    　前記操作選択部が選択した操作を記録する記録部とを更に具備し、
    　前記制御部は、前記記録部に記録された操作と前記挿入状態の分類結果とに基づいて、前記操作選択部の選択を制御する
    ことを特徴とする請求項７又は８に記載の内視鏡挿入制御装置。
  10. 　前記記録部に記録された操作と前記挿入状態の分類結果との関係に基づいて、内視鏡の挿入に関する操作を登録したデータベース
    を更に具備したことを特徴とする請求項７から９のいずれか１つに記載の内視鏡挿入制御装置。
  11. 　内視鏡の挿入に関する操作を選択し、
    　選択された前記操作の実行に応じて時系列に得られる複数の画像を取得し、
    　取得した前記複数の画像を分類し、
    　前記分類の結果を参照して操作を選択する
    ことを特徴とする内視鏡挿入制御方法。
PCT/JP2019/038751 2019-10-01 2019-10-01 内視鏡挿入制御装置及び内視鏡挿入制御方法 WO2021064861A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/038751 WO2021064861A1 (ja) 2019-10-01 2019-10-01 内視鏡挿入制御装置及び内視鏡挿入制御方法
CN201980100076.2A CN114401660A (zh) 2019-10-01 2019-10-01 内窥镜插入控制装置和内窥镜插入控制方法
JP2021550811A JP7300514B2 (ja) 2019-10-01 2019-10-01 内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラム
US17/709,868 US20220218180A1 (en) 2019-10-01 2022-03-31 Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/038751 WO2021064861A1 (ja) 2019-10-01 2019-10-01 内視鏡挿入制御装置及び内視鏡挿入制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/709,868 Continuation US20220218180A1 (en) 2019-10-01 2022-03-31 Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded

Publications (1)

Publication Number Publication Date
WO2021064861A1 true WO2021064861A1 (ja) 2021-04-08

Family

ID=75337879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038751 WO2021064861A1 (ja) 2019-10-01 2019-10-01 内視鏡挿入制御装置及び内視鏡挿入制御方法

Country Status (4)

Country Link
US (1) US20220218180A1 (ja)
JP (1) JP7300514B2 (ja)
CN (1) CN114401660A (ja)
WO (1) WO2021064861A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042895A1 (ja) * 2022-08-24 2024-02-29 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115281584B (zh) * 2022-06-30 2023-08-15 中国科学院自动化研究所 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180296281A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
WO2019107226A1 (ja) * 2017-11-29 2019-06-06 水野 裕子 内視鏡装置
WO2019155617A1 (ja) * 2018-02-09 2019-08-15 オリンパス株式会社 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10046140B2 (en) * 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
DE112015006562T5 (de) * 2015-06-29 2018-03-22 Olympus Corporation Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180296281A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
WO2019107226A1 (ja) * 2017-11-29 2019-06-06 水野 裕子 内視鏡装置
WO2019155617A1 (ja) * 2018-02-09 2019-08-15 オリンパス株式会社 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAMURA, MUNEHIRO ET AL.: "Estimation of Sequential Handling Patterns for Flexible Cystoscope", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 66, no. 2, 2012, pages J56 - J62, ISSN: 1342-6907, DOI: 10.3169/itej.66.j56 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042895A1 (ja) * 2022-08-24 2024-02-29 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20220218180A1 (en) 2022-07-14
CN114401660A (zh) 2022-04-26
JP7300514B2 (ja) 2023-06-29
JPWO2021064861A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
US20240164634A1 (en) Endolumenal object sizing
JP7150997B2 (ja) 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム
JP6749020B2 (ja) 内視鏡ナビゲーション装置
US20210022585A1 (en) Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program
KR20220143817A (ko) 로봇 기관지경 검사용 시스템 및 방법
JP7292376B2 (ja) 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法
US20220218180A1 (en) Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded
CN107072648A (zh) 具有不同柔性的导引器和工具的系统
US20220361733A1 (en) Endoscopic examination supporting apparatus, endoscopic examination supporting method, and non-transitory recording medium recording program
JP7245360B2 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
WO2021048925A1 (ja) 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
CN116261416A (zh) 用于混合成像和导航的系统和方法
WO2019107226A1 (ja) 内視鏡装置
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
US12035881B2 (en) Systems and methods for responsive insertion and retraction of robotic endoscope
US8795157B1 (en) Method and system for navigating within a colon
JP2023509321A (ja) 内視鏡処置のためのガイド下解剖学的構造操作
US12042126B2 (en) Monitoring system and evaluation method for insertion operation of endoscope
CN115990042A (zh) 内窥镜系统以及使用内窥镜系统进行导引和成像的方法
WO2023175855A1 (ja) 内視鏡制御システムおよび内視鏡制御方法
WO2022172697A1 (ja) マニピュレータシステムおよびマニピュレータの制御装置
JP7555551B2 (ja) 処理システム及び情報処理方法
WO2023090021A1 (ja) 管腔内デバイスシステム、管腔内デバイス制御方法および管腔内デバイスを制御するプログラムを記憶するコンピュータプログラム記憶媒体
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP7340086B2 (ja) 痛み推定装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948157

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550811

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19948157

Country of ref document: EP

Kind code of ref document: A1