WO2019130390A1 - 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法 - Google Patents

推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法 Download PDF

Info

Publication number
WO2019130390A1
WO2019130390A1 PCT/JP2017/046421 JP2017046421W WO2019130390A1 WO 2019130390 A1 WO2019130390 A1 WO 2019130390A1 JP 2017046421 W JP2017046421 W JP 2017046421W WO 2019130390 A1 WO2019130390 A1 WO 2019130390A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
recommended operation
recommended
shape
attention state
Prior art date
Application number
PCT/JP2017/046421
Other languages
English (en)
French (fr)
Inventor
良 東條
藤田　浩正
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2019561402A priority Critical patent/JP6957645B2/ja
Priority to PCT/JP2017/046421 priority patent/WO2019130390A1/ja
Priority to CN201780097659.5A priority patent/CN111465340B/zh
Publication of WO2019130390A1 publication Critical patent/WO2019130390A1/ja
Priority to US16/909,050 priority patent/US20200352411A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • shape information corresponding to an insertion operation when the insertion portion forms a loop in the subject or the observation site of the subject is extended at the time of endoscopic examination.
  • an endoscope insertion shape analysis device that displays the and the operation instruction information.
  • reference attention state information concerning a predetermined state of the insertion portion of the insertion device having an insertion portion to be inserted into the insertion target, and the reference attention state information are set in advance.
  • the attention state / operation management information calculation unit which calculates the operation management information, the recommended operation direction which is the insertion direction of the recommended insertion operation, and the recommended operation amount which is the operation amount of the recommended insertion operation Recommended operation information for calculating the recommended operation information, wherein the recommended operation direction is calculated based on the attention state information and the operation direction, and the recommended operation amount is based on at least the operation management information.
  • the present invention it is possible to provide a recommended operation presentation system, a recommended operation presentation control device, and a recommended operation presentation control method that output appropriate recommended operation information.
  • FIG. 1 is a diagram schematically illustrating an example of an endoscope system.
  • FIG. 2 is a block diagram showing an example of an endoscope system.
  • FIG. 3A is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3B is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3C is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3D is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3E is a diagram illustrating an example of an N loop of the insertion unit.
  • FIG. 3F is a diagram illustrating an example of an N loop of the insertion unit.
  • FIG. 3A is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3B is a diagram illustrating an example of an ⁇ loop of the insertion unit.
  • FIG. 3C is a diagram illustrating an example of an
  • FIG. 4A is a flowchart showing an example of processing of recommended operation information by the control device of the endoscope system.
  • FIG. 4B is a flowchart illustrating an example of processing of recommended operation information by the control device of the endoscope system.
  • FIG. 5 is a diagram showing an example of recommended operation reference data.
  • FIG. 6 is a diagram showing another example of the recommended operation reference data.
  • FIG. 7A is a diagram showing an example of the state of the insertion unit related to N loop cancellation.
  • FIG. 7B is a diagram showing an example of the state of the insertion unit related to N loop cancellation.
  • FIG. 7C is a diagram for describing an operation amount related to the right twisting operation.
  • FIG. 7D is a diagram showing an example of the state of the insertion unit related to N loop cancellation.
  • FIG. 7E is a diagram showing an example of the state of the insertion unit related to N loop cancellation.
  • FIG. 8A is a diagram showing an example of the state of the insertion unit related to ⁇ loop cancellation.
  • FIG. 8B is a diagram showing an example of the state of the insertion unit related to ⁇ loop cancellation.
  • FIG. 8C is a diagram showing an example of the state of the insertion unit related to ⁇ loop cancellation.
  • FIG. 9 is a diagram showing an example of a display screen of the display device.
  • FIG. 10A is a diagram showing an example of display of recommended operation information.
  • FIG. 10B is a diagram showing an example of display of recommended operation information.
  • FIG. 10C is a diagram showing an example of display of recommended operation information.
  • FIG. 10A is a diagram showing an example of display of recommended operation information.
  • FIG. 10B is a diagram showing an example of display of recommended operation information.
  • FIG. 10C is a diagram showing an example of display of recommended operation information.
  • FIG. 11A is a diagram showing an example of display of recommended operation information.
  • FIG. 11B is a diagram showing an example of display of recommended operation information.
  • FIG. 11C is a diagram showing an example of display of recommended operation information.
  • FIG. 12A is a diagram showing an example of display of recommended operation information.
  • FIG. 12B is a diagram showing an example of display of recommended operation information.
  • FIG. 12C is a diagram showing an example of display of recommended operation information.
  • FIG. 13 is a diagram showing an example of the recommended operation information displayed superimposed on the endoscopic image.
  • FIG. 14 is a diagram showing an example of display of recommended operation information.
  • FIG. 15 is a view showing an example of a loop generation time and a display time of attention state information / recommended operation information.
  • FIG. 15 is a view showing an example of a loop generation time and a display time of attention state information / recommended operation information.
  • FIG. 16 is a diagram showing an example of a loop generation time and a display time of attention state information / recommended operation information.
  • FIG. 17 is a view showing an example of an endoscopic image including a lumen.
  • FIG. 18 is a block diagram showing an example of an endoscope system according to a first modification.
  • FIG. 19A is a flowchart illustrating an example of processing of recommended operation information according to the first modification.
  • FIG. 19B is a flowchart illustrating an example of processing of recommended operation information according to the first modification.
  • FIG. 20 is a block diagram showing an example of an endoscope system according to a second modification.
  • FIG. 21 is a diagram showing an example of the display screen of the display device according to the second modification.
  • FIG. 22 is a diagram schematically illustrating an example of an endoscope system according to a third modification.
  • the medical flexible endoscope for the large intestine (large intestine endoscope) is taken as an example as an insertion device, and the endoscope system is referred to as an example of the insertion system including the same, and the recommendation according to the embodiment of the present invention
  • the operation presentation system will be described.
  • the insertion device is not limited to the medical endoscope, and is for insertion into a subject such as a catheter, treatment tool, industrial endoscope, etc., and at least a part of which is flexible. It suffices to have a part.
  • the subject is not limited to a human, and may be an inserted body including a structure such as an animal, an engine, or a pipe.
  • the endoscope 10 has an insertion portion 11 at the distal end, an operation portion 16 on the proximal end side of the insertion portion 11, and a cable 17.
  • the insertion portion 11 has a distal end hard portion 12, an operation bending portion 13 on the proximal end side, and a passive bending portion 14 on the proximal end side of the operation bending portion 13.
  • the distal end hard portion 12 incorporates an illumination optical system, an observation optical system, an imaging device 15 and the like.
  • the operation bending portion 13 is, for example, in a range of about 15 cm from the base end of the distal end hard portion 12 in the insertion portion 11.
  • the operation bending portion 13 can be bent in a desired direction by the operator operating (for example, rotating operation) an operation knob (not shown) of the operation portion 16.
  • the passive bending portion 14 is bendable by an external force or the like received from the subject.
  • the endoscope 10 is connected to the control device 100 via a cable 17.
  • a plurality of transmission coils 21 which are a part of the position detection device 20 are provided in the operation bending portion 13 and the passive bending portion 14.
  • the transmission coils 21 are disposed apart from each other along the longitudinal direction of the insertion portion 11.
  • three transmitting coils 21 are disposed at different positions in the longitudinal direction in the operation bending portion 13.
  • ten transmitting coils 21 are disposed at different positions in the longitudinal direction in the passive bending portion 14.
  • the position detection device 20 is a magnetic type.
  • the position detection device 20 includes a transmission coil 21, a transmission signal generation unit 22, and a reception antenna 23.
  • the transmission coil 21 is incorporated in the insertion portion 11 of the endoscope 10 as described above.
  • the transmission signal generation unit 22 is incorporated in the control device 100, for example.
  • the receiving antenna 23 is separate from the endoscope 10 and the control device 100.
  • the receiving antenna 23 may be a transmitting antenna, and a receiving coil may be provided in the insertion portion 11 of the endoscope 10 to reverse transmission and reception.
  • the transmission signal generation unit 22 generates a signal for generating a magnetic field from the transmission coil 21, for example, a sinusoidal current.
  • the generated signals are sequentially output from, for example, the transmission coil 21 on the distal end side of the insertion portion 11 in a predetermined order for each transmission coil 21.
  • the transmission coil 21 generates a magnetic field by the current flowing from the transmission signal generation unit 22. Although only one wire connected to the transmitting coil 21 is drawn in FIG. 1, two wires are connected to one transmitting coil 21.
  • the receiving antenna 23 is composed of a plurality of receiving coils (not shown).
  • the receiving antenna 23 detects the magnetic field signal generated by the transmitting coil 21.
  • the receiving antenna 23 is positioned and installed so as not to move relative to the room or bed.
  • a shape calculation unit 103 which will be described later, of the control device 100 calculates the position of each transmitting coil 21 and the like.
  • the receiving antenna 23 and the control device 100 are connected by wire, they may be connected wirelessly.
  • the control device 100 includes a system control unit 101, an image processing unit 102, a shape calculation unit 103, an attention state / operation management information calculation unit 104, a recommended operation calculation unit 105, an output information processing unit 106, and reference data. And an acquisition unit 108. Each of these units is configured by a processor including one or more integrated circuits such as a CPU.
  • the control device 100 also includes a storage unit 107.
  • the storage unit 107 is a storage such as a semiconductor memory.
  • the above-described units of the control device 100 are included in a control device other than the control device 100.
  • the shape calculation unit 103, the attention state / operation management information calculation unit 104, the recommended operation calculation unit 105, and the reference data acquisition unit 108 are included in a control device other than the endoscope video image processor including the image processing unit 102. It is good.
  • each of the shape calculation unit 103, the state of interest / operation management information calculation unit 104, the recommended operation calculation unit 105, and the reference data acquisition unit 108 may be included in another control device.
  • the above-described units of the control device 100 in particular, the processor or hardware circuit functioning as the shape calculation unit 103, the attention state / operation management information calculation unit 104, the recommended operation calculation unit 105, and the reference data acquisition unit 108
  • the function of (1) it may be included in one case or may be included in a plurality of cases.
  • the system control unit 101 controls the operation of various devices of the endoscope system 1 connected to the control device 100.
  • the system control unit 101 controls, for example, a light source device (not shown) connected to the control device 100 to supply illumination light to the illumination optical system of the distal end hard portion 12 of the endoscope 10.
  • the image processing unit 102 converts an electrical signal obtained by converting light from a subject by the imaging device 15 of the rigid tip 12 of the endoscope 10 into a video signal, generates an endoscopic image based on the subject image, and displays it.
  • the endoscope image is displayed on the device 30.
  • the shape calculation unit 103 calculates the position and direction vector of each transmitting coil 21 as the position information of each transmitting coil 21 based on the strength information of the magnetic field input from the receiving antenna 23. Since the plurality of pieces of position information obtained by the plurality of transmitting coils 21 represent the shape of the insertion portion 11, in the present embodiment, the plurality of pieces of position information are referred to as shape information. If necessary, position information of the transmission coil 21 may be interpolated by spline processing or the like. The shape information is output to the state of interest / operation management information calculation unit 104 and the recommended operation calculation unit 105. As described above, in the present embodiment, the shape calculation unit 103 functions together with the position detection device 20 as an insertion portion shape detection unit that detects the shape of at least a part of the insertion portion 11 as shape information.
  • the attention state / operation management information calculation unit 104 calculates attention state information and operation management information from the shape information.
  • the attention state information and the operation management information are output to the recommended operation calculation unit 105 and the output information processing unit 106.
  • the attention state / operation management information calculation unit 104 may be divided into an attention state calculation unit that calculates attention state information, and an operation management information calculation unit that calculates operation management information.
  • the attention state information is information for determining whether or not the recommended operation information described later is necessary, or information for determining the recommended operation information, and a predetermined state of the insertion unit 11, for example, the insertion unit 11 It is information related to a characteristic state assumed to occur in advance when inserted into a subject.
  • the state of interest information includes, for example, the presence or absence of the loop of the insertion unit 11 of the endoscope 10, the type and size of the loop (loop area, circumference, width, etc.) This is information such as the change of the tip of the insertion portion with respect to the distance or the ratio of the movement amount of the tip of the insertion portion with respect to the insertion amount.
  • the insertion length is, for example, the length of the portion inserted into the subject in the insertion unit 11.
  • the change of the insertion portion tip with respect to the change of the insertion length is, for example, information for determining whether or not the tip of the insertion portion 11 is advanced with respect to the insertion operation, that is, whether the insertion is not hinder
  • FIGS. 3A to 3F Some examples of the loop of the insert 11 are shown in FIGS. 3A to 3F.
  • the upper side of the drawing is the tip end side of the insertion portion 11, and the lower side of the drawing is the proximal end (hand side) of the insertion portion 11.
  • FIG. 3A the upper side of the drawing is the tip end side of the insertion portion 11
  • the lower side of the drawing is the proximal end (hand side) of the insertion portion 11.
  • the reverse ⁇ loop (the so-called reverse reverse ⁇ loop) in which the side of the insertion portion tip 11a is at the upper side at the intersection 11b (so-called reverse reverse ⁇ loop) 3E, which is referred to in the present application as reverse letter in the present application, a loop with the side of the insertion portion tip 11a of the N loop inside (ie, a loop of inverted hiragana "no" shape used for Japanese notation),
  • FIG. 3F shows an N-shaped N loop in which the side of the insertion portion tip 11a is on the outside. Note that although the reverse letter and the letter N are not strictly loops, they are generally treated as loops, and in the present application, they are a kind of N loops.
  • loops that can be formed in the sigmoid colon when the colon of the endoscope 10 is inserted.
  • the ⁇ loop in FIG. 3A and the reverse ⁇ loop in FIG. 3C are loops in which the side of the insertion portion tip 11a is on the ventral side at the crossing portion 11b of the insertion portion 11;
  • the reverse alpha loop of FIG. 3D is a loop with the side of the insertion part tip 11a in the back part at the crossing part 11b. If such a loop is formed, the operator can not easily insert the insertion portion 11 into the intestinal tract. Therefore, in the present embodiment, attention state / operation management information calculation unit 104 calculates attention state information with such a loop as an attention state.
  • the operation includes air supply, water supply, suction, and hardness change of the insertion portion 11 of the endoscope 10 by an operation button (not shown) of the operation portion 16 and the shape of the insertion portion 11 by hand pressing the abdomen of the subject, for example.
  • An operation such as manual compression to suppress a change may be used.
  • the area and the periphery of the ⁇ loop become small.
  • the area and periphery of the ⁇ loop are operation management information which directly changes in relation to the operation of the operator.
  • a target shape of the insertion portion 11 is set to determine the recommended operation.
  • the difference between the target shape and the current shape (for example, the sum of the differences between the coordinates of the target shape of the insertion portion 11 and the current shape) can be reduced by performing an appropriate operation. Therefore, this difference is operation management information which changes indirectly in relation to the operation of the operator. As described above, by indirectly detecting the information related to the operation, the operation management information can be obtained even when it is difficult to detect directly.
  • the state of interest / operation management information calculation unit 104 may calculate the bending operation direction and the amount of bending from the change of the shape information. If the transmission coil 21 of one axis is disposed in the insertion portion 11, the bending operation direction can not be detected.
  • the coil of the second axis is provided in the different direction in the vicinity thereof to form a biaxial coil. Detection of direction is also possible. Further, in the case of a single-axis coil, since the rotation around the axis of the coil can not be detected, it is difficult to detect a twisting operation, but by using a biaxial coil, it is also possible to detect a twisting operation.
  • the insertion / extraction operation can be calculated from the positional relationship between the position of the anus and the coordinates of the insertion unit 11 by storing the position of the anus at the start of insertion in the storage unit 107, for example.
  • the operation management information may be information based on the detection result of the sensor by providing a sensor for detecting various operations of the operator on the endoscope 10 in the endoscope 10. For example, when the operation bending portion 13 is bent by the rotation of the operation knob (not shown) of the operation portion 16, a rotary encoder for detecting the amount of rotation of the operation knob is provided in the operation portion 16. Thereby, operation management information related to the bending operation can be detected.
  • the recommended operation calculation unit 105 smoothly inserts the insertion unit 11 based on the result of the calculation in the shape calculation unit 103 and the attention state / operation management information calculation unit 104, that is, the shape information, the attention state information, and the operation management information.
  • Calculate recommended operation information which is information on the operation recommended to proceed to step
  • the recommended operation information includes, for example, a recommended operation direction which is an operation direction of the recommended insertion operation, and a recommended operation amount which is an operation amount of the recommended insertion operation.
  • the recommended operation information is output to the output information processing unit 106.
  • the storage unit 107 stores various programs connected to the control device 100 and various programs and data required for the operation of each portion of the control device 100.
  • the storage unit 107 stores, for example, recommended operation reference data regarding insertion of the endoscope 10 into the large intestine as illustrated in FIG. 5 or 6.
  • the recommended operation reference data includes operation direction and target state information patterned in advance to release the loop when the above noted state such as N loop or ⁇ loop occurs.
  • the recommended operation reference data may be stored and read in an external storage device other than the storage unit 107.
  • the storage unit 107 may store various data generated during the insertion.
  • reference attention state information preset to correspond to attention state information and operation direction and target shape information preset corresponding to this (target state information And recommended operation continuation information is shown.
  • FIG. 6 as another example of the recommended operation reference data, reference noted state information set in advance to correspond to the noted state information, and recommended operation necessity determination information set in advance corresponding to this, operation Direction, target shape information (target state information) and recommended operation continuation information are shown.
  • the reference attention state information is information related to a predetermined state of the insertion unit 11, and corresponds to attention state information calculated by the attention state / operation management information calculation unit 104.
  • the target state information also corresponds to the state of interest information.
  • the reference attention state information and the target state information correspond to the attention state information, for example, the presence or absence of a loop of the insertion portion 11 of the endoscope 10, the type and size of the loop, the insertion length, the insertion length Information such as the change in the tip of the insertion part with respect to the change in
  • the recommended operation reference data is referred to in the calculation by the state of interest / operation management information calculation unit 104 and the recommended operation calculation unit 105.
  • the recommended operation reference data is not limited to this, and various recommended operation reference data may be used depending on the subject.
  • (i), (ii), (iii) and (iv) of the recommended operation reference data are recommended operation reference data for N loop cancellation (linearization of N loop) formed by the insertion unit 11.
  • the recommended operation presentation system in correspondence with the reference attention state information calculated by the attention state / operation management information calculation unit 104, in the order of (i), (ii), (iii) Operation management information and recommended operation information are calculated in the order of (ii), (iii) or with reference to the reference data of (iii).
  • Reference data of (iv) is also referred to as necessary.
  • (v) and (vi) of the recommended operation reference data are recommended operation reference data for ⁇ loop cancellation (linearization of ⁇ loop) formed by the insertion unit 11.
  • (v), (vi) or (vi) in correspondence with the reference attention state information calculated by the attention state / operation management information calculation unit 104 Operation management information and recommended operation information are calculated with reference to the reference data of.
  • the reference data acquisition unit 108 acquires recommended operation reference data stored in the storage unit 107 or an external storage device other than the storage unit 107.
  • the attention state / operation management information calculation unit 104 and the recommended operation calculation unit 105 calculate the attention state information, calculate the operation management information, and calculate the recommended operation information based on the recommended operation reference data acquired by the reference data acquisition unit 108. Do.
  • the display device 30 is a monitor such as a liquid crystal display, and is also referred to as an output device.
  • the display device 30 displays the recommended operation information output by the output information processing unit 106.
  • an endoscope image, an endoscope insertion shape, attention state information, and the like may be displayed.
  • the operation of the endoscope system 1, for example, the operation in a colonoscopy, will be described.
  • the insertion portion 11 of the endoscope 10 is inserted into the intestine of the large intestine by the operator from the anus to the rectum, the colon, and the cecum.
  • the insertion portion 11 advances in the intestinal tract while curving following the shape of the intestinal tract.
  • the optical image of the subject obtained by the observation optical system of the distal end hard portion 12 is converted into an electrical signal by the imaging element 15.
  • the image processing unit 102 generates an image signal based on the electrical signal output from the imaging device 15 and causes the display device 30 to display an endoscopic image in the intestinal tract based on the generated image signal.
  • the attention state / operation management information calculation unit 104 detects attention state information such as a characteristic shape (for example, N loop or ⁇ loop), insertion length, and the like based on the shape information.
  • attention state information such as a characteristic shape (for example, N loop or ⁇ loop), insertion length, and the like based on the shape information.
  • step S13 the recommended operation calculation unit 105 acquires the recommended operation reference data as shown in FIG. 5 stored in advance in the storage unit 107 via the reference data acquisition unit 108, and refers to this, referring to step S12. It is determined whether the attention state information detected in the above corresponds to the reference attention state information of the recommended operation reference data. Thus, the recommended operation calculation unit 105 determines whether or not the recommended operation information is necessary.
  • step S13-NO If the attention state information does not correspond to the reference attention state information, or if it is determined that the recommended operation is unnecessary from the recommended operation necessity determination information even if the attention state information corresponds (step S13-NO), the process proceeds to step S20. If the attention state information corresponds to the reference attention state information, or if it is determined that the recommended operation is necessary from the recommended operation necessity determination information (YES in step S13), the process proceeds to step S14.
  • step S14 the attention state / operation management information calculation unit 104 reads out at least the target shape information and the target shape information corresponding to the reference attention state information determined to be applicable at least in step S13 from the recommended operation reference data. Operation management information is calculated from the shape information calculated in S11. The operation management information is transmitted to the recommended operation calculation unit 105. The operation management information is stored in the storage unit 107.
  • step S15 the recommended operation calculation unit 105 is based on the operation direction read out from the recommended operation reference data based on the reference attention state information corresponding to the attention state information calculated in step S12, and the operation management information calculated in step S14. Calculate recommended operation information including the operation amount.
  • the recommended operation information is transmitted to the output information processing unit 106.
  • step S17 the shape calculation unit 103 calculates the current shape of the insertion unit 11 based on the strength information of the magnetic field received from the receiving antenna 23. The result of the calculation is transmitted to the recommended operation calculation unit 105 as current shape information.
  • step S18 based on the current shape information acquired in step S17, the recommended operation calculation unit 105 determines whether the current shape of the insertion unit 11 is the target shape according to the target shape information referred to in step S14. To judge. That is, the recommended operation computing unit 105 determines whether the operation according to the operation recommendation information for the current state of interest (that is, the state of interest related to the state of interest detected in step S12) is completed. If it has been completed (step S18-YES), the process proceeds to step S19. In the other cases (step S18-NO), the process proceeds to step S21.
  • the operation recommendation information for the current state of interest that is, the state of interest related to the state of interest detected in step S12
  • step S19 the recommended operation calculation unit 105 reads the recommended operation continuation information corresponding to the reference attention state information determined to be applicable in step S13, and whether the recommended operation continuation information for the current attention state is "completed” Determine if it is “continue”. If it is “completed” (step S19—YES), the process proceeds to step S20. If it is “continue” (step S19-NO), the process returns to step S14.
  • step S20 the recommended operation computing unit 105 determines whether or not the insertion operation has been completed, that is, whether or not the insertion unit 11 has reached the cecum. This determination may be made based on the shape of the insertion portion 11 or the history of the shape (for example, the time change of the shape of the insertion portion 11), the position of the tip, or the like. Alternatively, even if the endoscope system 1 is provided with an input device such as a switch or a keyboard, it is determined that the insertion operation is completed when the switch is pressed or a predetermined input is made on the keyboard at the discretion of the operator. Good. In addition, if a cecum is detected in the endoscopic image using image recognition technology, it may be determined that the insertion is completed. If the insertion operation has been completed (step S20-YES), the process ends. If not (step S20-NO), the process returns to step S11.
  • step S18 If it is determined in step S18 that the operation according to the recommended operation information for the current state of interest has not been completed (step S18-NO), the process proceeds to step S21.
  • step S21 the state of interest / operation management information calculation unit 104 acquires the current shape information in step S17, and detects the state of interest information based on the current shape information as in step S12.
  • step S22 the state of interest / operation management information calculation unit 104 calculates operation management information from at least the target shape information and the current shape information calculated in step S17, as in step S14.
  • the operation management information is stored in the storage unit 107.
  • step S23 the recommended operation computing unit 105 determines whether the operation performed by the operator matches the recommended operation. Specifically, based on the value of the operation management information calculated in the immediately preceding step S22 and the value of the operation management information calculated in the immediately preceding step S14 (or step S22) regarding the operation management information calculation. The value of the operation management information is compared to determine whether the direction of the operation performed by the operator (operator operation direction) matches the operation direction of the recommended operation information (recommended operation direction). If it is determined that they match (step S23-YES), the process proceeds to step S24. If it is determined that they do not match (step S23-NO), the process proceeds to step S25.
  • step S24 the recommended operation computing unit 105 updates the operation amount based on the operation management information calculated in step S22. Then, the process proceeds to step S16, and the output information processing unit 106 processes the recommended operation information including the operation direction and the updated operation amount as output information and causes the display device 30 to display the information. After step S16, the processes after step S17 described above are performed.
  • step S26 the recommended operation calculation unit 105 corrects the recommended operation information. For example, when the operator's operation direction is opposite to the recommended operation direction, the recommended operation calculation unit 105 corrects the operation amount based on the operation management information calculated in step S22, and the operation direction is reversed. It is decided to output a warning of that to the display device 30.
  • the recommended operation calculation unit 105 refers again to the recommended operation reference data, and based on the corresponding reference attention state information, the operation direction and the operation amount Recalculate.
  • the recommended operation computing unit 105 may decide to output a warning indicating that the recommended operation does not match the display device 30.
  • step S16 the process proceeds to step S16.
  • step S16 after step S26, the output information processing unit 106 processes the recommended operation information and the warning as output information and causes the display device 30 to display the information. Thereafter, the processes after step S17 described above are performed.
  • step S11 the shape calculation unit 103 calculates first shape information of the insertion unit 11.
  • step S12 the attention state / operation management information calculation unit 104 detects an N loop of reverse character as shown in FIG. 7A as first attention state information based on the first shape information. That is, the first state of interest is “a shape opposite to a1 ⁇ b1 is X1 (X1 ⁇ 10 cm or more)”.
  • a1 and b1 are points in the xy plane shown in FIG. 7A.
  • step S15 the recommended operation calculation unit 105 reads a pull operation as an operation direction corresponding to (i) of the recommended operation reference data. Further, the recommended operation calculation unit 105 calculates the operation amount of the pull operation based on the first operation management information ⁇ ya1b1- ⁇ ya2b2. Here, the amount of operation calculated based on the first operation management information is a direct amount of operation such as how many cm should be subtracted. Thus, the recommended operation calculation unit 105 uses the first recommended operation direction, which is a pulling operation based on the first state of interest information as the recommended operation information, and the first recommended operation amount based on the first operation management information. Calculate the first recommended operation information to be included. In FIG. 7A, a downward arrow indicating a pulling operation is shown on the hand side of the insertion portion 11.
  • step S16 the output information processing unit 106 processes the first recommended operation information as output information and causes the display device 30 to display the information.
  • the operator pulls a predetermined amount of operation of the insertion unit 11 in accordance with the displayed recommended operation information.
  • c2 is a point (y coordinate: yc2) at the tip of the insertion portion 11 in the target shape, and d2 is the same point (y coordinate: yd2) as d1.
  • the point c1 is considered to perform a substantially circular motion on the xz plane as shown in FIG. 7C. Therefore, it is assumed that the point c1 performs circular motion centering on the point d1 by the twisting operation and becomes the point c2 on the x axis, and a line connecting the point c2 and the point d2, that is, the x axis, the point d1 and the point c1 And an angle ⁇ formed by a line connecting the two and the second operation management information.
  • step S17 the shape calculation unit 103 calculates the current shape of the insertion unit 11. Then, in step S18, based on the shape information on the current shape, the recommended operation calculation unit 105 recommends operation information until the current shape of the insertion portion 11 becomes the target shape according to the target shape information referred to in step S14. It is determined whether the operation according to has been completed. For example, when the value of the second operation management information calculated as described above based on the shape information in this case becomes 0 or a predetermined range including 0, it is determined that the recommended operation is completed.
  • the insertion portion 11 of X3 between c1 and d1, which is an N-shape related to the third shape information is shown.
  • N-shaped arbitrary points e1, f1, g1, h1, i1 related to the third shape information of the insertion portion 11, and arbitrary points e2, f2, g2, h2 of the target shape for each point , I2 are shown.
  • the third operation management information is, for example, a total value of differences of xy coordinate data of each point.
  • the arrows between the points e1-e2, f1-f2, g1-g2, h1-h2 and i1-i2 shown in FIG. 7D conceptually represent third operation management information.
  • step S21 the state of interest / operation management information calculation unit 104 acquires the current shape information in step S17, and detects the state of interest information based on the current shape information as in step S12.
  • step S22 the state of interest / operation management information calculation unit 104 calculates operation management information from the difference between the current shape information and the target shape information in step S17, as in step S14.
  • step S17 the shape calculation unit 103 calculates the current shape of the insertion unit 11. Then, in step S18, based on the shape information on the current shape, the recommended operation calculation unit 105 recommends operation information until the current shape of the insertion portion 11 becomes the target shape according to the target shape information referred to in step S14. It is determined whether the operation according to has been completed. Here, it is determined that the operation has not been completed (step S18-NO), and the process proceeds to step S21.
  • step S23 the recommended operation computing unit 105 determines whether the operation performed by the operator matches the recommended operation. Here, it is determined that the operation performed by the operator matches the recommended operation (YES in step S23), and the process proceeds to step S24.
  • step S24 the recommended operation calculation unit 105 recalculates and updates the operation amount based on the operation management information calculated in step S22. Here, the amount of operation is reduced. Then, the process proceeds to step S16, and the output information processing unit 106 processes the recommended operation information including the operation direction and the updated operation amount as output information and causes the display device 30 to display the information. Then, after step S17 as described above, in step S18, the recommended operation calculation unit 105 targets the current shape of the insertion unit 11 in step S14 based on the shape information on the current shape of the insertion unit 11. It is determined whether or not the operation according to the recommended operation information is completed until the target shape related to the shape information is obtained. Here, it is determined that the operation is completed (step S18--YES), and the process proceeds to step S19.
  • step S20 the focused state / operation management information calculation unit 104 determines whether the insertion operation has been completed. If it is determined that the process has not been completed (step S20-NO), the process returns to step S11, and the processes after step S11 are repeated, but if it is determined that the process is completed (step S20-YES), the process ends Do.
  • the focused state / operation management information calculation unit 104 calculates operation management information different from the recommended operation information including the operation that could not be performed. For example, when linearization of the N loop can not be performed because of adhesion of the large intestine, the focused state / operation management information calculation unit 104 performs operation management information based on the recommended operation reference data including “push” as the operation direction. Calculate This is because the load on the subject, for example, the patient, is smaller when the N loop is drawn and linearized, but the pushing operation is effective when the linearization by the pulling operation can not be performed due to adhesion and the like.
  • step S20 the focused state / operation management information calculation unit 104 determines whether the insertion operation has been completed. If it is determined that the process has not been completed (step S20-NO), the process returns to step S11, and the processes after step S11 are repeated, but if it is determined that the process is completed (step S20-YES), the process ends Do.
  • step S19 the recommended operation computing unit 105 determines whether the recommended operation continuation information corresponding to (v) of the recommended operation reference data is "completed” or “continue".
  • step S19-NO shape information relating to the current shape calculated in step S17 described above is taken as fifth shape information.
  • the fifth shape information corresponds to the target shape information “a loop having a loop area of less than 300 cm 2 ” in (vi) of the recommended operation reference data.
  • the recommended operation presentation system determines whether the operator's operation direction and the recommended operation direction match, and updates or corrects the operation amount as appropriate. . By such feedback, the operator can proceed with the operation while recognizing whether the operation according to the recommended operation information can be performed and how much the remaining operation amount is.
  • FIG. 9 is a view showing an example of the display screen 200 of the display device 30.
  • an endoscopic image 201 and an endoscopic shape image 202 are displayed.
  • the endoscope shape image 202 includes an endoscope shape 203.
  • recommended operation information 210 is shown on the display screen 200.
  • FIG. 9 shows, for example, a bar graph 211 representing insertion / removal operation and the amount of insertion / removal, a circle graph 212 representing twisting operation and the amount of twist, and four bar graphs 213 of arrow shapes representing bending operation and the amount of curvature. .
  • the four bar graphs 213 are arranged around the endoscope image 201 one by one at the top, bottom, left, and right.
  • FIGS. 10A to 10C show an example of display of recommended operation information.
  • the operation amounts 214 of the bar graph 211, the circle graph 212, and the bar graph 213 in the arrow shape decrease as the operator performs the recommended operation, as shown in FIGS. 10A to 10C. That is, the operation amount 214 represents the remaining operation amount up to the target shape. Such display enables the operator to visually grasp the remaining operation amount.
  • the display of the recommended operation information 210 is not limited to a bar graph or a circle graph, and may be a display that shows the operation direction (the direction of the bending operation, the twisting operation, or the insertion / removal operation) and the operation amount.
  • the output information processing unit 106 may change the display method according to the attention state information, the recommended operation information, and the like. For example, necessary information may be output for a predetermined time or more even in a short time, and may not be output if it is unnecessary information in a short time.
  • pushing, pulling, and twisting of the insertion portion 11 are shown as an example of the recommended operation information, but in addition, bending operation, air supply, water supply, suction, and hardness change of the insertion portion 11 by the operation unit 16 Manual compression may be displayed as recommended operation information.
  • Steps S31 to S33 are similar to steps S11 to S13 shown in FIGS. 4A and 4B, respectively. If it is determined in step S33 that the attention state information does not correspond to the reference attention state information or the recommendation operation is not necessary from the recommendation operation necessity determination information even if the attention state information corresponds (step S33-NO), the process is step S41. Go to If the attention state information corresponds to the reference attention state information, or if it is determined that the recommended operation is necessary from the recommended operation necessity determination information (YES in step S33), the process proceeds to step S34.
  • step S48 the process proceeds to step S48.
  • a pull operation may be used as one of the measures in the case where the insertion is in a difficult situation. This is because it is possible to move forward by returning to the previous situation (that is, the situation before the insertion is in a difficult situation) and redoing the insertion operation. Also, if the lumen is lost, it is likely that the lumen can be found by pulling it once. Therefore, in step S48, the recommended operation calculation unit 105 changes the recommended operation information to an operation (for example, a pulling operation, a right twisting operation, a left twisting operation) for changing the insertion state. The operation to be tried may be another operation. The operation direction related to the trial operation may also be included in the recommended operation reference data. Such trial operation makes it possible to find a lumen that has been lost, or to loosen the intestinal tract entangled in the insertion portion 11 to facilitate insertion.
  • Step S34-NO when it is determined that the insertion is not in a difficult situation (step S34-NO), the process proceeds to step S35.
  • Steps S35 to 47 are similar to steps S14 to S26 shown in FIGS. 4A and 4B, respectively.
  • control device 100b of the endoscope system 1b includes an operator skill determination unit 110 and an insertion difficulty determination unit 111 in addition to the above-described units as shown in FIG. There is.
  • the operator skill determination unit 110 determines the level (operator level) of the insertion operation skill of the operator of the endoscope 10 based on attention state information generated during insertion.
  • the operator skill determination unit 110 comprehensively determines, for example, the time taken to linearize the N loop, the linearization from the N shape fails, and the number of times reworked from the reverse letter again and the like comprehensively. Determine the level.
  • the number of occurrences of the buckling state in a part of the insertion portion 11, the number of occurrences of extension of the intestinal tract, or the like may be added to the determination factor.
  • the operator level is determined based on at least one of the type, the number of occurrences, the occurrence time, the occurrence location, and the condition of the subject during the series of insertion operations by the operator. . Also, the occurrence of the noted state described above, the time required for completion of insertion or loop release, etc. are stored in the storage unit 107 or another storage device as the operator's past insertion operation history data, and this is referred to. You may judge.
  • the recommended operation information is used as a control signal of the automatic insertion device 40 in the automatic insertion device 40 which is a device for inserting the endoscope 10 automatically or partially automatically. It is output.
  • the automatic insertion device 40 may have a display unit 41, and the display unit 41 may replace the display device 30. Even with the insertion operation by such an automatic insertion device 40, the processing by the recommended operation presentation system of the present invention as described above can be performed, and the same operation and effect can be obtained.
  • the present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the scope of the invention.
  • the embodiments may be implemented in combination as appropriate as possible, in which case the combined effect is obtained.
  • the above embodiments include inventions of various stages, and various inventions can be extracted by an appropriate combination of a plurality of disclosed configuration requirements.

Abstract

推奨操作呈示システム（１）は、挿入部（１１）を有する挿入機器（１０）と、挿入部の少なくとも一部の形状を形状情報として検出する挿入部形状検出部（２０，１０３）と、挿入部の所定の状態に係る参照注目状態情報と、参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部（１０８）と、形状情報に基づいて挿入部の所定の状態に係る注目状態情報を演算し、少なくとも、注目状態情報と目標状態情報とに基づいて操作管理情報を演算する、注目状態・操作管理情報演算部（１０４）と、少なくとも注目状態情報に基づく推奨操作方向と少なくとも操作管理情報に基づく推奨操作量とを含む推奨操作情報を演算する推奨操作演算部（１０５）と、推奨操作情報を含む情報を出力する出力情報処理部（１０６）とを有する。

Description

推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法
　本発明は、挿入機器の推奨操作を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法に関する。
　例えば、日本国特開２００４－３５８０９５号公報には、内視鏡検査時に挿入部が被検体内でループを形成したり被検体の観察部位が伸展されたりした際に挿入動作に応じた形状情報と操作指示情報とを表示する内視鏡挿入形状解析装置が開示されている。
　日本国特開２００４－３５８０９５号公報に記載の装置は、内視鏡の挿入形状を解析し、解析結果に応じた操作指示情報を呈示する。しかしながら、この装置では、どの程度操作が必要であるかは呈示されない。
　そこで、本発明は、適切な推奨操作情報を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法を提供することを目的とする。
　本発明の一実施形態は、被挿入体に挿入される挿入部を有する挿入機器と、前記挿入部の少なくとも一部の形状を形状情報として検出する挿入部形状検出部と、前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部と、前記形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算する推奨操作演算部であって、前記推奨操作方向は、前記注目状態情報と、前記操作方向とに基づいて演算し、前記推奨操作量は、少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、前記推奨操作情報を含む情報を出力する出力情報処理部と、を具備する、推奨操作呈示システム。
　本発明の他の実施形態は、被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部と、前記挿入部の少なくとも一部の形状に係る形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報と、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、推奨する挿入操作の挿入方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算する推奨操作演算部であって、前記推奨操作方向は、前記注目状態情報と、前記操作方向とに基づいて演算し、前記推奨操作量は、少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、前記推奨操作情報を含む情報を出力する出力情報処理部と、を具備する、推奨操作呈示制御装置である。また、本発明のさらなる他の実施形態は、これに対応する推奨操作呈示制御方法である。
　本発明によれば、適切な推奨操作情報を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法を提供することができる。
図１は、内視鏡システムの一例を概略的に示す図である。 図２は、内視鏡システムの一例を示すブロック図である。 図３Ａは、挿入部のαループの一例を示す図である。 図３Ｂは、挿入部のαループの一例を示す図である。 図３Ｃは、挿入部のαループの一例を示す図である。 図３Ｄは、挿入部のαループの一例を示す図である。 図３Ｅは、挿入部のＮループの一例を示す図である。 図３Ｆは、挿入部のＮループの一例を示す図である。 図４Ａは、内視鏡システムの制御装置による推奨操作情報の処理の一例を示すフローチャートである。 図４Ｂは、内視鏡システムの制御装置による推奨操作情報の処理の一例を示すフローチャートである。 図５は、推奨操作参照データの一例を示す図である。 図６は、推奨操作参照データの他の例を示す図である。 図７Ａは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｂは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｃは、右捻り操作に関する操作量を説明するための図である。 図７Ｄは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｅは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図８Ａは、αループ解除に関する挿入部の状態の一例を示す図である。 図８Ｂは、αループ解除に関する挿入部の状態の一例を示す図である。 図８Ｃは、αループ解除に関する挿入部の状態の一例を示す図である。 図９は、表示装置の表示画面の一例を示す図である。 図１０Ａは、推奨操作情報の表示の一例を示す図である。 図１０Ｂは、推奨操作情報の表示の一例を示す図である。 図１０Ｃは、推奨操作情報の表示の一例を示す図である。 図１１Ａは、推奨操作情報の表示の一例を示す図である。 図１１Ｂは、推奨操作情報の表示の一例を示す図である。 図１１Ｃは、推奨操作情報の表示の一例を示す図である。 図１２Ａは、推奨操作情報の表示の一例を示す図である。 図１２Ｂは、推奨操作情報の表示の一例を示す図である。 図１２Ｃは、推奨操作情報の表示の一例を示す図である。 図１３は、内視鏡画像に重畳表示された推奨操作情報の一例を示す図である。 図１４は、推奨操作情報の表示の一例を示す図である。 図１５は、ループ発生時間と注目状態情報／推奨操作情報の表示時間の一例を示す図である。 図１６は、ループ発生時間と注目状態情報／推奨操作情報の表示時間の一例を示す図である。 図１７は、管腔を含む内視鏡画像の一例を示す図である。 図１８は、変形例１による内視鏡システムの一例を示すブロック図である。 図１９Ａは、変形例１による推奨操作情報の処理の一例を示すフローチャートである。 図１９Ｂは、変形例１による推奨操作情報の処理の一例を示すフローチャートである。 図２０は、変形例２による内視鏡システムの一例を示すブロック図である。 図２１は、変形例２による表示装置の表示画面の一例を示す図である。 図２２は、変形例３による内視鏡システムの一例を概略的に示す図である。
　本発明の実施形態について図面を参照して説明する。　
　以下では、挿入機器として医療用の大腸用軟性内視鏡（大腸内視鏡）を例に挙げ、これを含む挿入システムの一例として内視鏡システムを参照して本発明の実施形態に係る推奨操作呈示システムを説明する。なお、挿入機器は医療用内視鏡に限定されるものではなく、カテーテル、処置具、工業用内視鏡など、被検体に挿入するものであって、少なくとも一部が可撓性をもつ挿入部を有していればよい。また、被検体は人に限らず、動物、エンジン、配管などの構造物を含む被挿入体でもよい。
　図１は、内視鏡システム１の一例を概略的に示す図である。図２は、内視鏡システム１の一例を示すブロック図である。内視鏡システム１は、内視鏡１０と、位置検出装置２０と、表示装置３０と、制御装置１００とを有している。
　［内視鏡］　
　内視鏡１０は、先端の挿入部１１と、挿入部１１の基端側の操作部１６と、ケーブル１７とを有している。挿入部１１は、先端硬質部１２と、その基端側の操作湾曲部１３と、操作湾曲部１３の基端側の受動湾曲部１４とを有している。先端硬質部１２は、照明光学系、観察光学系、撮像素子１５等を内蔵している。操作湾曲部１３は、例えば、挿入部１１において先端硬質部１２の基端から１５ｃｍ程度の範囲である。操作湾曲部１３は、操作者が操作部１６の不図示の操作ノブを操作（例えば回転操作）することにより、所望の方向に湾曲可能である。受動湾曲部１４は、被検体から受ける外力等により湾曲自在である。内視鏡１０は、ケーブル１７を介して制御装置１００に接続される。
　挿入部１１の内部には、例えば操作湾曲部１３及び受動湾曲部１４に、位置検出装置２０の一部である複数の発信コイル２１が設けられている。発信コイル２１は、挿入部１１の長手方向に沿って互いに離間して配置されている。図１では、操作湾曲部１３に３個の発信コイル２１が長手方向において異なる位置に配置されている。また、受動湾曲部１４に１０個の発信コイル２１（図１ではその一部が省略されている）が長手方向において異なる位置に配置されている。
　［位置検出装置］　
　本実施形態では、位置検出装置２０は磁気式である。位置検出装置２０は、発信コイル２１と、発信信号生成部２２と、受信アンテナ２３とを有している。発信コイル２１は、上述したように内視鏡１０の挿入部１１に組み込まれている。発信信号生成部２２は、例えば、制御装置１００に組み込まれている。もちろん、これに限定されず、制御装置１００と別体であってもよい。受信アンテナ２３は、内視鏡１０や制御装置１００とは別体である。なお、受信アンテナ２３を送信アンテナとし、内視鏡１０の挿入部１１に受信コイルを設けて、送受信を逆にしてもかまわない。
　発信信号生成部２２は、発信コイル２１から磁界を発生させるための信号、例えば正弦波の電流を生成する。生成した信号は、各発信コイル２１に対して決められた順番で、例えば挿入部１１の先端側の発信コイル２１から順番に出力される。発信コイル２１は、発信信号生成部２２から流れる電流により、磁界を発生させる。なお、図１では発信コイル２１につながる配線を１本しか描いていないが、１つの発信コイル２１に付き２本の配線がつながっている。
　受信アンテナ２３は、図示しない複数の受信コイルで構成されている。受信アンテナ２３は、発信コイル２１が発生した磁界信号を検出する。受信アンテナ２３は、部屋やベッドに対して動かないように位置決めして設置される。受信アンテナ２３が検出した磁界の強度に基づいて、制御装置１００の後述する形状演算部１０３が各発信コイル２１の位置等を計算する。図１では受信アンテナ２３と制御装置１００とが有線接続されているが、無線接続であってもよい。
　位置検出装置２０は、挿入部１１の少なくとも一部の形状を検出する挿入部形状検出部として機能するために挿入部１１の湾曲状態を検出可能なものであればよく、磁気式以外であってもよい。位置検出装置２０は、例えば、磁気を利用したセンシング（磁気センサ）、超音波を利用したセンシング（超音波センサ）、光ファイバを導光する光の損失を利用したセンシング（光ファイバセンサ）、歪みを利用したセンシング（歪みセンサ）、あるいはＸ線吸収材料を利用したセンシングのいずれか１つ又はこれらの組合せによって構成されることができる。また、ここでは位置検出装置と称しているが、形状検出装置と称される、同様の機能を有する装置であってもよい。
　［制御装置］　
　制御装置１００は、システム制御部１０１と、画像処理部１０２と、形状演算部１０３と、注目状態・操作管理情報演算部１０４と、推奨操作演算部１０５と、出力情報処理部１０６と、参照データ取得部１０８とを有している。これら各部は、ＣＰＵなどの１又は複数の集積回路を含むプロセッサにより構成されている。制御装置１００はまた、記憶部１０７を有している。記憶部１０７は、半導体メモリ等のストレージである。
　制御装置１００の上述の各部、特に、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８は、制御装置１００とは別の制御装置に含まれてもよい。例えば、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８は、画像処理部１０２を含む内視鏡ビデオ画像プロセッサとは別の制御装置に含まれてよい。あるいは、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８の各々が別の制御装置に含まれてもよい。すなわち、制御装置１００の上述の各部、特に、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８として機能するプロセッサあるいはハードウエア回路は、各部としての機能を実施可能である限り、１つの筐体に含まれてもよいし、複数の筐体に含まれてもよい。
　［システム制御部］　
　システム制御部１０１は、制御装置１００に接続される、内視鏡システム１の各種機器の動作を制御する。システム制御部１０１は、例えば、内視鏡１０の先端硬質部１２の照明光学系に照明光を供給するために制御装置１００に接続される不図示の光源装置を制御する。
　［画像処理部］　
　画像処理部１０２は、内視鏡１０の先端硬質部１２の撮像素子１５で被写体からの光を変換した電気信号をビデオ信号に変換処理し、被写体像に基づく内視鏡画像を生成し、表示装置３０に内視鏡画像を表示させる。
　［形状演算部］　
　形状演算部１０３は、受信アンテナ２３から入力された磁界の強度情報に基づいて、各発信コイル２１の位置情報として、各発信コイル２１の位置と方向ベクトルとを計算する。複数の発信コイル２１により得られる複数の位置情報は挿入部１１の形状を表すものであるから、本実施形態では、複数の位置情報を形状情報と称する。必要に応じて発信コイル２１の位置情報をスプライン処理等により補間してよい。形状情報は、注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５に出力される。このように、本実施形態では、形状演算部１０３は、位置検出装置２０とともに、挿入部１１の少なくとも一部の形状を形状情報として検出する挿入部形状検出部として機能する。
　［注目状態・操作管理情報演算部］　
　注目状態・操作管理情報演算部１０４は、形状情報から注目状態情報と操作管理情報とを演算する。注目状態情報及び操作管理情報は、推奨操作演算部１０５及び出力情報処理部１０６に出力される。注目状態・操作管理情報演算部１０４は、注目状態情報を演算する注目状態演算部と、操作管理情報を演算する操作管理情報演算部とに分けてもよい。
　注目状態情報は、後述する推奨操作情報が必要か否かを判断するための情報、又は推奨操作情報を判断するための情報であって、挿入部１１の所定の状態、例えば、挿入部１１が被検体に挿入されたときに起こることが予め想定される特徴的な状態に係る情報である。注目状態情報は、例えば、内視鏡１０の挿入部１１のループの有無、ループの種類とサイズ（ループの面積、周囲、幅など）、挿入長あるいは挿入部先端の移動量、挿入長の変化に対する挿入部先端の変化あるいは挿入量に対する挿入部先端の移動量の割合などの情報である。挿入長は、例えば、挿入部１１において被検体に挿入されている部分の長さである。挿入長の変化に対する挿入部先端の変化は、例えば、挿入操作に対して挿入部１１の先端が進んでいるか否か、すなわち、挿入が妨げられていないかを判断するための情報である。
　図３Ａ乃至図３Ｆには、挿入部１１のループのいくつかの例が示されている。図３Ａ乃至図３Ｆでは、紙面上側が挿入部１１の先端側、紙面下側に挿入部１１の基端側（手元側）である。図３Ａには挿入部１１の交差部１１ｂにおいて挿入部先端１１ａの側が上側にあるαループ、図３Ｂには交差部１１ｂにおいて挿入部先端１１ａの側が下側にあるαループ（いわゆる裏αループ）、図３Ｃには交差部１１ｂにおいて挿入部先端１１ａの側が上側にある逆αループ（いわゆる裏逆αループ）、図３Ｄには交差部１１ｂにおいて挿入部先端１１ａの側が下側にある逆αループ、図３Ｅには本出願では逆のの字と称する、Ｎループの挿入部先端１１ａの側が内側にあるループ（すなわち、日本語の表記に用いられる平仮名「の」を裏返した形状のループ）、図３Ｆには挿入部先端１１ａの側が外側にあるＮ字形状のＮループがそれぞれ示されている。なお、逆のの字、Ｎ字形状は厳密にはループではないが、これらは一般にループとして扱い、本出願ではＮループの一種とする。これらは、内視鏡１０の大腸挿入時にＳ状結腸において形成されうるループである。例えば被検体が大腸である場合、図３Ａのαループ及び図３Ｃの逆αループは、挿入部１１の交差部１１ｂにおいて挿入部先端１１ａの側が腹側にあるループであり、図３Ｂのαループ及び図３Ｄの逆αループは、交差部１１ｂにおいて挿入部先端１１ａの側が背側にあるループである。このようなループが形成されると、操作者が挿入部１１を腸管内に容易に挿入できなくなってしまう。このため、本実施形態では、このようなループを注目状態として注目状態・操作管理情報演算部１０４で注目状態情報を算出する。
　操作管理情報は、内視鏡１０の操作に係る情報であって、内視鏡１０に対する操作者の操作に関連して直接的に、又は間接的に変化する情報である。操作者の操作とは、主に湾曲操作、捻り操作、挿抜操作である。湾曲操作とは、上述したように、操作者が操作部１６を操作することにより操作湾曲部１３を湾曲させる操作である。捻り操作とは、操作者が受動湾曲部１４を手元側から左に、又は右に捻る操作である。捻り操作は回転操作とも称される。挿抜操作とは、操作者が受動湾曲部１４を手元側から押し込む操作（押し操作）、又は引き抜く操作（引き操作）である。その他、操作は、操作部１６の不図示の操作ボタンによる内視鏡１０の送気、送水、吸引、挿入部１１の硬度変更、被検体の例えば腹部を手で押さえることで挿入部１１の形状変化を抑制する用手圧迫などの操作でもよい。
　例えば、図３Ａ乃至図３Ｄに示されるようなαループが形成されている状態から引き操作が行われると、αループの面積や周囲が小さくなる。このαループの面積や周囲は、操作者の操作に関連して直接的に変化する操作管理情報である。あるいは、推奨操作を判断するために、挿入部１１の目標形状が設定される。その目標形状と現時点の形状との差（例えば、挿入部１１の目標形状と現時点の形状とにおける各座標の差の合計）は、適切な操作を行うことによって小さくなる。したがって、この差は、操作者の操作に関連して間接的に変化する操作管理情報である。このように、操作に関する情報を間接的に検出することで、直接的に検出することが困難な場合でも操作管理情報を得ることができる。
　操作管理情報として、例えば、注目状態・操作管理情報演算部１０４が形状情報の変化から湾曲操作方向と湾曲量とを演算してもよい。挿入部１１に１軸の発信コイル２１が配置されていると湾曲操作方向の検出ができないが、例えば、その近傍に異なる方向で２軸目のコイルを設けて２軸コイルとすることにより、湾曲方向の検出も可能となる。また、１軸コイルの場合には、コイルの軸回りの回転を検出できないため、捻り操作の検出が困難であるが、２軸コイルとすることにより、捻り操作の検出も可能となる。挿抜操作は、例えば挿入開始時の肛門の位置を記憶部１０７に記憶させることで、肛門の位置と挿入部１１の座標との位置関係から演算可能である。
　操作管理情報は、操作者の内視鏡１０に対する各種操作を検出するセンサを内視鏡１０に設けて、センサの検出結果に基づく情報であってもよい。例えば、操作部１６の不図示の操作ノブの回転により操作湾曲部１３が湾曲する場合、操作ノブの回転量を検出するロータリーエンコーダを操作部１６に設ける。これにより、湾曲操作に関する操作管理情報が検出可能である。
　［推奨操作演算部］　
　推奨操作演算部１０５は、形状演算部１０３及び注目状態・操作管理情報演算部１０４での演算の結果、すなわち、形状情報、注目状態情報及び操作管理情報に基づいて、挿入部１１の挿入をスムーズに進めるために推奨する操作に関する情報である推奨操作情報を演算する。推奨操作情報は、例えば、推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量とを含む。推奨操作情報は、出力情報処理部１０６に出力される。
　［出力情報処理部］　
　出力情報処理部１０６は、推奨操作情報を含む情報を出力する。例えば、出力情報処理部１０６では、推奨操作情報を表示装置３０へ表示するための画像処理をし、表示装置３０に推奨操作情報を表示させる。推奨操作情報の他に、形状情報や注目状態情報などの情報を表示装置３０へ表示するための画像処理を行ってもよい。
　［記憶部］　
　記憶部１０７は、制御装置１００に接続される各種機器や制御装置１００の各部の動作に必要な各種プログラムやデータを記憶している。記憶部１０７は、例えば図５又は図６に示されるような、内視鏡１０の大腸への挿入に関する推奨操作参照データを記憶している。推奨操作参照データは、Ｎループやαループといった上述のような注目状態が生じた場合にループ解除するために予めパターン化された操作方向及び目標状態情報を含むものである。なお、推奨操作参照データは、記憶部１０７以外の外部記憶装置に記憶されて読み出される形式であってもよい。また、記憶部１０７は、挿入中に発生する種々のデータを記憶してよい。
　図５には、推奨操作参照データの一例として、注目状態情報に対応するように予め設定された参照注目状態情報、及びこれに対応させて予め設定された操作方向、目標形状情報（目標状態情報）及び推奨操作継続情報が示されている。図６には、推奨操作参照データの他の例として、注目状態情報に対応するように予め設定された参照注目状態情報、及びこれに対応させて予め設定された推奨操作要否判断情報、操作方向、目標形状情報（目標状態情報）及び推奨操作継続情報が示されている。参照注目状態情報は、挿入部１１の所定の状態に係る情報であって、注目状態・操作管理情報演算部１０４が演算する注目状態情報に対応するものである。目標状態情報も、注目状態情報に対応するものである。このように、参照注目状態情報及び目標状態情報は、注目状態情報に対応しているため、例えば、内視鏡１０の挿入部１１のループの有無、ループの種類とサイズ、挿入長、挿入長の変化に対する挿入部先端の変化などの情報である。推奨操作参照データは、注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５による演算で参照される。もちろん、推奨操作参照データは、これに限定されるものではなく、被検体に応じて種々の推奨操作参照データが用いられる。
　例えば、推奨操作参照データの（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）は、挿入部１１が形成したＮループ解除（Ｎループの直線化）のための推奨操作参照データである。本実施形態における推奨操作呈示システムでは、後述するように、注目状態・操作管理情報演算部１０４で演算された参照注目状態情報に対応させて、（ｉ）、（ｉｉ）、（ｉｉｉ）の順に、又は（ｉｉ）、（ｉｉｉ）の順に、あるいは（ｉｉｉ）の参照データを参照して、操作管理情報及び推奨操作情報が演算される。必要に応じて（ｉｖ）の参照データも参照される。同様に、推奨操作参照データの（ｖ）、（ｖｉ）は、挿入部１１が形成したαループ解除（αループの直線化）のための推奨操作参照データである。本実施形態における推奨操作呈示システムでは、後述するように、注目状態・操作管理情報演算部１０４で演算された参照注目状態情報に対応させて、（ｖ）、（ｖｉ）の順に、又は（ｖｉ）の参照データを参照して、操作管理情報及び推奨操作情報が演算される。
　［参照データ取得部］　
　参照データ取得部１０８は、記憶部１０７又は記憶部１０７以外の外部記憶装置に記憶されている推奨操作参照データを取得する。注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５は、参照データ取得部１０８が取得した推奨操作参照データに基づいて注目状態情報の演算、操作管理情報の演算、推奨操作情報の演算を行う。
　［表示装置］　
　表示装置３０は、液晶ディスプレイなどのモニタであり、出力装置とも称される。表示装置３０は、出力情報処理部１０６が出力した推奨操作情報を表示する。その他、内視鏡画像、内視鏡挿入形状、注目状態情報などを表示してもよい。
　内視鏡システム１の動作、例えば大腸内視鏡検査における動作について説明する。　
　内視鏡１０の挿入部１１は、操作者によって大腸の腸管内に、肛門から直腸、結腸、盲腸へと挿入される。挿入部１１は、腸管の形状に追従して湾曲しながら腸管内を進行する。先端硬質部１２の観察光学系で得られた被検体の光学像は、撮像素子１５で電気信号に変換される。画像処理部１０２は、撮像素子１５から出力された電気信号に基づく画像信号を生成し、生成した画像信号に基づいて腸管内の内視鏡画像を表示装置３０に表示させる。
　（推奨操作呈示システムによる処理の一例）　
　以下、推奨操作呈示システムとしての内視鏡システム１の制御装置１００による処理の一例について、図４Ａ及び図４Ｂを参照して概略的に説明する。
　ステップＳ１１において、形状演算部１０３は、受信アンテナ２３から受信した磁界の強度情報に基づいて挿入部１１の形状を演算する。演算の結果が形状情報として注目状態・操作管理情報演算部１０４に伝達される。
　ステップＳ１２において、注目状態・操作管理情報演算部１０４は、形状情報に基づいて特徴的な形状（例えばＮループやαループ）、挿入長などである注目状態情報を検出する。
　ステップＳ１３において、推奨操作演算部１０５は、参照データ取得部１０８を介して予め記憶部１０７に記憶された図５に示されるような推奨操作参照データを取得し、これを参照して、ステップＳ１２で検出した注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。これにより、推奨操作演算部１０５は、推奨操作情報が必要か否かを判断する。
　あるいは、図６に示されるように、推奨操作参照データに推奨操作情報が必要でない場合の参照注目状態情報（略直線形状など）を含め、これに対応させて予め設定された推奨操作要否判断情報を予め記憶部１０７に記憶させておき、推奨操作演算部１０５が注目状態情報と参照注目状態情報を参照して対応する推奨操作要否判断情報とに基づいて推奨操作情報が必要か否かを判断してもよい。例えば、推奨操作要否判断情報に基づいて推奨操作情報が必要か否かを判断し、必要と判断した場合にのみ操作管理情報を演算して推奨操作情報を出力することにより、操作者にとって不要な情報を表示することが低減される。換言すれば、表示装置３０から必要な情報を得やすくなる。
　注目状態情報が参照注目状態情報に該当しない、あるいは該当しても推奨操作要否判断情報から推奨操作が不要と判断された場合には（ステップＳ１３－ＮＯ）、処理はステップＳ２０に進む。注目状態情報が参照注目状態情報に該当する、あるいは該当して推奨操作要否判断情報から推奨操作が必要と判断された場合には（ステップＳ１３－ＹＥＳ）、処理はステップＳ１４に進む。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データから、少なくともステップＳ１３で該当すると判断された参照注目状態情報に対応する目標形状情報を読み出して、少なくとも目標形状情報とステップＳ１１で演算した形状情報とから操作管理情報を演算する。操作管理情報は、推奨操作演算部１０５に伝達される。また、操作管理情報は、記憶部１０７に記憶される。
　ステップＳ１５において、推奨操作演算部１０５は、ステップＳ１２で演算した注目状態情報に対応する参照注目状態情報に基づいて推奨操作参照データから読み出した操作方向と、ステップＳ１４で演算した操作管理情報に基づく操作量とを含む推奨操作情報を演算する。推奨操作情報は、出力情報処理部１０６に伝達される。
　ステップＳ１６において、出力情報処理部１０６は、推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の湾曲操作、捻り操作、挿抜操作などを行う。
　ステップＳ１７において、形状演算部１０３は、受信アンテナ２３から受信した磁界の強度情報に基づいて挿入部１１の現在の形状を演算する。演算の結果が現在の形状情報として推奨操作演算部１０５に伝達される。
　ステップＳ１８において、推奨操作演算部１０５は、ステップＳ１７で取得した現在の形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になっているか否かを判断する。すなわち、推奨操作演算部１０５は、現在の注目状態（すなわち、ステップＳ１２で検出した注目状態情報に係る注目状態）に対する操作推奨情報にしたがった操作が完了しているか否かを判断する。完了している場合には（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。その他の場合には（ステップＳ１８－ＮＯ）、処理はステップＳ２１に進む。
　ステップＳ１９において、推奨操作演算部１０５は、ステップＳ１３で該当すると判断された参照注目状態情報に対応する推奨操作継続情報を読み出して、現在の注目状態に対する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。「完了」である場合には（ステップＳ１９－ＹＥＳ）、処理はステップＳ２０に進む。「継続」である場合には（ステップＳ１９－ＮＯ）、処理はステップＳ１４に戻る。
　ステップＳ２０において、推奨操作演算部１０５は、挿入操作が完了したか否か、すなわち、挿入部１１が盲腸まで到達したか否かを判断する。この判断は、挿入部１１の形状や形状の履歴（例えば挿入部１１の形状の時間変化）、先端の位置などに基づいて行われてよい。あるいは、内視鏡システム１にスイッチやキーボードなどの入力装置を設け、操作者の判断によりスイッチが押されたりキーボードに所定の入力がされたりした場合に挿入操作完了と判断する仕様であってもよい。また、画像認識技術を用いて、内視鏡画像に盲腸が検出されれば挿入完了と判断してもよい。挿入操作が完了している場合には（ステップＳ２０－ＹＥＳ）、処理は終了する。完了していない場合には（ステップＳ２０－ＮＯ）、処理はステップＳ１１に戻る。
　ステップＳ１８で現在の注目状態に対する推奨操作情報にしたがった操作が完了していないと判断された場合には（ステップＳ１８－ＮＯ）、処理はステップＳ２１に進む。ステップＳ２１において、注目状態・操作管理情報演算部１０４は、ステップＳ１７での現在の形状情報を取得し、ステップＳ１２と同様にして、現在の形状情報に基づいて注目状態情報を検出する。
　ステップＳ２２において、注目状態・操作管理情報演算部１０４は、ステップＳ１４と同様にして、少なくとも目標形状情報とステップＳ１７で演算した現在の形状情報とから操作管理情報を演算する。操作管理情報は、記憶部１０７に記憶される。
　ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。具体的には、直前のステップＳ２２で演算された操作管理情報の値と、操作管理情報の演算に関する１つ前のステップＳ１４（あるいはステップＳ２２）で演算された操作管理情報の値とに基づいて操作管理情報の値とを比較し、操作者が行った操作の方向（操作者操作方向）と推奨操作情報の操作方向（推奨操作方向）とが合っているか否かを判断する。一致していると判断された場合には（ステップＳ２３－ＹＥＳ）、処理はステップＳ２４に進み、一致していないと判断された場合には（ステップＳ２３－ＮＯ）、処理はステップＳ２５に進む。なお、目標形状に到達していないにもかかわらず、ステップＳ２１で検出した注目状態情報に対応する参照注目状態情報がその直前のステップＳ１２で参照した参照注目状態情報とは異なるものとなっていた場合には、操作者が行った操作が推奨操作に一致していないと判断される。
　ステップＳ２４において、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を更新する。そして、処理はステップＳ１６に進み、出力情報処理部１０６が、操作方向及び更新した操作量を含む推奨操作情報を出力情報として処理し、表示装置３０に表示させる。ステップＳ１６の後、上述のステップＳ１７以降の処理が行われる。
　一方、ステップＳ２５において、推奨操作演算部１０５は、推奨操作情報にしたがう操作が実施できる状態であるか否かを判断する。実施できない状態と判断された場合には（ステップＳ２５－ＮＯ）、処理はステップＳ１４に進む。ステップＳ１４において、注目状態・操作管理情報演算部１０４は、実施できなかった操作を含む操作管理情報とは異なる操作管理情報を演算する。ステップＳ１４の後、上述のステップＳ１５以降の処理が行われる。
　一方、実施可能な状態と判断された場合には（ステップＳ２５－ＹＥＳ）、処理はステップＳ２６に進む。ステップＳ２６において、推奨操作演算部１０５は、推奨操作情報を修正する。例えば、操作者操作方向が推奨操作方向とは逆であった場合には、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を修正し、操作方向が逆であることの警告を表示装置３０に出力することを決定する。注目状態情報が変化して対応する参照注目状態情報が変更された場合には、推奨操作演算部１０５は、推奨操作参照データを参照し直し、該当する参照注目状態情報から操作方向と操作量とを演算し直す。推奨操作演算部１０５は、推奨操作と一致していない旨の警告を表示装置３０に出力することを決定してもよい。ステップＳ２６の後、処理はステップＳ１６に進む。
　ステップＳ２６の後のステップＳ１６では、出力情報処理部１０６は、推奨操作情報及び警告を出力情報として処理し、表示装置３０に表示させる。以後、上述のステップＳ１７以降の処理が行われる。
　（Ｎループ解除時の処理の一例）　
　ここまで、図４Ａ及び図４Ｂに示される一連の処理を概略的に説明してきたが、以下、挿入時のＮループ解除に関する推奨操作呈示システムでの処理について、図７Ａ乃至図７Ｅとともに図４Ａ及び図４Ｂのフローチャート、図５の推奨操作参照データを参照して具体的に説明する。
　ステップＳ１１において、形状演算部１０３が挿入部１１の第１の形状情報を演算する。ステップＳ１２において、注目状態・操作管理情報演算部１０４は、第１の形状情報に基づいて、第１の注目状態情報として図７Ａに示されるような逆のの字のＮループを検出する。すなわち、第１の注目状態は「ａ１－ｂ１間がＸ１（Ｘ１≧１０ｃｍ以上）の逆のの字形状」である。ここで、ａ１、ｂ１は、図７Ａに示されるｘｙ平面における点である。ａ１は、挿入部１１が形成しているＮループのｙ座標が最も大きい点（ｙ座標：ｙａ１）であり、ｂ１は、挿入部１１が形成しているＮループのｙ座標が最も小さい点（ｙ座標：ｙｂ１）である。
　ステップＳ１３において、推奨操作演算部１０５は、図５の参照注目状態情報を参照して、ステップＳ１２で検出した第１の注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。ここでは、これが推奨操作参照データの（ｉ）の参照注目状態情報「ａ１－ｂ１間が１０ｃｍ以上の逆のの字形状」に該当するため（ステップＳ１３－ＹＥＳ）、処理はステップＳ１４に進む。換言すれば、ステップＳ１３で推奨操作情報が必要であると判断され、処理がステップＳ１４に進む。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉ）に対応する目標形状情報を読み出す。ここでは、「ａ２－ｂ２間が１０ｃｍ未満の逆のの字形状」が読み出される。ここで、ａ２、ｂ２は、図７Ａに示されるｘｙ平面における点である。ａ２は、目標形状におけるＮループのｙ座標が最も大きい点（ｙ座標：ｙａ２）であり、ｂ２は、目標形状におけるＮループのｙ座標が最も小さい点（ｙ座標：ｙｂ２）である。そして、注目状態・操作管理情報演算部１０４は、第１の注目状態情報に係る逆のの字形状と目標形状情報に係る逆のの字形状とのサイズの差を演算して第１の操作管理情報とする。図７Ａには、第１の形状情報に係る逆のの字形状が白抜きの実線で、目標形状情報に係る逆のの字形状が破線でそれぞれ示されている（以下の図面でも同様である）。注目状態・操作管理情報演算部１０４は、例えば、図７Ａに示されるように、点ａ１のｙ座標ｙａ１と点ｂ１のｙ座標ｙｂ１との差Δｙａ１ｂ１と、点ａ２のｙ座標ｙａ２と点ｂ２のｙ座標ｙｂ２との差Δｙａ２ｂ２と、の差Δｙａ１ｂ１－Δｙａ２ｂ２を第１の操作管理情報とする。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第１の操作管理情報Δｙａ１ｂ１－Δｙａ２ｂ２に基づいて引き操作の操作量を演算する。ここでは、第１の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった直接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第１の注目状態情報に基づく引き操作である第１の推奨操作方向と第１の操作管理情報に基づく第１の推奨操作量とを含む第１の推奨操作情報を演算する。図７Ａには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。
　ステップＳ１６において、出力情報処理部１０６は、第１の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、ここでの形状情報に基づいて上述のようにして算出した第１の操作管理情報の値が０、あるいは０以下になった場合に、推奨操作が完了したと判断される。操作者が少しずつ引き操作（すなわち、推奨操作方向にしたがう挿入操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９－ＮＯ）、処理はステップＳ１４に戻る。推奨操作継続情報が「継続」である場合には、推奨操作参照データに（ｉ）に続く（ｉｉ）が用意されているから、処理はステップＳ１４に進み、新たな注目状態情報に基づく推奨操作情報の演算を続ける。
　ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第２の形状情報とする。第２の形状情報は、推奨操作参照データの（ｉ）の目標形状情報「ａ２－ｂ２間が１０ｃｍ未満の逆のの字形状」に対応している。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉ）の次の（ｉｉ）に対応する参照注目状態情報、操作方向及び目標形状情報を読み出す。すなわち、ここでは、「ａ１－ｂ１間が１０ｃｍ未満の逆のの字／Ｎ字形状」、「右捻り」及び「θが±１０°以内のＮ字形状」が読み出される。ここでは、読み出した参照注目状態情報が第２の注目状態情報である。注目状態・操作管理情報演算部１０４は、第２の注目状態情報に係る逆のの字形状と目標形状情報に係るＮ字形状との座標の角度の差を演算して第２の操作管理情報とする。
　ここで、第２の操作管理情報について詳しく説明する。図７Ｂに示されるようにｘｙ平面を設定し、点ｃ１、ｃ２、ｄ１、ｄ２をとる。点ｃ２、ｄ２は、それぞれ、図７Ｂに示されるｘｙ平面における、第２の形状情報に係る逆のの字形状の点ｃ１、ｄ１に関する目標形状の点である。ｃ１は、第２の形状情報に係る逆のの字形状における挿入部１１の先端の点（ｙ座標：ｙｃ１）であり、ｄ１は、挿入部１１が形成している逆のの字のＮループにおいてｙ座標が点ｃ１のｙ座標ｙｃ１と等しい点（ｙ座標：ｙｄ１）である。ｃ２は、目標形状における挿入部１１の先端の点（ｙ座標：ｙｃ２）であり、ｄ２は、ｄ１と同じ点（ｙ座標：ｙｄ２）である。右捻りの操作により、点ｃ１は、図７Ｃに示されるようなｘｚ平面上で略円運動を行うと考えられる。このため、点ｃ１が捻り操作によって点ｄ１を中心に円運動を行ってｘ軸上の点ｃ２となると想定し、点ｃ２と点ｄ２を結ぶ線、すなわちｘ軸と、点ｄ１と点ｃ１とを結ぶ線とがなす角度θを求め、第２の操作管理情報とする。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉ）に対応する操作方向として右捻り操作を読み出す。また、推奨操作演算部１０５は、第２の操作管理情報に基づいて捻り操作の操作量を演算する。ここでは、第２の操作管理情報である角度θをそのまま回転操作量としてよい。このように、推奨操作演算部１０５は、推奨操作情報として第２の注目状態情報に基づく右捻り操作である第２の推奨操作方向と第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算する。図７Ｂには、挿入部１１の手元側に右捻り操作を表す矢印が示されている。
　ステップＳ１６において、出力情報処理部１０６は、第２の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の右捻り操作を行う。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、ここでの形状情報に基づいて上述のようにして算出した第２の操作管理情報の値が０、あるいは０を含む所定範囲になった場合に、推奨操作が完了したと判断される。操作者が少しずつ右捻り操作（すなわち、推奨操作方向にしたがう操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９－ＮＯ）、処理はステップＳ１４に戻る。推奨操作継続情報が「継続」である場合には、推奨操作参照データに（ｉｉ）に続く（ｉｉｉ）が用意されているから、処理はステップＳ１４に進み、新たな注目状態情報に基づく推奨操作情報の演算を続ける。
　ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第３の形状情報とする。第３の形状情報は、推奨操作参照データの（ｉｉｉ）の目標形状情報「θが±１０°以内のＮ字形状」に対応している。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉｉ）の次の（ｉｉｉ）に対応する参照注目状態情報、目標形状情報を読み出す。すなわち、ここでは、「θが±１０°以内のＮ字形状」、「略直線の座標データ」が読み出される。ここでは、読み出した参照注目状態情報が第３の注目状態情報である。そして、注目状態・操作管理情報演算部１０４は、第３の注目状態情報に係るＮ字形状と目標形状情報に係る略直線形状との差を演算して第３の操作管理情報とする。
　図７Ｄに示されるｘｙ平面には、第３の形状情報に係るＮ字形状である、ｃ１－ｄ１間がＸ３の挿入部１１が示されている。図７Ｄには、挿入部１１の第３の形状情報に係るＮ字形状の任意の点ｅ１、ｆ１、ｇ１、ｈ１、ｉ１と、各点に関する目標形状の任意の点ｅ２、ｆ２、ｇ２、ｈ２、ｉ２とが示されている。第３の操作管理情報は、例えば、各点のｘｙ座標データの差の合計値である。図７Ｄに示される、各点ｅ１－ｅ２、ｆ１－ｆ２、ｇ１－ｇ２、ｈ１－ｈ２、ｉ１－ｉ２間の矢印は、第３の操作管理情報を概念的に表している。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉｉ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第３の操作管理情報に基づいて引き操作の操作量を演算する。例えば各点のｘｙ座標データの差の合計値が第３の操作管理情報である場合、第３の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった引き操作に対する直接的な操作量ではなく、前記差の合計値で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第３の注目状態情報に基づく引き操作である第３の推奨操作方向と第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する。図７Ｄには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。
　ステップＳ１６において、出力情報処理部１０６は、第３の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、第３の操作管理情報の値が０に近づくほど、挿入部１１は目標形状に近くなる。ただし、通常は目標形状に正確に一致する必要はないため、第３の操作管理情報の値に対する閾値を設け、閾値を下回れば図７Ｅに示されるように目標形状まで操作が完了した、すなわち、Ｎループに対する推奨操作が完了してＮループが略直線化されたと判断される。ここでは操作が完了していないと判断されて（ステップＳ１８－ＮＯ）、処理はステップＳ２１に進む。
　ステップＳ２１において、注目状態・操作管理情報演算部１０４は、ステップＳ１７での現在の形状情報を取得し、ステップＳ１２と同様にして、現在の形状情報に基づいて注目状態情報を検出する。
　ステップＳ２２において、注目状態・操作管理情報演算部１０４は、ステップＳ１４と同様にして、ステップＳ１７での現在の形状情報と目標形状情報との差から操作管理情報を演算する。
　ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。ここでは、直前のステップＳ２２で演算された操作管理情報の値と、操作管理情報の演算に関する１つ前のステップＳ１４で演算された操作管理情報の値とに基づいて操作管理情報の値の増減を算出し、操作者操作方向と推奨操作方向とが合っているか否かを判断する。例えば、操作者操作方向と推奨操作方向とが合っていれば、操作管理情報の値は減少している。一方、これら方向が合っていなければ、操作管理情報の値は増加している。ここでは操作管理情報の値が増加しており両方向が合っていないと判断されて（ステップＳ２３－ＮＯ）、処理はステップＳ２５に進む。
　ステップＳ２５において、推奨操作演算部１０５は、推奨操作情報にしたがった推奨操作が実施できない状態であるか否かを判断する。これは、例えば、形状演算部１０３からの形状情報が所定時間変化していないこと、画像認識技術により内視鏡画像が所定時間変化していないことや内視鏡画像から挿入困難状態が認識されること、などにより判断される。以下、推奨操作情報にしたがった推奨操作が実施できる状態の場合（ステップＳ２５－ＹＥＳ）と、実施できない状態の場合（ステップＳ２５－ＮＯ）との２通りの処理の例について説明する。
　（推奨操作情報にしたがった推奨操作が実施できる状態の場合の一例）　
　推奨操作情報にしたがった推奨操作が実施できる状態の場合には（ステップＳ２５－ＹＥＳ）、処理はステップＳ２６に進む。
　ステップＳ２６において、推奨操作演算部１０５は、推奨操作情報を再演算して修正する。例えば、操作者操作方向が推奨操作方向とは逆であった場合には、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を増加させる。また、推奨操作演算部１０５は、操作方向が逆であることの警告を表示装置３０に出力することを決定する。そして、処理はステップＳ１６に進む。
　ステップＳ１６において、出力情報処理部１０６は、増加した操作量を含む推奨操作情報及び警告を出力情報として処理し、表示装置３０に表示させる。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了していないと判断されて（ステップＳ１８－ＮＯ）、処理はステップＳ２１に進む。
　上述したようなステップＳ２１、Ｓ２２を経て、ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。ここでは操作者が行った操作が推奨操作に一致していると判断されて（ステップＳ２３－ＹＥＳ）、処理はステップＳ２４に進む。
　ステップＳ２４において、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を再演算して更新する。ここでは操作量が減少される。そして、処理はステップＳ１６に進み、出力情報処理部１０６が、操作方向及び更新した操作量を含む推奨操作情報を出力情報として処理し、表示装置３０に表示させる。そして、上述したようなステップＳ１７を経て、ステップＳ１８において、推奨操作演算部１０５は、挿入部１１の現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了していると判断されて（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９－ＹＥＳ）、処理はステップＳ２０に進む。すなわち、推奨操作継続情報が「完了」である場合には、推奨操作参照データに（ｉｉｉ）に続くものが存在しないため、処理はステップＳ２０に進む。
　ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０－ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０－ＹＥＳ）、処理は終了する。
　（推奨操作情報にしたがった推奨操作が実施できない状態の場合の一例）
　推奨操作情報にしたがった推奨操作が実施できない状態の場合には（ステップＳ２５－ＮＯ）、処理はステップＳ１４に進む。これは、例えば、癒着など被検体の状態が原因となり推奨操作情報通りの挿入操作を行うことができない場合である。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、行えなかった操作を含む推奨操作情報とは異なる操作管理情報を演算する。例えば、大腸の癒着が原因でＮループの直線化が行えない場合には、注目状態・操作管理情報演算部１０４は、操作方向として「押す」を含む推奨操作参照データに基づいて操作管理情報を演算する。これは、Ｎループは引いて直線化するほうが被検体、例えば患者に対する負担が少ないが、癒着などにより引き操作による直線化が行えない場合には押し操作が有効であることに因る。
　記憶部１０７には、図５に示されるように、推奨操作参照データの（ｉｉｉ）を参照した推奨操作情報にしたがう操作が実施できなかった場合に用いる推奨操作参照データの（ｉｖ）が記憶されている。（ｉｖ）では、例えば、参照注目状態情報、目標形状情報、推奨操作継続情報は（ｉｉｉ）と同じであるが、操作方向が（ｉｉｉ）の「引く」とは異なり、「押す」である。注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉｖ）よりも（ｉｉｉ）を優先して参照するが、推奨操作参照データの（ｉｉｉ）を参照した推奨操作情報にしたがう操作が実施できなかった場合には（ｉｖ）を参照する。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作として注目状態情報に基づく押し操作と操作管理情報に基づく操作量とを含む推奨操作情報を演算する。そして、ステップＳ１６、Ｓ１７を経て、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。操作者が少しずつ押し操作（すなわち、推奨操作方向にしたがう操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｖ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９－ＹＥＳ）、処理はステップＳ２０に進む。
　ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０－ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０－ＹＥＳ）、処理は終了する。
　（αループ解除時の処理の一例）　
　以下、挿入時のαループ解除に関する推奨操作呈示システムでの処理について、図８Ａ乃至図８Ｃとともに図４Ａ及び図４Ｂのフローチャート、図５の推奨操作参照データを参照して具体的に説明する。
　ステップＳ１１において、形状演算部１０３が挿入部１１の第４の形状情報を演算する。ステップＳ１２において、注目状態・操作管理情報演算部１０４は、第４の形状情報に基づいて、第４の注目状態情報として図８Ａに示されるようなαループを検出する。すなわち、第４の注目状態は「ループの面積がＸ４（Ｘ４≧３００ｃｍ２以上）のαループ」である。ここで、ループの面積とは、ループを形成している範囲の座標に対して近似平面を演算し、近似平面に投影させたときにできるループ形状の面積である。例えば、挿入部１１が３次元空間において螺旋状となっている場合には、投影しないとループの面積を求められないため、このような手法をとる。
　ステップＳ１３において、推奨操作演算部１０５は、図５の参照注目状態情報を参照して、ステップＳ１２で検出した第４の注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。ここでは、これが推奨操作参照データの（ｖ）の参照注目状態情報「ループの面積が３００ｃｍ２以上のαループ」に該当するため（ステップＳ１３－ＹＥＳ）、処理はステップＳ１４に進む。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｖ）に対応する目標形状情報を読み出す。ここでは、「ループの面積が３００ｃｍ２未満のαループ」が読み出される。図８Ａには、第４の形状情報に係る形状が白抜きの実線で、挿入部１１の目標形状が破線でそれぞれ示されている。注目状態・操作管理情報演算部１０４は、例えば、第４の注目状態情報に係るαループの面積Ｘ４と目標形状情報に係るαループの面積３００ｃｍ２との差を第４の操作管理情報とする。なお、αループの面積そのものを第４の操作管理情報としてもよい。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｖ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第４の操作管理情報に基づいて引き操作の操作量を演算する。例えば、面積の差が第４の操作管理情報である場合、第４の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった引き操作に対する直接的な操作量ではなく、前記面積の差で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第４の注目状態情報に基づく引き操作である第４の推奨操作方向と第４の操作管理情報に基づく第４の推奨操作量とを含む第４の推奨操作情報を演算する。図８Ａには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。
　ステップＳ１６において、出力情報処理部１０６は、第４の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、現在の形状情報に基づいて上述のようにして算出した第４の操作管理情報の値が０、あるいは０以下になった場合に、推奨操作が完了したと判断される。操作者が少しずつ引き操作（すなわち、推奨操作方向にしたがう挿入操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｖ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９－ＮＯ）、処理はステップＳ１４に戻る。ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第５の形状情報とする。第５の形状情報は、推奨操作参照データの（ｖｉ）の目標形状情報「ループの面積が３００ｃｍ２未満のαループ」に対応している。
　ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｖｉ）に対応する参照注目状態情報及び目標形状情報を読み出す。すなわち、ここでは、「ループの面積が３００ｃｍ２未満のαループ」及び「略直線の座標データ」が読み出される。ここでは、読み出した参照注目状態情報が第５の注目状態情報である。そして、注目状態・操作管理情報演算部１０４は、第５の注目状態情報に係るαループの形状と目標形状情報に係る略直線形状との差を演算して第５の操作管理情報とする。
　図８Ｂに示されるｘｙ平面には、第５の形状情報に係る形状である、ループ面積がＸ５のαループが形成された挿入部１１が示されている。図８Ｂには、第５の形状情報に係る形状の任意の点ｅ３、ｆ３、ｇ３、ｈ３と、各点に関する目標形状の点ｅ４、ｆ４、ｇ４、ｈ４とが示されている。第５の操作管理情報は、例えば、各点のｘｙ座標データの差の合計である。図８Ｂに示される、各点ｅ３－ｅ４、ｆ３－ｆ４、ｇ３－ｇ４、ｈ３－ｈ４間の矢印は、第５の操作管理情報を概念的に表している。
　ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｖｉ）に対応する操作方向として右捻り操作を読み出す。また、推奨操作演算部１０５は、第５の操作管理情報に基づいて右捻り操作の操作量を演算する。例えば各点のｘｙ座標データの差の合計値が第５の操作管理情報である場合、第５の操作管理情報に基づいて算出した操作量は、どのくらいの角度捻るべきか、といった右捻り操作に対する直接的な操作量ではなく、前記差の合計値で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第５の注目状態情報に基づく右捻り操作である第５の推奨操作方向と第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する。図８Ｂには、挿入部１１の手元側に右捻り操作を表す矢印が示されている。
　ステップＳ１６において、出力情報処理部１０６は、第５の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の右捻り操作を行う。
　ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで（例えば、第２の操作管理情報の値に関する閾値を下回るまで）、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了したと判断されて（ステップＳ１８－ＹＥＳ）、処理はステップＳ１９に進む。
　ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｖｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９－ＹＥＳ）、処理はステップＳ２０に進む。
　ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０－ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０－ＹＥＳ）、処理は終了する。
　なお、ここでは挿入部先端側が上側にあるαループ（図３Ａ、図８Ａ及び図８Ｂ参照）の直線化のために、所定量の引く操作の後に所定量の右捻り操作を行ったが、例えば、挿入部先端側が下側にあるαループ（図３Ｂ参照）のループ解除のためには、所定量の引く操作の後に所定量の左捻り操作を行うことが有効である。また、挿入部先端側が上側にある逆αループ（図３Ｃ参照）のループ解除のためには、所定量の引く操作の後に所定量の左捻り操作を行うことが有効である。また、挿入部先端側が上側にある逆αループ（図３Ｄ参照）のループ解除のためには、所定量の引く操作の後に所定量の右捻り操作を行うことが有効である。本実施形態による推奨操作呈示システムでは、上述のような処理フローに基づいて各ループの直線化に最適な上述のような操作方向を含む推奨操作情報を呈示可能である。
　本実施形態によれば、推奨操作呈示システムは、参照注目状態情報、操作方向、目標状態情報などを予め設定した推奨操作参照データを参照して注目状態情報と操作管理情報とを算出し、さらに、注目状態情報に基づく操作方向と操作管理情報に基づく操作量とを含む推奨操作情報を算出することができる。推奨操作呈示システムは、推奨操作情報を演算して出力することにより、操作者に推奨操作情報を呈示する。これにより、操作者は的確な挿入支援情報に基づいた挿入操作を行うことが可能となる。特に、本実施形態では、操作方向のみならず直接的又は間接的な操作量も呈示するから、挿入操作に不慣れな操作者をアシストすることが可能である。
　特に、大腸内視鏡の場合には、Ｓ状結腸や横行結腸などの屈曲部を有する可動腸管に挿入部１１を挿入するため、Ｎループやαループといった、そのままでは挿入を継続し難い状況が起こりやすい。本実施形態に係る推奨操作呈示システムによれば、そのような状況であっても、挿入部１１の形状情報と、各種状況に応じて予め設定した操作方向及び目標状態情報とに基づいて算出された推奨操作方向及び推奨操作量を含む推奨操作情報にしたがってＮループやαループの直線化を容易に行うことができ、特に、未熟な操作者であっても熟練した操作者のように挿入操作を行うことができる。また、推奨操作情報にしたがう挿入操作が行われれば、腸管を不必要に伸展させずに済む。したがって、腸管の伸展に伴う患者の痛みを低減することができる。
　本実施形態では、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向と推奨操作方向とが一致しているかどうかを判断し、適宜、操作量を更新したり修正したりする。このようなフィードバックにより、操作者は、推奨操作情報通りの操作が行えているかや残りの操作量がどれくらいかを認識しながら操作を進めることができる。
　また、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向が推奨操作方向とは異なり、かつ、推奨操作方向への挿入操作が困難な状況ではない場合に、操作者に両方向が異なっている旨の警告をすることが可能である。例えば、操作者が推奨操作方向を誤って認識している場合などに、このような警告により操作者が実際の推奨操作方向を正しく認識して適宜操作を修正することができる。
　また、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向が推奨操作方向とは異なり、かつ、推奨操作方向への挿入操作が困難な状況である場合に、他の推奨操作情報を呈示することが可能である。これにより、大腸の癒着や走行異常などが生じている場合であっても状況に応じてさまざまな挿入操作を呈示することができ、操作者が深部への挿入を試みることが可能となる。
　また、推奨操作呈示システムは、Ｎループ解除やαループ解除における挿入部１１の直線化を段階的に進めるために、特定の推奨操作情報にしたがった推奨操作が完了していると判断した後、その推奨操作情報に対応する推奨操作継続情報に基づいてさらなる注目状態情報（参照注目状態情報）の有無を判断し、さらなる注目状態情報があれば、これに基づいて推奨操作情報を演算して呈示する。これにより、一連の推奨操作情報を呈示して挿入完了まで導くことが可能となる。
　以下、表示装置３０への推奨操作情報等の表示について説明する。　
　図９は、表示装置３０の表示画面２００の一例を示す図である。表示画面２００には、内視鏡画像２０１と、内視鏡形状画像２０２とが表示される。内視鏡形状画像２０２は、内視鏡形状２０３を含む。また、表示画面２００には、推奨操作情報２１０が示される。図９には、例えば、挿抜操作及び挿抜量を表す棒グラフ２１１と、捻り操作及び捻り量を表す円グラフ２１２と、湾曲操作及び湾曲量を表す矢印形状の４つの棒グラフ２１３とが示されている。４つの棒グラフ２１３は、内視鏡画像２０１の周囲に上下左右に１つずつ配置されている。
　棒グラフ２１１には、中央の実線よりも上に所定範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の押し操作を示すものである。円グラフ２１２には、円内の実線から右側に所定角度範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の左捻り操作を示すものである。内視鏡画像２０１の右側の棒グラフ２１３には、矢印内に左側から所定範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の右湾曲操作を示すものである。
　図１０Ａ乃至図１０Ｃには、推奨操作情報の表示の一例が示される。棒グラフ２１１、円グラフ２１２及び矢印形状の棒グラフ２１３の操作量２１４は、図１０Ａ乃至図１０Ｃに示されるように、操作者が推奨操作を行うのに伴って減っていく。すなわち、操作量２１４が、目標形状までの残りの操作量を表している。このような表示により、操作者は残りの操作量を視覚的に捉えることができる。
　図１１Ａ乃至図１１Ｃには、推奨操作情報の表示の他の例が示される。棒グラフ２１１、円グラフ２１２及び矢印形状の棒グラフ２１３には、湾曲操作、捻り操作、又は挿抜操作を検出可能な各種センサによる検出操作量２１８と、推奨操作量２１９とが示されている。この場合、操作者は、検出操作量２１８が推奨操作量２１９になるまで推奨操作を行うことができる。
　もちろん、推奨操作情報２１０の表示は、棒グラフや円グラフに限定されるものではなく、操作方向（湾曲操作、捻り操作、又は挿抜操作の方向）とその操作量とがわかる表示であればよい。
　再び図９を参照して、表示画面２００には、注目状態情報２１５が表示されてよい。図９では、Ｎループ（逆のの字）が発生していることが呈示されている。これにより、操作者は、内視鏡形状２０３を含む内視鏡形状画像２０２に加えて、Ｎ字ループが発生していることを文字でも認識することができる。
　表示画面２００には、推奨操作方向と操作者操作方向とが一致している否かを表す推奨操作適合情報２１６が表示されてよい。図９では、推奨操作適合情報２１６である「操作ＯＫ」と「推奨操作と不一致」とのうち、「操作ＯＫ」の枠内が斜線で示されている。これは、推奨操作方向と操作者操作方向とが一致していることを表している。これにより、操作者は、自身が行っている操作が推奨操作に合致していることを確認しながら挿入を進めることができる。
　表示画面２００には、推奨操作情報２１０や注目状態情報２１５が表示されていることを操作者に知らせる告知部２１７が表示されてよい。図９では、告知部２１７が内視鏡画像２０１の左下側に配置されている。告知部２１７は、内視鏡画像２０１に重畳する、又は内視鏡画像２０１の近傍に配置するのが望ましい。これにより、操作者が内視鏡画像２０１を注視していても推奨操作情報２１０や注目状態情報２１５が表示されていることに気づき易くなる。
　例えば、Ｎループ解除では、ゆっくり操作したら直線化に成功するが、早く操作すると失敗する、例えば、挿入部１１が大腸に対して後退するような場合がある。また、複数の操作を行う、例えば、引き操作と湾曲操作とを同時に行うような場合があり、このような場合には、引き操作に対する湾曲操作の量が重要となる。
　そこで、図１２Ａ乃至図１２Ｃに示されるように、推奨操作情報２１０として、検出操作量２１８と推奨操作量２１９とに加えて推奨操作速度２２０が表示されてもよい。換言すれば、操作している瞬間ごとの推奨操作量が推奨操作速度２２０として表示される。図１２Ａ乃至図１２Ｃでは、推奨操作速度２２０が点線で表示されている。この点線は、推奨操作情報２１０（各グラフ２１１、２１２、２１３）の表示を開始してから、時間経過に伴う推奨操作量の方向に変化して表示される。
　このように、推奨操作情報は、推奨する挿入操作の速度である推奨操作速度を含むことができる。推奨操作速度は、例えば、推奨操作演算部１０５により、注目状態情報と操作管理情報との少なくとも一方の時間変化に基づいて算出される。操作者は、推奨操作速度と、検出操作量が一致するように操作を行う。これにより、より詳細な操作方法を呈示できるので、挿入性が向上する。
　図１３に示されるように、推奨操作情報２１０は、表示が必要なときに内視鏡画像２０１に一時的に重畳表示してもよい。操作者は通常内視鏡画像２０１を注視しているため、内視鏡画像２０１に推奨操作情報２１０を重畳することにより、気づき易くなる。また、内視鏡画像２０１から目を離す必要がなくなる。推奨操作情報２１０に加えて、注目状態情報２１５を重畳表示してもよい。一方、推奨操作情報２１０や注目状態情報２１５を内視鏡画像２０１に重畳表示すると、重畳箇所で内視鏡画像２０１が見えなくなったり、半透明であっても見づらくなったりするので、内視鏡画像２０１から得られる情報が少なくなる。そのため、必要なときに一時的に重畳表示することにより、内視鏡画像２０１から得られなくなる情報量を少なくできる。図１３では、左から順に、推奨操作情報２１０の非表示状態（左）、表示状態（中央）、非表示状態（右）が示されており、これら状態が操作者により適宜切り替えられる。
　図１４に示されるように、推奨操作情報２１０又は注目状態情報は、動画で表示してもよい。図１４は、操作者の手２２２が挿入部１１を引き操作するアニメーション２２１を示している。動画の種類は、実写、ＣＧ、アニメーションなどであってよい。動画表示をすることで、操作者は推奨操作や注目状態の内容をより視覚的に理解することができる。
　短時間（例えば１秒）発生した推奨操作情報や注目状態情報は、当該短時間よりも長い一定時間以上（例えば５秒）表示されるようにしてもよい。例えば、図１５に示されるように、出力情報処理部１０６は、ループが１０秒発生した場合にはループに対する推奨操作情報や注目状態情報を発生開始から終了までの１０秒間出力して表示装置３０に表示させる。これは、操作者が認識するためには十分な時間である。しかしながら、例えば１秒程度、あるいはそれ以下の短い時間しかループが発生しなかった場合には、操作者は、表示されたことを見逃したり、何か表示されたことは認識できるが、その内容までは認識できなかったりすることが懸念される。そこで、短時間発生したループに対しては、発生開始時に表示を開始し、操作者が内容を認識するために必要と思われる一定時間、例えば５秒間表示を継続させる。これにより、操作者は、表示された内容をより認識し易くなる。
　一方、短時間発生した推奨操作情報や注目状態情報は、操作者が認識する必要がない情報であることも考えられる。このため、このような情報は表示させないようにしてもよい。例えば、図１６に示されるように、出力情報処理部１０６は、ループ発生後一定時間（例えば１秒）推奨操作情報や注目状態情報を出力しない。そして、一定時間経過後に推奨操作情報や注目状態情報が継続、すなわちループが継続して発生していたら、推奨操作情報や注目状態情報を出力する。一方、一定時間経過後にループが継続していない場合は、注目状態情報や推奨操作情報を出力しない。これにより、操作者が認識する必要がないと思われる、短時間発生だけ発生した状態に対する情報を表示しないようできる。換言すれば、操作者は必要な情報をより認識し易くなる。
　出力情報処理部１０６は、注目状態情報や推奨操作情報などに応じて、表示方法を変えてよい。例えば、短時間でも必要な情報は一定時間以上出力し、短時間であれば不要な情報である場合には出力しないようにしてよい。
　このように、推奨操作情報が操作者にとって認識しやすい時間表示されることにより、操作者はどの方向にどの程度の量の操作を行えばよいかを適切に認識しながら操作を行うことができる。そのため、操作性が向上する。また、適切な操作が行えるので安全性も向上する。
　以上の説明では、推奨操作情報の例として、挿入部１１の押し、引き、捻りを示したが、その他に、操作部１６による湾曲操作、送気、送水、吸引、挿入部１１の硬度変更、用手圧迫なども推奨操作情報として表示してよい。
　ここまで、挿入部１１の形状に基づいて注目状態情報及び操作管理情報が演算されて推奨操作情報が決定される推奨操作呈示システムの一例を示したが、さらに内視鏡画像２０１から得られる情報を加えて推奨操作情報が決定されるようにしてもよい。例えば、図１７に示されるように、内視鏡画像２０１から管腔の位置を含む管腔領域２２３が検出される。図１７では検出結果の管腔が破線の枠で囲って表示されているが、この枠は必要に応じて表示／非表示を変更してよい。推奨操作演算部１０５は、検出した管腔領域２２３の画像上の位置情報に基づいて、挿入部１１の先端を管腔方向に向かせるための操作を推奨操作情報として決定する。このように、内視鏡画像２０１から得られる情報を加えて推奨操作情報を決定することにより、より詳細な推奨操作情報を生成することができ、推奨操作情報の精度が向上する。
　また、推奨操作情報を表示装置３０に画像情報として表示する推奨操作呈示システムの一例を示したが、推奨操作情報は音で出力してもよい。換言すれば、出力情報処理部１０６から出力される推奨操作情報は、視覚的情報と聴覚的情報との少なくとも一方であってよい。例えば、推奨操作情報が出力開始されると、周期ｔの間隔で音が出力される。そして、挿入部１１の現在の形状が目標形状に近くなるほど周期ｔが短くなり、目標形状に到達すると連続音が出力される。周期に限らず、音程の変化でもよい。例えば、目標形状に近くなるほど高い音を出力する。このような音の変化により、操作者はモニタの推奨操作情報を見なくても推奨操作情報を認識することが可能となり、内視鏡画像の観察に注力しながら挿入操作を進めることができるため、操作性が向上する。
　［変形例１］　
　変形例１では、内視鏡システム１ａの制御装置１００ａは、図１８に示されるように、上述の各部に加えて、挿入状況判定部１０９を有している。以下、変形例１による、推奨操作呈示システムとしての内視鏡システム１の制御装置１００による処理の一例について、図１９Ａ及び図１９Ｂを参照して概略的に説明する。
　ステップＳ３１乃至Ｓ３３は、それぞれ、図４Ａ及び図４Ｂに示されるステップＳ１１乃至Ｓ１３と同様である。ステップＳ３３において、注目状態情報が参照注目状態情報に該当しない、あるいは該当しても推奨操作要否判断情報から推奨操作が不要と判断された場合には（ステップＳ３３－ＮＯ）、処理はステップＳ４１に進む。注目状態情報が参照注目状態情報に該当する、あるいは該当して推奨操作要否判断情報から推奨操作が必要と判断された場合には（ステップＳ３３－ＹＥＳ）、処理はステップＳ３４に進む。
　ステップＳ３４において、挿入状況判定部１０９は、挿入が難航している状況か否かを判断する。例えば、推奨操作情報を出力後、一定時間以上、次の推奨操作へ進まない状況が続いた場合や、次の推奨操作に進んでも、再び戻ってしまうことが一定回数以上発生した場合には、挿入が難航している状況と判断される。また、注目状態が推奨操作参照データにない場合に挿入が難航している状況と判断してもよい。この場合は、一般的な挿入で発生する注目状態を推奨操作参照データとして記憶部１０７又は他の記憶装置に十分に記憶させておくことが望ましい。また、画像認識技術により内視鏡画像から管腔を検出し、一定時間管腔が検出されなければ挿入が難航している状況と判断してもよい。
　挿入が難航している状況と判断された場合には（ステップＳ３４－ＹＥＳ）、処理はステップＳ４８に進む。挿入操作において、挿入が難航している状況となった場合の対応の一つとして、一旦引く操作が用いられることがある。手前の状況（すなわち、挿入が難航している状況になる前の状況）に戻して挿入操作をやり直すことで前に進めることがあるからである。また、管腔を見失った場合も、一旦引くことにより管腔を見つけられる可能性が高い。それ故、ステップＳ４８では、推奨操作演算部１０５は、推奨操作情報を、挿入状況を変えるための試す操作（例えば、引き操作、右捻り操作、左捻り操作）に変更する。試す操作は、これ以外の操作でもよい。試す操作に係る操作方向も、推奨操作参照データに含ませてよい。このような試す操作により、見失った管腔を見つけられたり、挿入部１１に絡みついた腸管がほどけることで、挿入し易くなったりする。
　このように、挿入状況判定部１０９が挿入が難航している状況を判断し、推奨操作情報を試す操作にすることで、挿入が難航しているかつ推奨操作情報が出せない状況であっても挿入状況を変化させることができる。これにより、推奨操作情報を出力できる状態、又は、推奨操作情報が不要な、挿入が容易な状態になる可能性が高くなる。
　一方、挿入が難航している状況でない判断された場合には（ステップＳ３４－ＮＯ）、処理はステップＳ３５に進む。ステップＳ３５乃至４７は、それぞれ、図４Ａ及び図４Ｂに示されるステップＳ１４乃至Ｓ２６と同様である。
　［変形例２］　
　変形例２では、内視鏡システム１ｂの制御装置１００ｂは、図２０に示されるように、上述の各部に加えて、操作者技能判定部１１０と、挿入難易度判定部１１１とを有している。
　[操作者技能判定部]　
　操作者技能判定部１１０では、内視鏡１０の操作者の挿入操作技能のレベル（操作者レベル）を、挿入中に発生する注目状態情報に基づいて判断する。操作者技能判定部１１０は、例えば、Ｎループの直線化にかかった時間、Ｎ字形状からの直線化に失敗し、再び逆のの字からやり直した回数などを総合的に判定して操作者レベルを判断する。挿入部１１の一部に座屈状態が発生した回数や、腸管の伸展が発生した回数などを判断の要素に加えてもよい。換言すれば、操作者レベルは、操作者による一連の挿入操作中に発生している注目状態情報の種類、回数、発生時間、発生箇所、被検体の状態の少なくとも１つに基づいて判断される。また、前述した注目状態の発生や、挿入完了あるいはループ解除に要した時間などを操作者の過去の挿入操作履歴データとして記憶部１０７又は他の記憶装置に記憶させておき、これを参照して判断してもよい。
　[挿入難易度判定部]　
　挿入難易度判定部１１１は、例えば、被検体である大腸が挿入困難な状態か否かを、挿入中に発生する注目状態情報に基づいて判断する。換言すれば、挿入難易度は、操作者による一連の挿入操作中に発生している前記注目状態情報の種類、回数、発生時間、発生箇所、被挿入体の状態の少なくとも１つに基づいて判断される。例えば、２重のαループが発生したら、腸が癒着していると推測できるため、大腸が挿入困難な状態と判断される。また、挿入時間、手術歴（例えば、手術歴に起因して癒着が発生して挿入が難しくなることがある）、ＣＴデータなどを患者の過去の挿入操作履歴データとして記憶部１０７又は他の記憶装置に記憶させておき、これを参照して判断してもよい。
　出力情報処理部１０６は、操作者技能判定部１１０が判断した結果や挿入難易度判定部１１１が判断した結果に基づいて、推奨操作情報の出力内容を変更する。例えば、操作者の技能レベルが高く、被挿入体の難易度が低いと判断されたら、出力情報処理部１０６は、推奨操作情報は必要ないと判断し、推奨操作情報を出力せず、図２１に示されるように、表示画面２００には内視鏡画像２０１及び内視鏡形状画像２０２のみが表示される。操作者技能判定部１１０が判断した結果や挿入難易度判定部１１１が判断した結果に応じて、一部の推奨操作情報のみを適宜出力するようにしてもよい。このような出力／表示により、操作者は必要な情報を得やすくなる。
　［変形例３］　
　変形例３では、推奨操作情報は、図２２に示されるように、内視鏡１０を自動で、又は一部自動で挿入する装置である自動挿入装置４０に、自動挿入装置４０の制御信号として出力される。自動挿入装置４０は、表示部４１を有してよく、表示部４１は表示装置３０を代替するものであってよい。このような自動挿入装置４０による挿入操作であっても、上述したような本発明の推奨操作呈示システムによる処理を行うことができ、同様の作用効果が得られる。
　本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

Claims (32)

  1. 　被挿入体に挿入される挿入部を有する挿入機器と、
    　前記挿入部の少なくとも一部の形状を形状情報として検出する挿入部形状検出部と、
    　前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部と、
    　前記形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、
    　推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算する推奨操作演算部であって、前記推奨操作方向は、前記注目状態情報と、前記操作方向とに基づいて演算し、前記推奨操作量は、少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、
    　前記推奨操作情報を含む情報を出力する出力情報処理部と、
    　を具備する、推奨操作呈示システム。
  2. 　前記推奨操作演算部は、前記推奨操作情報を出力した後に、前記挿入部形状検出部が検出した現在の形状情報から、前記推奨操作情報にしたがった推奨操作が完了しているか否かを判断し、前記推奨操作が完了していないと判断されたとき、前記注目状態・操作管理情報演算部が、前記現在の形状情報に基づいて前記注目状態情報及び前記操作管理情報を演算し直し、前記推奨操作演算部が、前記推奨操作情報を演算し直し、前記出力情報処理部が、前記推奨操作情報を含む情報を出力し直す、請求項１に記載の推奨操作呈示システム。
  3. 　前記推奨操作情報は、推奨する挿入操作の速度である推奨操作速度を含み、
    　前記推奨操作演算部は、前記注目状態情報と前記操作管理情報の少なくとも一方に基づいて前記推奨操作速度を演算する、請求項１又は２に記載の推奨操作呈示システム。
  4. 　推奨操作要否判断情報が、前記参照注目状態情報に対応するように予め設定され、
    　前記推奨操作演算部は、前記注目状態情報と、対応する前記推奨操作要否判断情報とに基づいて、前記推奨操作情報の要否を判断し、前記推奨操作情報が必要と判断されたとき、前記推奨操作情報を演算する、請求項１乃至３のいずれか１項に記載の推奨操作呈示システム。
  5. 　前記推奨操作演算部は、前記推奨操作情報にしたがった推奨操作が完了していないと判断したとき、前記推奨操作が実施できない状態か否かを判断し、実施できない状態と判断されたとき、前記推奨操作が完了していないと判断されたときとは異なる、試すための操作に係る推奨操作方向を含む推奨操作情報を演算する、請求項１乃至４のいずれか１項に記載の推奨操作呈示システム。
  6. 　前記試すための操作は、前記挿入部の引き操作と左捻り操作と右捻り操作との少なくとも１つである、請求項５に記載の推奨操作呈示システム。
  7. 　前記推奨操作が実施できる状態と判断されたとき、前記出力情報処理部は、操作方向についての視覚的又は聴覚的な警告を出力する、請求項５又は６に記載の推奨操作呈示システム。
  8. 　前記推奨操作情報にしたがった推奨操作が完了していると判断されたとき、前記推奨操作演算部は、前記注目状態情報に対応するように予め設定された推奨操作継続情報に基づいて、さらなる注目状態情報演算の要否を判断する、請求項１乃至７のいずれか１項に記載の推奨操作呈示システム。
  9. 　前記注目状態情報は、前記挿入部が形成するループの種類とサイズとを含み、
    　前記目標状態情報は、前記ループの種類とサイズとを含む目標形状情報であり、
    　前記操作管理情報は、前記形状情報に係る形状と前記目標形状情報に係る目標形状との差に基づく情報である、請求項１乃至８のいずれか１項に記載の推奨操作呈示システム。
  10. 　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第１の形状情報に基づいて所定のサイズ以上の逆のの字形状である第１の注目状態情報を演算し、前記操作管理情報として、前記第１の注目状態情報に係る逆のの字形状と前記目標形状情報に係る所定のサイズ未満の逆のの字形状とのサイズの差である第１の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、引く方向である第１の推奨操作方向と、前記第１の操作管理情報に基づく第１の推奨操作量とを含む第１の推奨操作情報を演算し、
    　前記第１の注目状態情報、前記第１の操作管理情報及び前記第１の推奨操作情報が演算された後、
    　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第２の形状情報に基づいて前記所定のサイズ未満の逆のの字又はＮ字形状である第２の注目状態情報を演算し、前記操作管理情報として、前記第２の注目状態情報に係る逆のの字又はＮ字形状と前記目標形状情報に係るＮ字形状との座標の角度の差である第２の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、回転方向である第２の推奨操作方向と、前記第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算し、
    　前記第２の注目状態情報、前記第２の操作管理情報及び前記第２の推奨操作情報が演算された後、
    　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項９に記載の推奨操作呈示システム。
  11. 　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第２の形状情報に基づいて所定のサイズ未満の逆のの字又はＮ字形状である第２の注目状態情報を演算し、前記操作管理情報として、前記第２の注目状態情報に係る逆のの字又はＮ字形状と前記目標形状情報に係るＮ字形状との座標の角度の差である第２の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、回転方向である第２の推奨操作方向と、前記第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算し、
    　前記第２の注目状態情報、前記第２の操作管理情報及び前記第２の推奨操作情報が演算された後、
    　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項９に記載の推奨操作呈示システム。
  12. 　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項９に記載の推奨操作呈示システム。
  13. 　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第４の形状情報に基づいて所定の大きさ以上のαループ又は逆αループ形状である第４の注目状態情報を演算し、前記操作管理情報として、前記第４の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る所定の大きさ未満のαループ又は逆αループ形状とのサイズの差である第４の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、引く方向である第４の推奨操作方向と、前記第４の操作管理情報に基づく第４の推奨操作量とを含む第４の推奨操作情報を演算し、
    　前記第４の注目状態情報、前記第４の操作管理情報及び前記第４の推奨操作情報が演算された後、
    　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第５の形状情報に基づいてαループ又は逆αループ形状である第５の注目状態情報を演算し、前記操作管理情報として、前記第５の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第５の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、回転方向である第５の推奨操作方向と、前記第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する、請求項９に記載の推奨操作呈示システム。
  14. 　前記注目状態・操作管理情報演算部は、
    　前記注目状態情報として、前記挿入部形状検出部が検出した第５の形状情報に基づいて所定の大きさ未満のαループ又は逆αループ形状である第５の注目状態情報を演算し、前記操作管理情報として、前記第５の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第５の操作管理情報を演算し、
    　前記推奨操作演算部は、
    　前記推奨操作情報として、回転方向である第５の推奨操作方向と、前記第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する、請求項９に記載の推奨操作呈示システム。
  15. 　前記第５の注目状態情報が、前記挿入部の交差部において挿入部先端側が上側にあるαループ又は挿入部先端側が下側にある逆αループのとき、前記回転方向は右捻り方向であり、
    　前記第５の注目状態情報が、前記挿入部の交差部において挿入部先端側が下側にあるαループ又は挿入部先端側が上側にある逆αループのとき、前記回転方向は左捻り方向である、請求項１４に記載の推奨操作呈示システム。
  16. 　前記注目状態情報は、
    　前記挿入部がαループ、裏αループ、逆αループ、逆裏αループ、Ｎ字形状、逆のの字形状を含むループを形成しているか否か、及び、前記ループの面積、周囲、幅を含むサイズと、
    　前記挿入部先端の移動量と、
    　挿入量に対する前記挿入部先端の移動量の割合と、の少なくとも１つである、請求項１乃至８のいずれか１項に記載の推奨操作呈示システム。
  17. 　前記推奨操作参照データを記憶している記憶部を有し、
    　前記参照データ取得部は、前記記憶部から、前記推奨操作参照データを取得する、請求項１乃至１６のいずれか１項に記載の推奨操作呈示システム。
  18. 　前記操作管理情報は、前記挿入部の挿抜操作量、回転操作量、アングル操作量、送気、送水、吸引、患者体位、用手圧迫、挿入部の剛性の少なくとも１つである、請求項１乃至１７のいずれか１項に記載の推奨操作呈示システム。
  19. 　前記出力情報処理部は、前記推奨操作情報を、棒グラフと円グラフとの少なくとも１つで表示するための処理を行う、請求項１乃至１８のいずれか１項に記載の推奨操作呈示システム。
  20. 　前記注目状態情報に基づいて前記挿入機器の操作者の操作技能レベルである操作者レベルを判断する操作者レベル判定部をさらに有し、
    　前記出力情報処理部は、前記操作者レベルに基づいて出力内容を変更する、請求項１乃至１９のいずれか１項に記載の推奨操作呈示システム。
  21. 　前記操作者レベルは、操作者による一連の挿入操作中に発生している注目状態情報の種類、回数、発生時間、発生箇所、被検体の状態の少なくとも１つに基づいて、又は、操作者の予め設定された過去の挿入履歴データに基づいて判断される、請求項２０に記載の推奨操作呈示システム。
  22. 　前記注目状態情報に基づいて被挿入体の挿入難易度を判断する挿入難易度判定部をさらに有し、
    　前記出力情報処理部は、前記挿入難易度に基づいて出力内容を変更する、請求項１乃至１９のいずれか１項に記載の推奨操作呈示システム。
  23. 　前記挿入難易度は、操作者による一連の挿入操作中に発生している前記注目状態情報の種類、回数、発生時間、発生箇所、被挿入体の状態の少なくとも１つに基づいて、又は、被挿入体の予め設定された過去の挿入操作履歴データに基づいて判断される、請求項２２に記載の推奨操作呈示システム。
  24. 　前記挿入部は、撮像部を有し、
    　前記出力情報処理部は、前記注目状態情報と前記推奨操作情報との少なくとも一方を、前記撮像部が撮像した画像に重畳して表示させる、あるいは重畳して一時的に表示させる、請求項１乃至２３のいずれか１項に記載の推奨操作呈示システム。
  25. 　前記出力情報処理部は、前記注目状態情報と前記推奨操作情報との少なくとも一方を、動画で表示する、請求項１乃至２３のいずれか１項に記載の推奨操作呈示システム。
  26. 　前記出力情報処理部は、事前に設定した時間以上、前記推奨操作情報を表示させる、請求項１乃至２５のいずれか１項に記載の推奨操作呈示システム。
  27. 　前記出力情報処理部は、前記推奨操作情報を出力する対象の注目状態の発生時間が、事前に設定した時間以下であれば、前記推奨操作情報を表示させない、請求項１乃至２５のいずれか１項に記載の推奨操作呈示システム。
  28. 　前記出力情報処理部は、前記推奨操作情報を出力する要因となった前記注目状態情報に係る注目状態の発生後、所定の設定時間は前記推奨操作情報を出力せず、前記設定時間の経過後に前記注目状態が継続していたときに、前記推奨操作情報を出力する、請求項２７に記載の推奨操作呈示システム。
  29. 　前記挿入部は、撮像部を有し、
    　前記推奨操作演算部は、前記注目状態情報とともに前記撮像部が撮像した画像情報とに基づいて、前記推奨操作情報を判断する、請求項１乃至２３のいずれか１項に記載の推奨操作呈示システム。
  30. 　前記挿入機器は、内視鏡であり、前記挿入部は、前記内視鏡の可撓管部である、請求項１乃至２９のいずれか１項に記載の推奨操作呈示システム。
  31. 　被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部と、
    　前記挿入部の少なくとも一部の形状に係る形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報と、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、
    　推奨する挿入操作の挿入方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算する推奨操作演算部であって、前記推奨操作方向は、前記注目状態情報と、前記操作方向とに基づいて演算し、前記推奨操作量は、少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、
    　前記推奨操作情報を含む情報を出力する出力情報処理部と、を具備する、推奨操作呈示制御装置。
  32. 　被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得し、
    　前記挿入部の少なくとも一部の形状に係る形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報と、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算し、
    　前記注目状態情報と前記操作方向とに基づいて、推奨する挿入操作の挿入方向である推奨操作方向と、少なくとも前記操作管理情報に基づいて、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算し、
    　前記推奨操作情報を含む情報を出力する、推奨操作呈示制御方法。
PCT/JP2017/046421 2017-12-25 2017-12-25 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法 WO2019130390A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019561402A JP6957645B2 (ja) 2017-12-25 2017-12-25 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法
PCT/JP2017/046421 WO2019130390A1 (ja) 2017-12-25 2017-12-25 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法
CN201780097659.5A CN111465340B (zh) 2017-12-25 2017-12-25 推荐操作呈现系统、推荐操作呈现控制装置以及推荐操作呈现控制方法
US16/909,050 US20200352411A1 (en) 2017-12-25 2020-06-23 Recommended operation presentation system, recommended operation presentation control device, and recommended operation presentation control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046421 WO2019130390A1 (ja) 2017-12-25 2017-12-25 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/909,050 Continuation US20200352411A1 (en) 2017-12-25 2020-06-23 Recommended operation presentation system, recommended operation presentation control device, and recommended operation presentation control method

Publications (1)

Publication Number Publication Date
WO2019130390A1 true WO2019130390A1 (ja) 2019-07-04

Family

ID=67066736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046421 WO2019130390A1 (ja) 2017-12-25 2017-12-25 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法

Country Status (4)

Country Link
US (1) US20200352411A1 (ja)
JP (1) JP6957645B2 (ja)
CN (1) CN111465340B (ja)
WO (1) WO2019130390A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021049475A1 (ja) * 2019-09-10 2021-03-18
WO2021180043A1 (zh) * 2020-03-09 2021-09-16 陈阶晓 内视镜图像校正系统及其方法
WO2023037413A1 (ja) * 2021-09-07 2023-03-16 オリンパス株式会社 データ取得システムおよびデータ取得方法
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体
EP4133988A4 (en) * 2020-04-09 2024-04-17 Nec Corp ENDOSCOPE INSERTION ASSISTANCE DEVICE, METHOD, AND NON-TEMPORARY COMPUTER-READABLE MEDIUM ON WHICH A PROGRAM IS STORED

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369999A (zh) * 2020-11-13 2021-02-19 大连明升科技发展有限公司 医用内窥镜诊疗预警系统
US20230372673A1 (en) * 2022-05-20 2023-11-23 Boston Scientific Scimed, Inc. Visual interface for motorized endoscope control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288822A (ja) * 2005-04-12 2006-10-26 Olympus Medical Systems Corp 内視鏡形状検出装置および内視鏡システム
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
WO2014129436A1 (ja) * 2013-02-21 2014-08-28 オリンパス株式会社 被検体挿入システム
WO2016098255A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757557B1 (en) * 1992-08-14 2004-06-29 British Telecommunications Position location system
JP4274854B2 (ja) * 2003-06-06 2009-06-10 オリンパス株式会社 内視鏡挿入形状解析装置
EP1504712B1 (en) * 2002-10-29 2009-12-02 Olympus Corporation Endoscope information processor and processing method
JP4789545B2 (ja) * 2005-08-25 2011-10-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析装置
WO2008059636A1 (fr) * 2006-11-13 2008-05-22 Olympus Medical Systems Corp. Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant
JP4896264B2 (ja) * 2009-08-26 2012-03-14 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8672837B2 (en) * 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
JP6108812B2 (ja) * 2012-12-17 2017-04-05 オリンパス株式会社 挿入装置
US20150351608A1 (en) * 2013-01-10 2015-12-10 Ohio University Method and device for evaluating a colonoscopy procedure
US9681919B2 (en) * 2014-07-09 2017-06-20 Neil Glossop Systems, methods, and devices for assisting or performing guided interventional procedures using custom templates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288822A (ja) * 2005-04-12 2006-10-26 Olympus Medical Systems Corp 内視鏡形状検出装置および内視鏡システム
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
WO2014129436A1 (ja) * 2013-02-21 2014-08-28 オリンパス株式会社 被検体挿入システム
WO2016098255A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021049475A1 (ja) * 2019-09-10 2021-03-18
WO2021049475A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御方法及びプログラム
WO2021180043A1 (zh) * 2020-03-09 2021-09-16 陈阶晓 内视镜图像校正系统及其方法
EP4133988A4 (en) * 2020-04-09 2024-04-17 Nec Corp ENDOSCOPE INSERTION ASSISTANCE DEVICE, METHOD, AND NON-TEMPORARY COMPUTER-READABLE MEDIUM ON WHICH A PROGRAM IS STORED
WO2023037413A1 (ja) * 2021-09-07 2023-03-16 オリンパス株式会社 データ取得システムおよびデータ取得方法
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体

Also Published As

Publication number Publication date
CN111465340A (zh) 2020-07-28
JPWO2019130390A1 (ja) 2020-12-17
JP6957645B2 (ja) 2021-11-02
US20200352411A1 (en) 2020-11-12
CN111465340B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
WO2019130390A1 (ja) 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法
JP4153963B2 (ja) 内視鏡挿入形状検出装置
CN110769737B (zh) 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
EP2888991A1 (en) Endoscope system
US20210022585A1 (en) Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program
US11000180B2 (en) Flexible tube insertion apparatus
JP6033444B2 (ja) ロボット支援型手術システムとその作動方法
JP2006288775A (ja) 内視鏡手術支援システム
US10085705B2 (en) Medical observation system
WO2019003272A1 (ja) 可撓管挿入装置、挿入制御装置及び挿入制御プログラム
US10517461B2 (en) Flexible tube insertion apparatus
WO2019239545A1 (ja) 内視鏡システムおよび挿入部の推進方法
EP3607870B1 (en) Endoscope shape display device, and endoscope system
JP5011057B2 (ja) 内視鏡形状解析装置
JP6619456B2 (ja) 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法
CN110913747B (zh) 内窥镜形状显示装置、内窥镜系统
US20220202274A1 (en) Medical system with medical device overlay display
WO2016139752A1 (ja) 可撓管挿入装置
US20230363777A1 (en) Medical system, operation method for medical system, and information storage medium
JP2009082625A (ja) 内視鏡形状解析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019561402

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936703

Country of ref document: EP

Kind code of ref document: A1