WO2018069992A1 - 挿入システム - Google Patents

挿入システム Download PDF

Info

Publication number
WO2018069992A1
WO2018069992A1 PCT/JP2016/080245 JP2016080245W WO2018069992A1 WO 2018069992 A1 WO2018069992 A1 WO 2018069992A1 JP 2016080245 W JP2016080245 W JP 2016080245W WO 2018069992 A1 WO2018069992 A1 WO 2018069992A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
state information
attention
attention state
display
Prior art date
Application number
PCT/JP2016/080245
Other languages
English (en)
French (fr)
Inventor
良 東條
藤田 浩正
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018544620A priority Critical patent/JP6710284B2/ja
Priority to PCT/JP2016/080245 priority patent/WO2018069992A1/ja
Publication of WO2018069992A1 publication Critical patent/WO2018069992A1/ja
Priority to US16/382,454 priority patent/US11602263B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00148Holding or positioning arrangements using anchoring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Definitions

  • This invention relates to the insertion system which has the tubular insertion part inserted in a to-be-inserted body.
  • Patent Document 1 For example, US Patent Application Publication No. 2003/0055317 (hereinafter referred to as Patent Document 1) detects the shape of an insertion part by magnetic shape detection using a coil, and further inserts an insertion part such as a loop shape. A technique is disclosed in which a specific shape is detected and a warning is issued to the operator in accordance with the detected shape.
  • a warning is given to the operator when a specific shape is detected.
  • This warning merely presents the operator with a display or sound that the loop shape has been detected.
  • the operator can grasp the occurrence state of the loop shape only by confirming the shape of the detected insertion portion displayed on the monitor screen.
  • the operator in order to operate the insertion portion and to observe the inserted object, the operator mainly needs to gaze at the screen of the endoscope, and may gaze at the screen showing the shape of the insertion portion. I can't. Therefore, the state of interest that the operator wants to confirm, for example, the state of obstructing the insertion of the insertion section, is recognized only by keeping an eye on the endoscope screen for a short time or without taking the eye off. There is a need for an easy-to-understand method of presenting the attention state. Furthermore, the attention state is not limited to one, and there may be a plurality of cases. In addition, the degree of attention may be different even in one attention state. As described above, there are cases where a method for presenting different attention states is required.
  • the attention state that the operator wants to confirm includes other than the attention state related to the insertion operation as described above.
  • a state of interest related to the insertion object which is a state different from a normal state such as a lesion.
  • the attention state related to such an inserted body cannot be grasped only by a configuration in which the operator can confirm the shape of the insertion portion displayed on the monitor screen as in Patent Document 1.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide an insertion system capable of presenting at least an attention state related to an insertion operation to an operator.
  • An insertion system is an insertion system having a tubular insertion portion that is inserted into an insertion object, and an insertion portion state detection portion that detects state information that is at least a state of the insertion portion.
  • An attention state detection unit that has a threshold value of the state information and detects an attention state including at least an attention state related to an insertion operation of the insertion unit based on a comparison between the state information and the threshold value; and the attention state Based on the detection result of the detection unit, a state information processing unit that performs processing for outputting attention state information representing the contents of the attention state, and information including the attention state information processed by the state information processing unit is output.
  • An output unit is an output unit.
  • the process for detecting at least the attention state related to the insertion operation based on the comparison between the state information and the threshold value, and outputting the attention state information representing the content of the attention state based on the detection result Therefore, it is possible to provide an insertion system capable of presenting at least the attention state related to the insertion operation to the operator.
  • FIG. 1 is a schematic diagram showing a configuration of an endoscope system as an insertion system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a plurality of threshold values for detecting extension, which is one of the attention states.
  • FIG. 3 is a diagram illustrating an example of a plurality of threshold values for detecting buckling which is another one of the attention states.
  • FIG. 4 is a diagram illustrating an example of display on the monitor.
  • FIG. 5 is a diagram illustrating a display example of attention state information in the detailed state information display unit.
  • FIG. 6 is a diagram illustrating another display example of attention state information in the detailed state information display unit.
  • FIG. 7 is a diagram showing still another display example of attention state information in the detailed state information display unit.
  • FIG. 1 is a schematic diagram showing a configuration of an endoscope system as an insertion system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a plurality
  • FIG. 8 is a diagram illustrating another display example of attention state information in the detailed state information display unit.
  • FIG. 9 is a diagram showing still another display example of attention state information in the detailed state information display unit.
  • FIG. 10 is a diagram illustrating another display example of the attention state notification unit.
  • FIG. 11 is a diagram illustrating still another display example of the attention state notification unit.
  • FIG. 12 is a diagram illustrating another display example of the attention state notification unit.
  • FIG. 13 is a diagram showing still another display example of the attention state notification unit.
  • FIG. 14 is a diagram illustrating an example of a captured image area attention state information display unit.
  • FIG. 15 is a diagram illustrating another example of the captured image area attention state information display unit.
  • FIG. 16 is a diagram illustrating an example of the lumen direction display unit.
  • FIG. 17 is a diagram illustrating an example of a cecal arrival information display unit.
  • FIG. 18 is a diagram illustrating an example of a normal state display unit.
  • FIG. 19 is a diagram illustrating various examples of the output unit.
  • FIG. 20 is a diagram illustrating still another example of the output unit.
  • FIG. 21 is a diagram illustrating an example of a display for output selection.
  • FIG. 22 is a schematic diagram showing a configuration of an endoscope system as an insertion system according to the second embodiment of the present invention.
  • FIG. 23 is a diagram illustrating an example of a recommended insertion operation information display unit.
  • FIG. 24 is a diagram illustrating an example of a lesion detection result display unit.
  • FIG. 25 is a diagram illustrating an example of a display for output selection in the second embodiment.
  • FIG. 26 is a schematic diagram showing a configuration of an endoscope system as an insertion system according to the third embodiment of the present invention.
  • a medical endoscope specifically, a colon endoscope
  • the present invention is inserted into a body to be inserted and at least a part thereof is flexible. Any insertion system having an insertion portion can be applied universally.
  • the inserted object is not limited to a human body, and may be an animal or other structure.
  • the present invention can be applied not only to medical endoscopes (upper gastrointestinal endoscope, colonoscope, ultrasonic endoscope, cystoscope, nephroscope, bronchoscope, etc.) but also to catheters, It can also be applied to manipulators, industrial endoscopes, treatment tools, and the like.
  • an endoscope system 10 as a tubular insertion system includes an endoscope scope 12, an endoscope system body 14, a magnetic position detection sensor 16, and the like. And a monitor 18.
  • the endoscope scope 12 includes an elongated insertion portion 20 that is a bending member, an operation portion 22 that is connected to a proximal end portion of the insertion portion 20, and a connection cable that connects the operation portion 22 and the endoscope system main body 14. 24.
  • the endoscope scope 12 is a tubular insertion device that inserts a tubular insertion portion 20 into a body to be inserted, in this embodiment, a human body, more specifically, into a colon lumen.
  • the insertion portion 20 has a distal end hard portion, a bending operation bending portion, and a flexible tube portion from the distal end side to the proximal end side of the insertion portion 20.
  • the distal end hard portion is the distal end portion of the insertion portion 20 and the distal end portion of the endoscope scope 12, and is a hard member.
  • An imaging element 26 (for example, a CCD or the like) that is an imaging unit is built in the hard tip portion.
  • the operation bending portion can be bent in a desired direction by an operator such as a doctor operating an operation knob (not shown) provided in the operation portion 22.
  • the flexible tube portion has a desired flexibility and is bent by an external force. The operator inserts the insertion portion 20 from the entrance of the inserted body, in this embodiment, the anus, and observes the inside of the colon lumen with the imaging element 26 provided at the tip.
  • a transmission coil 28 which is a part of the magnetic position detection sensor 16 is disposed.
  • a plurality of transmitting coils 28 are arranged at different positions in the longitudinal direction of the insertion portion 20 in order to detect the shape of the insertion portion 20. These transmitting coils 28 generate a magnetic field signal when a later-described current flows from the endoscope system main body 14.
  • the magnetic field signals generated by these transmitting coils 28 are detected by the receiving antenna 30 that is a part of the magnetic position detection sensor 16.
  • the receiving antenna 30 is composed of a plurality of receiving coils, and detects a magnetic field signal generated by the transmitting coil 28.
  • the detected magnetic field strength information is input to the endoscope system main body 14.
  • the position of the receiving antenna 30 is fixed in the vicinity of the object to be inserted. It is fixed and installed so as not to move.
  • the endoscope system main body 14 includes a transmission signal generation unit 32, a position / shape calculation unit 34, an attention state detection unit 36, and a state information processing unit 38.
  • the transmission signal generation unit 32, the position / shape calculation unit 34, the attention state detection unit 36, and the state information processing unit 38 may each be configured by individual hardware circuits, or several may be combined into one piece of hardware. It may be configured as a circuit.
  • a software program for causing the computer processor to function as the transmission signal generation unit 32, the position / shape calculation unit 34, the attention state detection unit 36, and / or the state information processing unit 38 is prepared in a memory (not shown).
  • the processor may execute at least one function of each unit by executing the program.
  • the transmission signal generator 32 is a part of the magnetic position detection sensor 16.
  • the transmission signal generation unit 32 generates a signal for generating a magnetic field from each transmission coil 28 of the endoscope scope 12, for example, a sine wave current.
  • the generated signals are output in the order determined for each of the plurality of transmitting coils 28, for example, in order from the transmitting coil 28 on the distal end side of the insertion portion 20.
  • FIG. 1 only one wiring is shown for simplification of the drawing, but two wirings per one transmission coil 28 are connected from the transmission signal generation unit 32 to the inside of the endoscope scope 12. It is inserted.
  • the transmission signal generation unit 32 supplies output timing information indicating to which transmission coil 28 the signal is currently being output to the position / shape calculation unit 34.
  • the position / shape calculation unit 34 functions as an insertion unit state detection unit that detects state information that is at least a part of the state of the insertion unit 20.
  • the position / shape calculation unit 34 is connected to the magnetic position detection sensor 16. That is, the position / shape calculation unit 34 is connected to the reception antenna 30 and the transmission signal generation unit 32.
  • the position / shape calculation unit 34 is also connected to the attention state detection unit 36.
  • the position / shape calculation unit 34 calculates position information of each transmission coil 28 based on the magnetic field strength information input from the reception antenna 30 and the output timing information supplied from the transmission signal generation unit 32. Then, the position / shape calculation unit 34 acquires the obtained position information of the plurality of transmitting coils 28 as the shape information of the insertion unit 20.
  • the position / shape calculation unit 34 may interpolate the position information of the plurality of transmitting coils 28 by spline processing or the like, if necessary, and acquire the result as shape information.
  • the position information and / or the shape information indicates a part of the insertion unit 20 where the transmission coil 28 is disposed, that is, a state of at least a part of the insertion unit 20.
  • the position information and / or shape information is referred to as state information.
  • the position / shape calculation unit 34 outputs the state information obtained in this way to the attention state detection unit 36.
  • the attention state detection unit 36 has a threshold value related to the state information of the insertion unit 20, compares the state information of the insertion unit 20 input from the position / shape calculation unit 34 with the threshold value, and based on the comparison result Then, the occurrence of the attention state and the position where the occurrence occurred are detected, which is a state in which insertion of the insertion portion 20 is prevented.
  • the attention state detection unit 36 detects, for example, the following states as attention states.
  • Loop Detects a state where the insertion portion 20 is in a loop shape. If necessary, the type of loop ( ⁇ loop, ⁇ loop, N loop) and the overlapping state (vertical positional relationship) of the insertion unit 20 are also detected.
  • the force applied to the intestine by the insertion portion 20 is detected.
  • the force applied to the insertion portion 20, that is, the force applied to the intestine is detected from the known rigidity of the insertion portion 20 and the change in the shape of the insertion portion 20.
  • the attention state detection unit 36 may have a plurality of thresholds for the same attention state and calculate the attention level of the attention state.
  • FIG. 2 is an example in which the extension state is detected by a plurality of threshold values.
  • First to third threshold values are provided for the distance inserted in a state where the operation bending portion is bent, which is one of the parameters for detecting extension.
  • the distance in this case is determined by, for example, position information of the transmitting coil 28 in the vicinity of the apex of the curve.
  • the attention state detection unit 36 determines that the extension has been canceled.
  • FIG. 3 shows an example in which buckling detection is detected with a plurality of threshold values.
  • a total of three threshold values are provided for the bending amount of the insertion portion 20.
  • the amount of bending is determined from, for example, position information of a plurality of adjacent transmitting coils 28, that is, shape information.
  • the attention state detection unit 36 does not buckle if the bending amount is less than the first threshold value, weak buckling if the bending amount exceeds the first threshold value, and if the bending amount exceeds the second threshold value.
  • Medium buckling, if it exceeds the third threshold it is judged as strong buckling.
  • the attention state detection unit 36 determines that the buckling is moderate if the third threshold value is exceeded after exceeding the third threshold value, and is weak buckling if the second threshold value or less is subsequently reached. to decide. And if it becomes below 1st threshold value further, the attention state detection part 36 will determine with buckling having been cancelled
  • the attention state detection unit 36 outputs the state information input from the position / shape calculation unit 34, the detected attention state and its position, and, if necessary, the degree of attention to the state information processing unit 38.
  • the state information processing unit 38 performs image processing for displaying and outputting the state information input from the attention state detection unit 36 on the monitor 18. Further, based on the attention state detected by the attention state detection unit 36 and its position (and the degree of attention), image processing for displaying and outputting attention state information representing the contents of the attention state on the monitor 18 is performed. Further, the state information processing unit 38 receives an image signal from the image sensor 26 that images the inside of the colon lumen, performs general image processing on the image signal, and generates an endoscopic image. Then, the state information processing unit 38 generates a display image including the state information, the attention state information, and the endoscopic image, and outputs the display image to the monitor 18.
  • the monitor 18 which is one of the output units is, for example, a liquid crystal display in which an input unit such as a touch panel is arranged on a display screen.
  • the monitor 18 displays an endoscopic image, and also displays state information and attention state information.
  • the operator views the display screen of the monitor 18 to observe the inside of the large intestine lumen and the insertion unit 20. You can know the state.
  • various setting screens of the endoscope system 10 are displayed on the monitor 18, and various settings can be performed by a touch panel operation.
  • a dedicated input device may be provided separately.
  • the endoscope system 10 includes an air supply mechanism for releasing a gas such as air or carbon dioxide from the distal end of the insertion portion 20 into the colon lumen, and the distal end of the insertion portion 20.
  • An inhalation mechanism for aspirating the gas in the colon lumen a water absorption mechanism for aspirating the liquid in the colon lumen from the distal end of the insertion portion 20, an illumination mechanism for illuminating the field of view of the image sensor 26, and the like Yes.
  • the endoscope scope 12 includes a forceps channel for inserting a treatment tool such as forceps from the operation section 22 side to the distal end portion of the insertion section 20.
  • FIG. 4 is a diagram showing an example of display of an endoscopic image, state information, and attention state information on the display screen 18A with a touch panel of the monitor 18.
  • the output part which displays and outputs state information and attention state information
  • the monitor 18 and the display device as the display unit for displaying the endoscopic image may be configured separately.
  • a dedicated image processing unit that performs general image processing on the image signal from the image sensor 26 and generates an endoscopic image may be provided.
  • Endoscopic image 40, detailed state information display unit 42, attention state notification unit 44, and state information explanation unit 46 are displayed on display screen 18A with a touch panel.
  • the endoscopic image 40 and the detailed state information display unit 42 are displayed side by side as a window, and the attention state notification unit 44 is displayed therebetween.
  • the state information explanation part 46 is displayed on the upper left of the detailed state information display part 42.
  • the state information processing unit 38 performs image processing for performing such display, generates a display image, and supplies the display image to the monitor 18 so that the monitor 18 displays the display image. Details of the display image will be described below.
  • the detailed state information display unit 42 is a part that displays the attention state information 48 in association with the position where the attention state has occurred. Specifically, the detailed state information display unit 42 includes attention state information 48 associated with the state information 50 that is the shape of the insertion unit 20 detected by the position / shape calculation unit 34 using the magnetic position detection sensor 16. Is displayed. This association will be described later with reference to FIGS. Further, the detailed state information display unit 42 draws the shape 52 of the human body that is the inserted body and the medical part 54 of the human body with respect to the shape 52 of the human body, for example, the groove and the diaphragm. The positional relationship with the human body can be determined.
  • FIG. 5 shows an example in which the attention state information 48 is displayed by changing the color of the range in which the attention state occurs in the shape of the insertion unit 20 that is the state information 50.
  • the degree of attention of the deflection calculated by the attention state detection unit 36 comparing with a plurality of thresholds, that is, the amount of bending of the insertion unit 20 in which the deflection occurs, the color of the portion where the deflection has occurred is changed. Change the color from yellow to orange to red.
  • the operator can know the location where the insertion portion 20 is bent and the amount of bending.
  • the density, transparency, or brightness of the range in which the attention state is generated may be changed with respect to a portion other than the range in which the attention state has occurred instead of the color. .
  • FIG. 6 shows a character (in this example, “deformation”) that indicates a state where the attention state is generated in the shape of the insertion portion 20 that is the state information 50 and explains what the state of attention is. ) Is an example in which attention state information 48 is displayed.
  • FIG. 7 is an example in which attention state information 48 is displayed as an arrow in the shape of the insertion portion 20 that is the state information 50.
  • the magnitude of the force applied to the intestine by the insertion unit 20 is displayed by the size and length of an arrow.
  • the direction in which the force is applied is displayed in the direction of the arrow.
  • the color may be changed according to the magnitude of the force.
  • FIG. 8 is an example in which attention state information 48 is displayed by blinking a portion where the attention state has occurred in the shape of the insertion unit 20 that is the state information 50.
  • the blinking speed may be further changed according to the degree of attention.
  • the attention state information 48 may be displayed by displaying the locus of the shape of the insertion portion 20 as the state information 50.
  • the locus of the shape of the insertion portion 20 may change color according to the degree of attention of extension, that is, the amount of insertion in which the insertion portion 20 is inserted in the state where the extension has occurred. Since the shape and position of the insertion portion 20 can be compared with the past, the change in the state of the insertion portion 20 can be easily understood, and it can be known that the extension has occurred.
  • the display of the attention state information 48 is erased when the attention state ends, for example, when the insertion portion 20 is removed and the extension state is released.
  • the display erasing timing is not limited to this, and may be changed as necessary. For example, even after the extraction operation is performed by extension, the display may be continued for a certain time or a certain insertion / extraction length.
  • the state information explanation part 46 is a part for displaying the explanation of the attention state information 48 displayed on the detailed state information display part 42.
  • the example of FIG. 4 shows an explanation of the color change of “yellow ⁇ orange ⁇ red” of deflection, that yellow has a small deflection amount (low deflection degree) and red has a large deflection degree (high deflection degree). Note that the state information explanation unit 46 is not always necessary, and can be omitted in the case where characters are displayed as shown in FIG.
  • the attention state notification unit 44 displays detailed state information to the operator who is viewing the endoscopic image 40 when the attention state occurs, that is, when the state of the insertion unit 20 is to be notified to the operator. This is a part for performing display for prompting the user to see the part 42.
  • the attention state notification unit 44 is arranged near the periphery of the endoscopic image 40.
  • the vicinity of the periphery of the endoscopic image 40 refers to a range that enters the visual field of the operator when the operator is gazing at the endoscopic image 40.
  • the attention state notification unit 44 is displayed in the form of an arrow indicating the detailed state information display unit 42 between the endoscopic image 40 and the detailed state information display unit 42.
  • the attention state notification unit 44 entering the operator's field of view notifies the operator of the occurrence of the attention state, so that the operator can recognize that the attention state has occurred. It can be confirmed by looking at the detailed status information display unit 42 as necessary. Since the operator recognizes the attention state and knows the cause that prevents the insertion, it helps to determine the method of the insertion operation, and the insertion property of the insertion unit 20 is improved.
  • the attention state notification unit 44 is not limited to the method of lighting the arrow as shown in FIG. 4 as long as the operator who is gazing at the endoscopic image 40 can notice that the attention state has occurred.
  • the attention state notification unit 44 may display an LED that lights in the vicinity of the periphery of the endoscopic image 40 as shown in FIG. 10, or the endoscopic image 40 may be displayed as shown in FIG. The surrounding color may be changed, or it may be displayed as characters as shown in FIG.
  • the attention state notification unit 44 is not limited to being arranged in the vicinity of the periphery of the endoscopic image 40, and the attention state notification unit 44 is displayed so as to overlap the endoscope image 40 as shown in FIG. It doesn't matter. In this case as well, not only arrows but also other figures and characters may be displayed. Since the operator usually performs the operation while looking at the endoscopic image 40, the attention state notification unit 44 is displayed so as to overlap the endoscopic image 40 in this manner, so that the operator can recognize that the attention state has occurred. , Can be recognized more reliably. Further, when the attention state notification unit 44 is displayed so as to overlap the endoscopic image 40, the attention state notification unit 44 may display a translucent display so that a part of the endoscope image 40 is not seen.
  • the attention state information is not limited to the information displayed on the detailed state information display unit 42.
  • a captured image area attention state information display unit 56 that simply displays attention state information in association with the position of the insertion unit 20 is provided with an endoscope. It may be displayed around the image 40. That is, the state information processing unit 38 generates a display image including such a captured image area attention state information display unit 56 in addition to the endoscopic image 40, the attention state information 48, and the state information 50, and displays with a touch panel. It can output to the screen 18A.
  • the captured image area attention state information display unit 56 is displayed as a shape that simply simulates the large intestine around the endoscope image 40.
  • the captured image area attention state information display unit 56 may perform an insertion amount display 58 of the insertion unit 20 represented by a color or an attention state display 60 indicating that an attention state has occurred.
  • the abbreviations 62 P (Proctodeum), S (Sigmoid colon), D (Descending colon), T (Transverse colon)) are used so that the part of the large intestine can be understood with respect to a shape that simply simulates the large intestine. , A (Ascending colon), C (Cecum)).
  • a name may be written or shown in the figure.
  • the attention state display 60 is displayed at a position corresponding to the position in the longitudinal direction in the insertion amount display 58 of the insertion unit 20, so that the operator can know at which position of the insertion unit 20 the attention state occurs. it can.
  • the captured image area attention state information display unit 56 does not necessarily have a shape that simply simulates the large intestine. As shown in FIG. The attention state display 60 may be performed.
  • the detailed state information display unit 42 and the captured image area attention state information display unit 56 may both be displayed as necessary, or only one of them may be displayed.
  • the attention state display 60 of the photographed image area attention state information display section 56 is also color, density, transparency, brightness, character, according to the degree of attention. , Graphics, and / or blinking may be changed.
  • a lumen direction display unit 64 indicating the extending direction of the colon lumen in the endoscopic image 40 may be displayed. That is, the state information processing unit 38 detects the extending direction of the colon lumen by, for example, discriminating light and dark by analyzing the image signal captured by the image sensor 26. Alternatively, the state information processing unit 38 detects the extending direction of the large intestine lumen from the shape of the large intestine given as the foresight information, the shape of the insertion unit 20 and the amount of insertion.
  • the state information processing unit 38 generates a display image including such a lumen direction display unit 64 in addition to the endoscopic image 40, the attention state information 48, and the state information 50 based on the detection result, 18 can be output.
  • a state where the extending direction of the colon lumen deviates from the endoscope screen that is, in a state where the imaging element 26 is imaging the inner wall instead of the back side of the large intestine, in which direction the insertion unit 20 proceeds. Whether the bending operation of the insertion portion 20 by the operation portion 22 is performed depends on the operator's sense and past experience.
  • a cecal arrival information display unit 66 indicating information regarding cecal arrival may be displayed.
  • the information regarding the arrival of the cecum is, for example, whether the cecum has been reached or not yet reached, and when it has reached, the time from the start of insertion to the arrival. That is, the state information processing unit 38 detects whether or not the cecum has been reached by analyzing the image signal captured by the image sensor 26. Alternatively, the state information processing unit 38 may estimate that the cecum has been reached from the shape of the large intestine given as the foresight information and the shape of the insertion unit 20.
  • the state information processing unit 38 generates a display image including the cecal arrival information display unit 66 in addition to the endoscopic image 40, the attention state information 48, and the state information 50 based on the detection result, and 18 can be output.
  • the cecum was taken as an example, it is not necessary to be limited to this, and the arrival information to be displayed may be changed as appropriate according to a specific part of the insertion object.
  • the insertion portion 20 is normally inserted, that is, in a state of approaching the cecum, or a state in which an excessive load is not applied to the intestine.
  • the normal state display unit 68 may be displayed. That is, the attention state detection unit 36 further detects a normal insertion state in which the insertion unit 20 is normally inserted, and the state information processing unit further detects the normal insertion state in response to the detection of the normal insertion state.
  • a display image including a normal state display unit 68 indicating information can be generated and output to the monitor 18. With such a normal state display unit 68, the operator can recognize that there is no problem in the operation of the endoscope scope 12.
  • the attention state information and the state information may be transmitted to the operator using another output unit.
  • an earphone 72 worn by an operator 70 is used to convey attention state information by sound. it can.
  • the state information processing unit 38 changes the type and volume of the sound output from the speaker of the earphone 72 according to the content and the degree of attention of the attention state that has occurred, so The operator 70 can easily know whether it has occurred.
  • the earphone 72 is used as an example of sound output.
  • a speaker installed in a room where the endoscope system 10 is installed may be used.
  • the eye state information may be transmitted by light or vibration using a spectacle-type monitor 74 or a vibration generator 76 which is an example of a wearable terminal worn by the operator 70.
  • the state information processing unit 38 changes the type and intensity of light and vibration according to the content and attention level of the generated attention state.
  • a vibration generator 76 such as a piezoelectric element and a scent generator 78 may be disposed on the operation unit 22 of the endoscope scope 12 so that attention state information is transmitted by vibration or scent.
  • the state information processing unit 38 changes the type and intensity of vibration and scent according to the content and attention level of the generated attention state.
  • a projector 82 can be used as an output unit separate from the display device 80 which is a display unit for displaying the endoscopic image 40.
  • the attention state information and the state information may be displayed on the body of the patient 84 that is the insertion object by projection mapping. Thereby, the position of the insertion part 20 with respect to the patient 84 and the position of the attention state can be easily understood.
  • the operator may be able to change settings related to the output of the shape that is the attention state information 48 and the state information 50.
  • a setting screen related to output is displayed on a display screen 18A with a touch panel of the monitor 18, and output information is selected and specified on the touch panel as an input unit.
  • the display of the shape and attention state information 48 can be specified as output information.
  • the attention state information 48 can individually turn on / off extension, buckling, and the like.
  • the attention state information 48 may be set so that the operator can easily detect the attention state information 48 or make it difficult to detect the attention state information 48.
  • the output unit to be used may be selected. Moreover, you may enable it to set the magnitude
  • the output information and the output unit may be selected by another input unit such as a mouse instead of the touch panel of the display screen 18A with the touch panel of the monitor 18.
  • another input unit such as a mouse
  • an input unit such as a physical switch that can be input by the operator may be used.
  • the selection designation result by such an input unit is input to the state information processing unit 38, and the state information processing unit 38 performs a process for outputting the output information specified to be ON, Then, the processed output information is supplied and output from there. Further, the state information processing unit 38 outputs the detection sensitivity for the output information designated to be ON to the attention state detection unit 36, and the attention state detection unit 36 sets the threshold value of the state information according to the detection tube designation. adjust.
  • the endoscope system 10 as the insertion system is a position / shape calculation unit as an insertion unit state detection unit that detects state information that is a state of at least a part of the insertion unit 20. 34, a state information threshold value, and based on a comparison between the state information and the threshold value, the attention state detection unit 36 that detects a state of attention including at least the attention state related to the insertion operation of the insertion unit 20, and attention state detection Based on the detection result of the unit 36, a state information processing unit 38 that performs processing for outputting attention state information representing the contents of the attention state, and information including attention state information 48 processed by the state information processing unit 38 is output.
  • An output unit such as a monitor 18, an earphone 72, a glasses-type monitor 74, a vibration generator 76, a scent generator 78, and a projector 82. Therefore, at least the attention state related to the insertion operation is detected based on the comparison between the state information and the threshold value, and processing for outputting attention state information representing the contents of the attention state is performed based on the detection result. Therefore, it is possible to provide an insertion system capable of presenting at least the attention state related to the insertion operation to the operator 70. Since the operator 70 can recognize at least attention state information related to the insertion operation of the insertion unit 20, the operator 70 can understand the cause of hindering insertion of, for example, extension or deflection, which is one of the attention state information.
  • the position / shape calculation unit 34 detects the position of the insertion unit 20 which is one of the state information
  • the attention state detection unit 36 further determines the position of the insertion unit 20 where the attention state has occurred.
  • the state information processing unit 38 detects the detailed state information display unit 42 that displays the attention state information 48 in association with the position of the insertion unit 20 as a monitor serving as an output unit. 18 or a process for displaying on the projector 82 is performed. Therefore, with the configuration as in the present embodiment, the attention state information 48 can be presented to the operator 70 in an easily understandable manner.
  • the state information processing unit 38 based on the attention state information, the presence / absence of colors, characters, graphics, and blinking at the position where the attention state of the insertion unit 20 displayed on the detailed state information display unit 42 occurs.
  • a process for displaying the detailed state information display unit 42 that displays the attention state information 48 by changing at least one of the monitor 18 and the projector 82 is performed.
  • the operator 70 can obtain the state information and attention of the insertion unit 20.
  • the status information 48 can be provided in an easily understandable manner. That is, by displaying the shape of the insertion unit 20 and changing the display state of the position of the insertion unit 20 where the attention state has occurred, the operator 70 can change the position on the insertion unit 20 where the attention state has occurred. Can be grasped.
  • the state information 50 detected by the position / shape calculation unit 34 includes at least a part of the shape of the insertion unit 20, and the state information processing unit 38 determines at least a part of the insertion unit 20 based on the attention state information.
  • Processing for displaying the detailed state information display unit 42 on the monitor 18 or the projector 82 so as to display the attention state information 48 as a locus of shape change in the shape is performed.
  • the locus of the insertion unit 20 based on the attention state information, it is possible to provide the operator 70 with the state information of the insertion unit 20 and the attention state information 48 in an easy-to-understand manner.
  • the state information 50 detected by the position / shape calculation unit 34 includes at least a part of the shape of the insertion unit 20, and the state information processing unit 38 further converts the shape of the insertion unit 20 to a target shape such as a human body shape 52. You may make it perform the process for displaying on the monitor 18 the said detailed state information display part 42 displayed simultaneously with the shape of an insertion body. Thereby, the positional relationship of the insertion part 20 with respect to the shape of the insertion object can be determined.
  • the inserted object includes a human body such as the patient 84, and the state information processing unit 38 draws the medical part 54 of the human body with respect to the human body shape 52, for example, the groove and the diaphragm.
  • the processing for displaying 42 on the monitor 18 is performed. Thereby, the positional relationship of the insertion unit 20 with respect to the human body of the state information 50 can be determined.
  • the insertion unit 20 includes an imaging element 26 that is an imaging unit, and an image inside the inserted body captured by the imaging element 26 such as an endoscopic image 40 is displayed on the monitor 18 or inserted.
  • the system further includes a display device 80 as a display unit and is displayed on the display device 80. That is, an image inside the inserted body captured by the image sensor 26 can also be displayed together with the attention state information 48.
  • the state information processing unit 38 further changes the attention state information 48 by changing at least one of the color, the character, the figure, and the presence / absence of blinking on or near the image captured by the image sensor 26. You may make it perform the process for displaying the picked-up image area attention state information display part 56 to display on the said monitor 18 or the said display apparatus 80.
  • FIG. thus, by displaying the attention state information 48 in the vicinity of the periphery of the image captured by the image sensor 26 such as the endoscopic image 40 or on the image, the operator 70 can capture the image captured by the image sensor 26.
  • the attention state information 48 can be known while paying attention to the image or without taking a large eye from the image.
  • the attention state detection unit 36 has a plurality of state information threshold values, calculates the attention level of the attention state based on the comparison between the state information and the plurality of threshold values, and the state information processing unit 38 determines the attention level. Based on this, the display of the attention state information 48 may be changed. Thereby, the operator 70 can perform an operation related to insertion in consideration of the degree of the state information.
  • the position / shape calculation unit 34 detects the position of the insertion unit 20, which is one of the state information
  • the attention state detection unit 36 detects the position of the insertion unit 20 where the attention state has occurred.
  • the information processing unit 38 displays the captured image area attention state information display unit 56 that displays the attention state display 60 indicating the attention state information in association with the position of the insertion unit 20 on the monitor 18 or the display device 80. You may make it perform the process of. Thereby, the operator 70 can grasp the position on the insertion unit 20 where the attention state is generated.
  • the attention state information further includes information indicating the extending direction of the inserted body in the image captured by the image sensor 26, and the state information processing unit 38 further includes the detection result of the attention state detection unit 36 and the image sensor 26.
  • a process for displaying attention state information including information indicating the extending direction of the insertion object on the monitor 18 or the display device 80 as the lumen direction display unit 64 is performed. May be. Thereby, since the operator 70 knows the direction in which the colon lumen extends, the operator 70 knows the direction in which the operation bending portion of the insertion portion 20 is bent, so that the insertability is improved.
  • the insertion unit 20 includes an imaging element 26 that is an imaging unit, and an image inside the inserted body captured by the imaging element 26 such as an endoscopic image 40 is displayed on the monitor 18 or inserted.
  • the system further includes a display device 80 as a display unit, and the state information processing unit 38 displays the detailed state information display unit 42 on the monitor 18 independently of the image captured by the image sensor 26.
  • a process for displaying the image on the monitor 18 that is separate from the image captured by the image sensor 26 displayed on the display device 80, and further on the image captured by the image sensor 26 or In the vicinity of the image, a process for displaying on the monitor 18 or the display device 80 the attention state notification unit 44 that informs that the attention state information 48 is displayed on the detailed state information display unit 42 is performed.
  • an attention state notification unit 44 causes the operator 70 to be in the attention state even if the operator 70 is paying attention to the endoscope image 40.
  • the detailed state information display unit 42 can confirm the detailed contents of the attention state as necessary.
  • the attention state detection unit 36 further detects a normal insertion state in which the insertion unit 20 is normally inserted, and the state information processing unit 38 further performs detection based on the detection result of the attention state detection unit 36. For example, a process for outputting the normal insertion state information to the output unit as the normal state display unit 68 may be performed.
  • a normal state display unit 68 allows the operator 70 to recognize that there is no problem in the insertion operation of the insertion unit 20.
  • the state information processing unit 38 further performs processing for outputting the description of the attention state information 48 output to the output unit, such as the state information description unit 46, to the output unit. Thereby, the operator 70 can easily grasp the contents of the attention state information 48.
  • the position / shape calculation unit 34 may include the magnetic position detection sensor 16. Thereby, the shape of the insertion portion can be detected as the state information.
  • the monitor 18 further includes an input unit for designating ON / OFF of the output of the attention state information 48 such as a touch panel, a mouse, a physical switch of the display screen 18A with a touch panel, and the state information processing unit 38 includes the attention state.
  • a process for outputting the attention state information 48 may be performed in response to the ON specification of the output of the information 48.
  • the operator 70 can switch the output of attention state information according to the proficiency level and preference of his / her insertion operation.
  • the insertion system may be the endoscope system 10 having the imaging element 26 that is an imaging unit.
  • the insertion system may be an endoscope system for a large intestine having an imaging element 26 as an imaging unit.
  • attention state information is displayed on the monitor 18 as an output unit as a cecum arrival information display unit 66. Whether or not the insertion portion 20 has reached the cecum and at least one of the cecal arrival time can be included. Accordingly, it is possible to present to the operator 70 whether or not the cecum, which is one of important information in the colon endoscope system, has been reached, or the cecal arrival time.
  • an endoscope system 10 as a tubular insertion system includes a transmission signal generator 32, a position / shape calculator 34, In addition to the attention state detection unit 36 and the state information processing unit 38, a recommended insertion operation determination unit 86 and a recording / playback unit 88 are provided. Further, the attention state detection unit 36 includes a lesion detection unit 36A.
  • the recommended insertion operation determination unit 86 and the recording / reproducing unit 88 also have their own hardware, like the transmission signal generation unit 32, the position / shape calculation unit 34, the attention state detection unit 36, and the state information processing unit 38. It may be configured by a circuit, or may be configured as a single hardware circuit by combining several other components. Further, the computer processor is caused to function as the transmission signal generation unit 32, the position / shape calculation unit 34, the attention state detection unit 36, the state information processing unit 38, the recommended insertion operation determination unit 86, and / or the recording / reproduction unit 88.
  • a software program may be prepared in a memory (not shown), and the processor may execute the program so that the processor performs at least one function of each unit.
  • the recommended insertion operation determination unit 86 is a recommended insertion operation method based on at least one of the shape calculated by the position / shape calculation unit 34 and the attention state information 48 detected by the attention state detection unit 36. Determine recommended insertion operation information to advance or improve safety.
  • the recommended insertion operation information includes operations for directing the insertion unit 20 in the extending direction of the inserted body, such as a bending operation by the operation unit 22, a pushing operation of the insertion unit 20, and a pulling operation of the insertion unit 20.
  • the recommended insertion operation information includes an operation of rotating the insertion unit 20 around its longitudinal axis, such as a twisting operation of the insertion unit 20.
  • the recommended insertion operation information includes an air supply operation, an intake operation and / or a water absorption operation inside the inserted body using an air supply mechanism, an intake mechanism and / or a water absorption mechanism.
  • hardness change operation can also be included.
  • recommended insertion operation information is a technique for changing the orientation of a patient 84 that is an inserted body, or a technique for suppressing the insertion portion 20 via the patient 84. A method of not operating the endoscope system 10 may be included.
  • the recommended insertion operation determination unit 86 outputs the determined recommended insertion operation information to the state information processing unit 38 and the recording / playback unit 88.
  • the state information processing unit 38 performs processing for outputting the recommended insertion operation information to the output unit. For example, the state information processing unit 38 performs image processing for displaying recommended insertion operation information on the monitor 18 and outputs the result to the monitor 18. Thereby, on the display screen 18A with a touch panel of the monitor 18, as shown in FIG. 23, a recommended insertion operation information display unit 90 that presents a recommended operation to the operator 70 by a figure or characters is displayed.
  • the recommended insertion operation information is not limited to display, and the recommended insertion operation may be output by voice.
  • the operator 70 can know a specific operation for proceeding with the insertion or improving the safety. That is, insertability and safety are improved.
  • the lesion detection unit 36A detects the presence or absence and position of a lesion, which is attention information regarding the attention state related to the insertion object, as one of the attention state information 48.
  • the lesion detection unit 36A may be provided separately from the attention state detection unit 36.
  • the lesion detection unit 36 ⁇ / b> A detects a lesion by, for example, analyzing an image input from the imaging element 26 that is an imaging unit disposed at the distal end of the insertion unit 20. Image analysis uses pattern and color matching, machine learning, and the like.
  • the lesion detection unit 36 ⁇ / b> A outputs the detected lesion information to the state information processing unit 38 and the recording / reproducing unit 88.
  • the state information processing unit 38 performs image processing for displaying the lesion information on the monitor 18 which is an output unit, and outputs the result to the monitor 18.
  • a lesion detection result display unit 94 indicating the position of the lesion 92 is displayed on the endoscopic image 40 on the display screen 18A with a touch panel of the monitor 18, as shown in FIG.
  • the state information processing unit 38 may count the number of lesions detected by the lesion detection unit 36 ⁇ / b> A and may also perform the lesion number display 96.
  • the state information processing unit 38 performs image processing for displaying the lesion information on the display device 80 that is an output unit. Of course, the result is output to the display device 80.
  • the recording / reproducing unit 88 has a recording medium (not shown). State information detected by the position / shape calculating unit 34 and attention state information detected by the attention state detecting unit 36 (detected by the lesion detecting unit 36A) are recorded on the recording medium. And at least one of the recommended insertion operation information determined by the recommended insertion operation determination unit 86 can be recorded and reproduced. Further, the image at that time may be recorded together with the lesion information. In other words, since the recording at the time of finding the lesion is automatically performed, it is possible to reduce the trouble of the operator 70 and the recording mistake. Information recorded by the recording / reproducing unit 88 can be displayed on the monitor 18 or the display device 80 via the state information processing unit 38.
  • the operator 70 is dedicated to the insertion during the insertion operation of the insertion unit 20, and examines the lesion at the time of removal.
  • the lesion detected during insertion can be easily found and examined at the time of removal. .
  • the possibility of missing a lesion found during insertion is reduced. This can be expected to further improve the lesion detection rate.
  • the operator 70 may be able to change the settings related to the output of the recommended insertion operation information display unit 90 and the lesion detection result display unit 94 (and / or the number of lesions display 96).
  • an output setting screen is displayed on a display screen 18A with a touch panel of the monitor 18, and output information is selected and specified on the touch panel as an input unit.
  • the output information in addition to the information described in the first embodiment, the recommended insertion operation information display unit 90 and the lesion detection result display unit 94 can be designated ON / OFF.
  • the selection designation result by such an input unit is input to the state information processing unit 38, and the state information processing unit 38 performs a process for outputting the output information designated to be ON, and the output unit (ON designation ( For example, the processed output information is supplied to and output from the monitor 18 and the display device 80).
  • the recommended insertion operation determination unit 86 that determines recommended insertion operation information, which is a recommended insertion operation method, based on at least one of state information and attention state information.
  • the status information processing unit 38 further performs processing for outputting recommended insertion operation information to the output unit such as the monitor 18.
  • the operator 70 can know a specific operation for proceeding with the insertion or improving the safety. That is, insertability and safety are improved.
  • the insertion system according to the second embodiment further includes a recommended insertion operation determination unit 86 that determines recommended insertion operation information, which is a recommended insertion operation method, based on at least one of the state information 50 and the attention state information 48.
  • the state information processing unit 38 further performs processing for displaying recommended insertion operation information on the display device 80.
  • the recommended insertion operation information includes an operation for directing the insertion portion 20 in the extending direction of the inserted body, an operation for rotating the insertion portion 20 about its longitudinal axis, and pushing or pulling the insertion portion 20. At least one of the operations.
  • the operator 70 performs an operation for directing the insertion portion 20 in the extending direction of the inserted body, an operation for rotating the insertion portion 20 around its longitudinal axis, and an operation for pushing or pulling the insertion portion 20. You can know which one to do.
  • the insertion system according to the second embodiment can further include a recording / reproducing unit 88 that is a recording unit capable of recording at least one of the state information and the attention state information.
  • a recording / reproducing unit 88 that is a recording unit capable of recording at least one of the state information and the attention state information.
  • the recording / reproducing part 88 which is a recording part which can record at least one of status information, attention state information, and the said recommended insertion operation information.
  • attention state information and recommended insertion operation information By recording attention state information and recommended insertion operation information in this way, it becomes possible to analyze data related to endoscopy, for example, cecal arrival rate, cecal arrival time, insertion operation in difficult insertion examples, Can be used to evaluate medical quality. Also, improving the next endoscopy based on the analysis results leads to an improvement in the quality of medical care.
  • the monitor 18 further includes an input unit for specifying ON / OFF output of at least one of the attention state information and the recommended insertion operation information, such as a touch panel of the display screen 18A with a touch panel, a mouse, and a physical switch.
  • the processing unit 38 performs processing for outputting at least one of the attention state information and the recommended insertion operation information designated as ON. Also good. Thereby, the operator 70 can switch the output of attention state information and recommended insertion operation information according to the proficiency level and preference of his / her insertion operation.
  • the image inside the inserted body taken by the imaging device 26 that is the endoscope image 40 is a monitor that is an output unit.
  • the insertion system further includes a display device 80 that is a display unit, it is displayed on the display device 80, and the attention state detection unit 36 is inserted from the image captured by the image sensor 26.
  • the state information processing unit 38 further includes lesion position information on the image captured by the image sensor 26 based on the detection result of the lesion detection unit 36A.
  • a process for displaying the lesion detection result display unit 94 for displaying on the monitor 18 or the display device 80 is performed. In this way, by detecting the lesion and presenting it to the operator 70, an improvement in the lesion discovery rate can be expected.
  • a recording / reproducing unit 88 that is a recording unit capable of recording at least one of the state information, the attention state information, and the lesion position information may be further provided.
  • the recording at the time of finding the lesion is automatically performed, it is possible to reduce the labor and the recording mistake for the operator 70 to perform the recording.
  • the lesion position detected by the lesion detection unit 36A during the insertion of the insertion unit 20 is recorded, and is extracted while reproducing the position information of the lesion at the time of extraction, thereby further improving the lesion detection rate. Can be expected.
  • recommended insertion operation information that is a recommended insertion operation method is determined based on at least one of state information and attention state information.
  • a display device that further includes a recommended insertion operation determination unit 86 and is displayed on the monitor 18 or an image of the insertion system captured by the imaging element 26 as the endoscopic image 40 or the insertion system is a display unit. 80 is further displayed on the display device 80, and the state information processing unit 38 further performs processing for outputting the recommended insertion operation information to the monitor 18 or the display device 80.
  • the operator 70 performs an operation for directing the insertion portion 20 in the extending direction of the inserted body, an operation for rotating the insertion portion 20 around its longitudinal axis, an operation for pushing or pulling the insertion portion 20, Any of a change in the orientation of the patient 84 as an insertion body, a technique for suppressing the insertion portion 20 through the body of the patient 84, and an air supply, inspiration and / or water absorption operation inside the colon lumen of the patient 84 may be performed. I can know.
  • the position / shape calculation unit 34 detects the state information using the magnetic position detection sensor 16.
  • a sensor other than the magnetic position detection sensor 16 may be used as long as the position and shape of the insertion portion 20 can be detected.
  • a fiber shape sensor can be used, or a plurality of strain sensors can be used in combination.
  • a pressure sensor may be provided in the insertion portion 20 for detection.
  • the imaging element 26 incorporated in the insertion unit 20 is used to detect the direction of the lumen, the insertion / extraction operation, and the like from the captured image, and the operation amount sensor provided in the operation unit 22 is used to curve the insertion unit 20. The shape can be detected.
  • FIG. 26 is a diagram illustrating an overall configuration of the endoscope system 10 in which the fiber shape sensor 98 is incorporated.
  • An endoscope scope 12 including an insertion unit 20 and an operation unit 22 is connected to the endoscope system main body 14 by a connection cable 24.
  • the position / shape calculation unit 34 of the endoscope system main body 14 includes a light source 34A, a light receiving unit 34B such as a light receiving element, and a shape calculation unit 34C.
  • the fiber shape sensor 98 includes an optical fiber 102 provided with a plurality of detected portions 100, a light source 34A and a light receiving portion of the position / shape calculating portion 34. 34B.
  • the detected part 100 is arranged at a part where the shape of the insertion part 20 is to be detected.
  • Light emitted from the light source 34A enters the optical fiber 102, is guided through the optical fiber 102, is reflected by a reflection unit (not shown) provided at the tip of the optical fiber 102, and is guided again through the optical fiber 102.
  • the returned light thus detected is detected by the light receiving unit 34B.
  • the detected part 100 provided in the optical fiber 102 transmits light guided through the optical fiber 102 according to the bending state of the optical fiber 102.
  • the light is emitted toward the outside of 102 or absorbed.
  • the amount of light emitted or absorbed toward the outside of the optical fiber 102 corresponds to the amount of bending of the optical fiber 102.
  • the detected part 100 is processed so as to leak or absorb a light amount corresponding to the bending amount of the optical fiber 102 to the outside of the optical fiber 102.
  • the detected part 100 changes the optical characteristic of the light guided by the optical fiber 102, for example, the amount of light according to the bending state of the insertion part 20.
  • the light receiving unit 34B receives the light incident from the optical fiber 102 and outputs a light reception signal corresponding to the received light amount. That is, the light receiving unit 34B outputs a light reception signal corresponding to the bending magnitude (bending amount) of the insertion unit 20 based on the light reception signal.
  • the shape calculation unit 34C calculates the shape of the insertion unit 20 from the amount of bending of the insertion unit 20 at the position of each detected unit 100 indicated by the light reception signal from the light reception unit 34B, and obtains shape information. This shape information is output to the attention state detection unit 36 as state information.
  • broadband light including a plurality of wavelength components is emitted from the light source 34A, and each detected unit 100 emits or absorbs light having different wavelengths toward the outside.
  • the light emitted from the light source 34A may be narrow band light such as a laser, and each detected unit 100 may perform wavelength conversion to light having different wavelengths.
  • the position / shape calculation unit 34 includes at least one of the fiber shape sensor, the image sensor 26 incorporated in the insertion unit 20, the strain sensor, and the operation amount sensor. Used. As described above, the position / shape calculation unit 34 can detect the state information using a sensor other than the magnetic position detection sensor 16.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

被挿入体に挿入する管状の挿入部(20)を有する挿入システム(10)は、挿入部(20)の少なくとも一部の状態である状態情報を検出する挿入部状態検出部(34)と、状態情報の閾値を有し、状態情報と閾値との比較に基づいて、挿入部(20)の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部(36)と、注目状態検出部(36)の検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部(38)と、状態情報処理部(38)が処理した注目状態情報を含む情報を出力する出力部(18)と、を備える。

Description

挿入システム
 本発明は、被挿入体に挿入する管状の挿入部を有する挿入システムに関する。
 例えば、米国特許出願公開第2003/0055317号明細書(以下、特許文献1と記す。)は、コイルを使った磁気式形状検出によって挿入部の形状を検出し、更に、ループ形状等の挿入部の特定の形状を検出して、その検出した形状に応じて操作者に警告を発生する技術を開示している。
米国特許出願公開第2003/0055317号明細書
 上記特許文献1に開示されている技術では、特定の形状が検出されたとき、操作者に警告が行われる。この警告は単に、ループ形状が検出されたことを、表示や音によって操作者へ呈示するだけのものである。操作者は、この警告の呈示に反応して、モニタ画面に表示されている検出された挿入部の形状を確認するだけで、そのループ形状の発生状態を把握することができる。
 しかしながら、操作者は挿入部の操作を行うため、また、被挿入体を観察するために、主に内視鏡の画面を注視する必要があり、挿入部の形状を示す画面を注視することが出来ない。そのため、操作者が確認したい注目状態、例えば挿入部の挿入を妨げる状態である、挿入操作に係る注目状態を、内視鏡の画面から短時間目を離すだけで、または目を離さずに認識できるような、わかりやすい注目状態の呈示方法が必要である。さらに、注目状態は1つとは限らず、複数の場合もある。また、1つの注目状態でも、注目の度合いが異なる場合がある。このように、異なる注目状態の呈示方法が必要となる場合もある。
 上記特許文献1は、そのような操作者が認識しやすい、注目状態を呈示するための構成については、開示していない。
 また、操作者が確認したい注目状態としては、上記のような挿入操作に係る注目状態以外も存在する。例えば、病変部のような通常状態とは異なる状態である、被挿入体に関わる注目状態がある。このような被挿入体に関わる注目状態についても、上記特許文献1のような操作者がモニタ画面に表示された挿入部形状を確認し得る構成だけでは、操作者は把握することができない。
 本発明は、上記の点に鑑みてなされたもので、少なくとも挿入操作に係る注目状態を操作者へ呈示可能な挿入システムを提供することを目的とする。
 本発明の一態様による挿入システムは、被挿入体に挿入する管状の挿入部を有する挿入システムであって、上記挿入部の少なくとも一部の状態である状態情報を検出する挿入部状態検出部と、上記状態情報の閾値を有し、上記状態情報と上記閾値との比較に基づいて、上記挿入部の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部と、上記注目状態検出部の検出結果に基づいて、上記注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部と、上記状態情報処理部が処理した上記注目状態情報を含む情報を出力する出力部と、を備えている。
 本発明によれば、状態情報と閾値との比較に基づいて少なくとも挿入操作に係る注目状態を検出し、その検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行うようにしているので、少なくとも挿入操作に係る注目状態を操作者へ呈示可能な挿入システムを提供することができる。
図1は、本発明の第1実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。 図2は、注目状態の一つである伸展を検出するための複数の閾値の一例を示す図である。 図3は、注目状態の別の一つである座屈を検出するための複数の閾値の一例を示す図である。 図4は、モニタへの表示の一例を示す図である。 図5は、詳細状態情報表示部における注目状態情報の表示例を示す図である。 図6は、詳細状態情報表示部における注目状態情報の別の表示例を示す図である。 図7は、詳細状態情報表示部における注目状態情報の更に別の表示例を示す図である。 図8は、詳細状態情報表示部における注目状態情報の別の表示例を示す図である。 図9は、詳細状態情報表示部における注目状態情報の更に別の表示例を示す図である。 図10は、注目状態告知部の別の表示例を示す図である。 図11は、注目状態告知部の更に別の表示例を示す図である。 図12は、注目状態告知部の別の表示例を示す図である。 図13は、注目状態告知部の更に別の表示例を示す図である。 図14は、撮影画像エリア注目状態情報表示部の一例を示す図である。 図15は、撮影画像エリア注目状態情報表示部の別の例を示す図である。 図16は、管腔方向表示部の一例を示す図である。 図17は、盲腸到達情報表示部の一例を示す図である。 図18は、正常状態表示部の一例を示す図である。 図19は、出力部の様々な例を示す図である。 図20は、出力部の更に別の例を示す図である。 図21は、出力選択のための表示の一例を示す図である。 図22は、本発明の第2実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。 図23は、推奨挿入操作情報表示部の一例を示す図である。 図24は、病変検出結果表示部の一例を示す図である。 図25は、第2実施形態における出力選択のための表示の一例を示す図である。 図26は、本発明の第3実施形態に係る挿入システムとしての内視鏡システムの構成を示す概略図である。
 以下、本発明を実施するための実施形態を、図面を参照して説明する。
 なお、以下の説明は、医療用の内視鏡、具体的には大腸用軟性内視鏡を例にとるが、本発明は、被挿入体に挿入し、少なくとも一部が可撓性をもつ挿入部を有する挿入システムであれば、汎用的に適用できる。また、被挿入体は人体に限らず、動物や他の構造物でも構わない。例えば、本発明は、医療用内視鏡(上部消化管内視鏡、大腸内視鏡、超音波内視鏡、膀胱鏡、腎盂鏡、気管支鏡、等)以外にも、カテーテルにも、さらには、マニピュレータ、工業用内視鏡、処置具、などにも適用できる。
 [第1実施形態]
 図1に示すように、本発明の第1実施形態に係る管状挿入システムとしての内視鏡システム10は、内視鏡スコープ12と、内視鏡システム本体14と、磁気式位置検出センサ16と、モニタ18と、を有している。
 内視鏡スコープ12は、湾曲部材である細長い挿入部20と、該挿入部20の基端部と連結した操作部22と、該操作部22と内視鏡システム本体14とを接続する接続ケーブル24と、で構成されている。内視鏡スコープ12は、管状の挿入部20を被挿入体、本実施形態では人体、より具体的には大腸管腔内に挿入する管状挿入装置である。
 挿入部20は、挿入部20の先端部側から基端部側に向かって、先端硬質部と、湾曲する操作湾曲部と、可撓管部と、を有している。ここで、先端硬質部は、挿入部20の先端部及び内視鏡スコープ12の先端部であり、硬い部材となっている。この先端硬質部に撮像部である撮像素子26(例えば、CCD等)が内蔵されている。操作湾曲部は、医師などの操作者が操作部22に設けられた不図示の操作ノブを操作することで、所望の方向に湾曲させることが可能になっている。可撓管部は、所望な可撓性を有しており、外力によって曲がる。操作者は、被挿入体の入口、本実施形態では肛門、から挿入部20を挿入し、先端に有する撮像素子26により大腸管腔内部を観察する。
 また、挿入部20内には、磁気式位置検出センサ16の一部である発信コイル28が配置されている。発信コイル28は、用途によっては一つでも構わないが、通常、挿入部20の形状を検出するために、挿入部20の長手方向に異なる位置に複数配置されている。これら発信コイル28は、内視鏡システム本体14から後述する電流が流されると、磁界信号を発生させる。
 これらの発信コイル28で発生された磁界信号は、磁気式位置検出センサ16の一部である受信アンテナ30によって検出される。この受信アンテナ30は、図示しないが複数の受信コイルで構成されており、発信コイル28が発生した磁界信号を検出する。検出した磁界の強度情報は、内視鏡システム本体14に入力される。内視鏡システム本体14で、検出した磁界の強度により各発信コイル28の位置を計算するため、受信アンテナ30は、被挿入体の近傍に位置を固定して、具体的には、部屋やベッドに対して動かないように固定して設置される。
 一方、内視鏡システム本体14は、発信信号生成部32と、位置・形状演算部34と、注目状態検出部36と、状態情報処理部38と、を有している。これら発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38は、それぞれ個別のハードウェア回路で構成されても良いし、幾つかが纏めて一つのハードウェア回路として構成されても良い。また、コンピュータプロセッサを、これらの発信信号生成部32、位置・形状演算部34、注目状態検出部36及び/または状態情報処理部38として機能させるためのソフトウェアプログラムを図示しないメモリ内に準備しておき、そのプログラムをプロセッサが実行することで、それら各部の少なくとも一つの機能をプロセッサが実施するように構成しても構わない。
 発信信号生成部32は、磁気式位置検出センサ16の一部である。この発信信号生成部32は、内視鏡スコープ12の各発信コイル28から磁界を発生させるための信号、例えば正弦波の電流を生成する。生成した信号は、複数の発信コイル28それぞれに決められた順番、例えば挿入部20の先端側の発信コイル28から順番に出力される。なお、図1では、図面の簡略化のために、配線を1本しか示していないが、発信コイル28一つにつき2本の配線が、この発信信号生成部32から内視鏡スコープ12内を挿通されている。また、発信信号生成部32は、現時点にどの発信コイル28に信号を出力しているかを示す出力タイミング情報を位置・形状演算部34に供給する。
 位置・形状演算部34は、挿入部20の少なくとも一部の状態である状態情報を検出する挿入部状態検出部として機能する。この位置・形状演算部34は、磁気式位置検出センサ16に接続されている。すなわち、位置・形状演算部34は、受信アンテナ30と、発信信号生成部32と、に接続されている。また、この位置・形状演算部34は、注目状態検出部36にも接続されている。この位置・形状演算部34は、受信アンテナ30から入力された磁界の強度情報と、発信信号生成部32から供給された出力タイミング情報とに基づいて、各発信コイル28の位置情報を計算する。そして、位置・形状演算部34は、それら求めた複数の発信コイル28の位置情報を、挿入部20の形状情報として取得する。また、位置・形状演算部34は、必要に応じて、それら複数の発信コイル28の位置情報をスプライン処理等により補間し、その結果を形状情報として取得するようにしても良い。このように、位置情報及び/または形状情報は、挿入部20の発信コイル28が配置された部分、つまり挿入部20の少なくとも一部の状態を示すものである。以下、それら位置情報及び/または形状情報を状態情報と称する。位置・形状演算部34は、このようにして求めた状態情報を、注目状態検出部36に出力する。
 注目状態検出部36は、挿入部20の状態情報に係る閾値を有し、位置・形状演算部34から入力された挿入部20の状態情報と閾値との比較を行い、その比較結果に基づいて、挿入部20の挿入を妨げるような状態である、注目状態の発生とその発生した位置とを検出する。
 注目状態検出部36は、注目状態として、例えば、次のような状態を検出する。
 *伸展:挿入部20の先端側の操作湾曲部を湾曲させた状態(撮像素子26は大腸管腔内を撮像している)で、操作者が挿入操作を行っても、腸が伸びてしまい挿入部20の先端が現在位置に対して進まない状態または先端が現在位置に対して戻る状態を検出する。
 *撓み(座屈):挿入部20の途中が意図せずに撓んでしまい、挿入部20を挿入する力が撓んだ部分から挿入方向とは異なる方向に逃げていき、先端が進まない状態を検出する。
 *ループ:挿入部20がループ形状になった状態を検出する。必要に応じて、ループの種類(αループ、γループ、Nループ)や、挿入部20の重なり状態(上下の位置関係)も検出する。
 *押圧力:挿入部20が腸に加えている力を検出する。本実施形態では、既知である挿入部20の剛性と、挿入部20の形状の変化とから、挿入部20に加わる力、すなわち腸に与えている力を検出する。
 なお、注目状態検出部36は、同一の注目状態に対する閾値を複数有し、注目状態の注目度を算出しても良い。
 図2は、伸展状態を複数の閾値で検出している例である。伸展を検出するためのパラメータの一つである、操作湾曲部を曲げた状態で挿入した距離に対して、第1~第3の閾値を設ける。なお、この場合の距離は、例えば、湾曲の頂点近傍の発信コイル28の位置情報により判別する。ここでは、第1乃至第3の計三つの閾値を有するものとする。距離が第1の閾値未満ならば、注目状態検出部36は、伸展が発生していないと判定する。距離が第1の閾値を超えたならば、注目状態検出部36は、弱い伸展が発生していると判定する。同様に、距離が第2の閾値を超えたならば中位の伸展、第3の閾値を超えたならば強い伸展が発生していると判定する。また、時間と共に距離が増加していく傾向から、距離が減少する方向に反転したとき、注目状態検出部36は、伸展が解除したと判定する。
 また、図3は、座屈検出を複数の閾値で検出している例である。この座屈検出のためには、挿入部20の湾曲量に対して第1乃至第3の計三つの閾値を設けている。なお、この湾曲量は、例えば、隣接する複数の発信コイル28の位置情報つまり形状情報より判別する。注目状態検出部36は、湾曲量が第1の閾値未満ならば座屈が発生していない、湾曲量が第1の閾値を超えたならば弱い座屈、第2の閾値を超えたならば中位の座屈、第3の閾値を超えたならば強い座屈と判断する。注目状態検出部36は、この第3の閾値を超えた後に第3の閾値以下となったならば中位の座屈と判断し、その後第2の閾値以下となったならば弱い座屈と判断する。そして、更に第1の閾値以下となったならば、注目状態検出部36は、座屈が解除したと判定する。
 注目状態検出部36は、位置・形状演算部34から入力された状態情報、この検出した注目状態とその位置、及び必要によりその注目度、を状態情報処理部38に出力する。
 状態情報処理部38は、注目状態検出部36から入力された状態情報をモニタ18で表示出力するための画像処理を行う。また、注目状態検出部36が検出した注目状態及びその位置(並びに注目度)に基づいて、その注目状態の内容を表す注目状態情報をモニタ18で表示出力するための画像処理を行う。更に、状態情報処理部38は、大腸管腔内を撮像する撮像素子26からの画像信号を受信し、その画像信号に対して一般的な画像処理を行って、内視鏡画像を生成する。そして、状態情報処理部38は、これらの状態情報と注目状態情報と内視鏡画像とを含む表示画像を生成し、モニタ18に出力する。
 出力部の一つであるモニタ18は、例えば、表示画面上にタッチパネル等の入力部を配した液晶ディスプレイである。モニタ18は、内視鏡画像を表示すると共に、状態情報及び注目状態情報を表示し、操作者は、このモニタ18の表示画面を見ることで、大腸管腔内を観察すると共に挿入部20の状態を知ることができる。また、モニタ18に当該内視鏡システム10の各種設定画面を表示し、タッチパネル操作により各種設定を行えるようになっている。勿論、モニタ18をタッチパネル付きとする代わりに、別途専用の入力装置を設けても構わない。
 なお、特に図示はしていないが、内視鏡システム10は、挿入部20の先端から大腸管腔内に空気や炭酸ガスなどの気体を放出するための送気機構、挿入部20の先端から大腸管腔内の気体を吸引するための吸気機構、挿入部20の先端から大腸管腔内の液体を吸引するための吸水機構、撮像素子26の視野を照明する照明機構、などを有している。また、内視鏡スコープ12には、鉗子などの処置具を操作部22側から挿入部20の先端部へ挿通するための鉗子チャネルなどを有している。
 図4は、モニタ18のタッチパネル付き表示画面18Aへの内視鏡画像と状態情報及び注目状態情報の表示の一例を示す図である。
 なお、ここでは、出力部としての一つのモニタ18に、内視鏡画像と状態情報及び注目状態情報との両方を表示する構成を説明するが、状態情報及び注目状態情報を表示出力する出力部としてのモニタ18と内視鏡画像を表示する表示部としての表示装置とを別体に構成しても良いことは勿論である。この場合、状態情報処理部38とは別に、撮像素子26からの画像信号に対して一般的な画像処理を行って、内視鏡画像を生成する専用の画像処理部を設けても良い。
 タッチパネル付き表示画面18Aには、内視鏡画像40と、詳細状態情報表示部42と、注目状態告知部44と、状態情報説明部46と、が表示される。ここで、内視鏡画像40と詳細状態情報表示部42とは、ウィンドウとして並べて表示され、それの間に、注目状態告知部44が表示される。状態情報説明部46は、詳細状態情報表示部42の左上に表示される。状態情報処理部38は、このような表示を行うための画像処理を実施して表示画像を生成し、それをモニタ18に供給することで、モニタ18が、その表示画像を表示する。以下、この表示画像の詳細を説明する。
 詳細状態情報表示部42は、注目状態が発生した位置に関連付けて注目状態情報48を表示する部分である。具体的には、この詳細状態情報表示部42には、磁気式位置検出センサ16を用いて位置・形状演算部34が検出した挿入部20の形状である状態情報50に関連付けて注目状態情報48を表示する。この関連付けについては、図5乃至図9を用いて後述する。また、詳細状態情報表示部42には、被挿入体である人体の形状52と、その人体の形状52に対する人体の医学的部位54、例えばみぞおちや横隔膜、を描画することで、状態情報50の人体に対する位置関係が判別可能とされる。
 次に、この詳細状態情報表示部42における注目状態情報48の表示方法について説明する。
 図5は、状態情報50である挿入部20の形状において注目状態が発生している範囲の色を変更することで、注目状態情報48を表示する例である。例えば、撓みが発生した箇所の色を変え、さらに、注目状態検出部36が複数の閾値と比較して算出する撓みの注目度、すなわち撓みが発生している挿入部20の湾曲量に応じて、色を黄色→オレンジ→赤と変化させる。
 これにより、操作者は、挿入部20における撓みが生じた場所と撓み量とを知ることができる。なお、色ではなく、注目状態が発生している範囲以外の部分に対して、注目状態が発生している範囲の、濃度、透明度、あるいは明るさを変えるようにしても良いことは勿論である。
 図6は、状態情報50である挿入部20の形状において注目状態が発生している箇所を指して、その注目状態がどのようなものであるかを説明する文字(この例では「撓み発生」)として、注目状態情報48を表示する例である。
 図7は、状態情報50である挿入部20の形状において、矢印として、注目状態情報48を表示する例である。例えば、位置・形状演算部34による押圧力の検出結果に基づいて、挿入部20が腸に与えている力の大きさを矢印の大きさや長さで表示する。また、力のかかる向きを矢印の向きで表示する。この場合、力の大きさに応じて色を変化させても良い。腸にかかる力を矢印で表示することで、操作者は、腸に与えている力の大きさを視覚的にわかり易く知ることができ、挿入を継続するか他の操作を行うかの判断をし易くなる。腸に無理な力を加えなくなるので、安全性が向上する。また、被挿入体である人が痛みを感じることもないので、快適性が向上する。なお、矢印に限らず、注目状態を表現できれば、その他の図形であっても良いことは勿論である。
 図8は、状態情報50である挿入部20の形状において注目状態が発生している箇所を点滅させることで、注目状態情報48を表示する例である。この場合、更に、注目度に応じて点滅の速さを変えても良い。
 なお、注目状態情報48の表示においては、このような色、濃度、透明度、明るさ、文字、図形、点滅の二つ以上を組み合わせても良いことは勿論である。
 また、図9に示すように、注目状態が発生した場合に、状態情報50である挿入部20形状の軌跡を表示させることで、注目状態情報48を表示するようにしても良い。例えば、伸展が発生した場合に、軌跡を表示させる。この挿入部20の形状の軌跡は、伸展の注目度、すなわち伸展が発生した状態で挿入部20が挿入された挿入量に応じて色を変化させても良い。過去と現在の挿入部20の形状及び位置を比較できるので、挿入部20の状態の変化がわかり易く、伸展が発生していることを知ることができる。
 このような注目状態情報48の表示は、注目状態が終了したならば、例えば挿入部20が抜去されて伸展の状態が解除されたならば、消去される。勿論、この表示消去のタイミングは、それに限らず、必要に応じて変えて構わない。例えば、伸展で抜去操作が行われた後も一定時間や一定挿抜長さまで表示し続けても構わない。
 状態情報説明部46は、詳細状態情報表示部42に表示されている注目状態情報48の説明を表示する部分である。図4の例は、撓みの「黄色⇔オレンジ⇔赤」の色変化について、黄色は撓み量が小さく(撓み度が低い)、赤は大きい(撓み度が高い)、という説明を示している。なお、この状態情報説明部46は、必ずしも必要なものではなく、図6に示すように文字によって表示している場合など、省略することが可能である。
 注目状態告知部44は、注目状態が発生したとき、すなわち、挿入部20の状態を操作者に知らせるべき状態になると、内視鏡画像40を見ている操作者に対して、詳細状態情報表示部42を見るように促すための表示を行う部分である。注目状態告知部44は、内視鏡画像40の周辺近傍に配置される。ここで、内視鏡画像40の周辺近傍とは、操作者が内視鏡画像40に注視している場合に、操作者の視界に入る範囲のことを指す。図4の例では、注目状態告知部44は、内視鏡画像40と詳細状態情報表示部42との間に、詳細状態情報表示部42を指す矢印の形態で表示されている。
 通常、操作者は主に内視鏡画像40を見ながら挿入部20の挿入操作を行うため、例えば挿入操作中に詳細状態情報表示部42を見ることは少ない。そのため、詳細状態情報表示部42のみを表示させて、注目状態の発生により注目状態情報48を表示したとしても、操作者はそれに気が付かないことが懸念される。そこで、注目状態が発生した場合に、操作者の視界に入る注目状態告知部44が注目状態の発生を操作者に知らせることで、操作者は注目状態が発生したことを認識することができ、必要に応じて詳細状態情報表示部42を見て確認することができる。操作者が注目状態を認識し、挿入を妨げる原因がわかることで、挿入操作の方法を判断する助けになり、挿入部20の挿入性が向上する。
 注目状態告知部44は、内視鏡画像40を注視している操作者が注目状態が発生したことに気がつく事ができれば、図4のような矢印を点灯させる方法に限らない。例えば、注目状態告知部44は、図10に示すように、内視鏡画像40の周辺近傍に点灯するLEDを模擬した表示としても良いし、図11に示すように、内視鏡画像40の周辺の色を変化させるものとしても良いし、図12に示すように、文字として表示するものであっても構わない。
 また、注目状態告知部44は、内視鏡画像40の周辺近傍に配置することに限るものではなく、図13に示すように、注目状態告知部44を内視鏡画像40に重ねて表示させても構わない。この場合も、矢印に限らず、他の図形や文字で表示しても良い。操作者は通常、内視鏡画像40を見ながら操作を行うため、このように注目状態告知部44を内視鏡画像40に重ねて表示することで、操作者は注目状態が発生したことを、より確実に認識することができる。また、注目状態告知部44を内視鏡画像40に重ねて表示する場合、注目状態告知部44により内視鏡画像40の一部が見えなくならないように、半透明の表示としても良い。
 なお、注目状態情報は、詳細状態情報表示部42に表示するものに限らない。例えば、図14に示すように、詳細状態情報表示部42とは別に、挿入部20の位置に関連付けて注目状態情報を簡易的に表示する撮影画像エリア注目状態情報表示部56を、内視鏡画像40の周辺に表示するようにしても良い。すなわち、状態情報処理部38は、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような撮影画像エリア注目状態情報表示部56を含む表示画像を生成し、タッチパネル付き表示画面18Aに出力することができる。図14の例では、この撮影画像エリア注目状態情報表示部56は、内視鏡画像40の周辺に大腸を簡易的に模擬した形状として表示されている。また、この撮影画像エリア注目状態情報表示部56は、色により表す挿入部20の挿入量表示58や、注目状態が発生したことを示す注目状態表示60を行うようにしても良い。その際、大腸を簡易的に模擬した形状に対して、大腸の部位がわかるように、部位の略号62(P(Proctodeum),S(Sigmoid colon),D(Descending colon),T(Transverse colon),A(Ascending colon),C(Cecum))を記載しても良い。略号62のほかに、名称を記載したり、図で示すようにしたりしても構わない。注目状態表示60は、挿入部20の挿入量表示58において長手方向の位置に相当する箇所に表示することで、操作者は注目状態が挿入部20のどの位置で発生しているかを知ることができる。
 勿論、この撮影画像エリア注目状態情報表示部56は、必ずしも大腸を簡易的に模擬した形状である必要はなく、図15に示すように、大腸を直線状のグラフで示して挿入量表示58や注目状態表示60を行うようにしても構わない。
 なお、詳細状態情報表示部42と撮影画像エリア注目状態情報表示部56とは、必要に応じて両方表示するようにしても構わないし、どちらか片方のみを表示するものであっても構わない。
 また、撮影画像エリア注目状態情報表示部56の注目状態表示60についても、詳細状態情報表示部42における注目状態情報48と同様に、注目度に応じて、色、濃度、透明度、明るさ、文字、図形、及び/または点滅を変化させるようにしても良い。
 また、注目状態情報としては、図16に示すように、内視鏡画像40における大腸管腔の延在方向を示す、管腔方向表示部64を表示するようにしても良い。すなわち、状態情報処理部38は、撮像素子26が撮像した画像信号を解析することで、例えば明暗を判別することで、大腸管腔の延在方向を検出する。あるいは、状態情報処理部38は、先見情報として与えられている大腸の形状と挿入部20の形状及び挿入量とから、大腸管腔の延在方向を検出する。そして、状態情報処理部38は、その検出結果により、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような管腔方向表示部64を含む表示画像を生成し、モニタ18に出力することができる。特に大腸管腔の延在方向が内視鏡画面の外にはずれた状態、つまり撮像素子26が大腸の奥側ではなくて内壁を撮像している状態では、挿入部20がどの方向に進むように操作部22による挿入部20の湾曲操作を行うかは、操作者の感覚や過去の経験に頼っている。これに対して、このような管腔方向表示部64を内視鏡画像40に重畳して表示することにより、操作者は、大腸管腔の延在している方向がわかることで、挿入部20の操作湾曲部を湾曲させる方向がわかるため、挿入性が向上する。
 さらに、注目状態情報としては、図17に示すように、盲腸到達に関する情報を示す、盲腸到達情報表示部66を表示するようにしても良い。この盲腸到達に関する情報は、例えば、盲腸に到達したか未到達か、到達した場合に挿入開始から到達までの時間、などである。すなわち、状態情報処理部38は、撮像素子26が撮像した画像信号を解析することで、盲腸に到達したか否かを検出する。あるいは、状態情報処理部38は、先見情報として与えられている大腸の形状と挿入部20の形状とから、盲腸に到達したことを推定しても良い。そして、状態情報処理部38は、その検出結果により、内視鏡画像40、注目状態情報48及び状態情報50に加えて、このような盲腸到達情報表示部66を含む表示画像を生成し、モニタ18に出力することができる。なお、盲腸を一例にしたが、これに限定される必要はなく、被挿入体の特定の部位に応じて適宜、表示する到達情報を変更しても良い。
 また、図18に示すように、正常に挿入部20の挿入が行われている、すなわち、盲腸に近づいている状態であったり、腸に過度な負荷がかかっていない状態であったりを示す、正常状態表示部68を表示するようにしても良い。すなわち、注目状態検出部36は更に、挿入部20が正常に挿入されている状態である正常挿入状態も検出し、状態情報処理部は更に、この正常挿入状態の検出に応じて、正常挿入状態情報を示す正常状態表示部68を含む表示画像を生成し、モニタ18に出力する事ができる。このような正常状態表示部68により、操作者は、内視鏡スコープ12の操作に問題が無いことを認識できる。
 また、モニタ18に注目状態情報48や状態情報50を表示することに加えて、別の出力部を使用して、操作者に注目状態情報や状態情報を伝えるようにしても構わない。
 内視鏡画像40を表示する表示部とは別体の出力部として、例えば、図19に示すように、操作者70が装着するイヤホン72を使用して、音によって注目状態情報を伝えることができる。この場合、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、イヤホン72のスピーカから出力する音の種類や大きさを変化させることで、どのような注目状態がどの程度発生したのかを、操作者70は容易に知ることができる。なお、音の出力の一例として、イヤホン72を用いたが、操作者70が認識できるのであれば、内視鏡システム10が設置される部屋に設置されるスピーカなどでも良い。また、操作者70が装着するウエアラブル端末の一例である眼鏡型モニタ74や振動発生器76を使用して、光あるいは振動によって、注目状態情報を伝えるようにしても良い。この場合も、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、光や振動の種類や強さを変化させる。更には、内視鏡スコープ12の操作部22に、圧電素子などの振動発生器76や香り発生器78を配置し、振動や香りによって、注目状態情報を伝えるようにしても良い。この場合も、状態情報処理部38は、発生した注目状態の内容や注目度に応じて、振動や香りの種類や強さを変化させる。
 また、図20に示すように、内視鏡画像40を表示する表示部である表示装置80とは別体の出力部として、プロジェクタ82を使用することもできる。この場合、プロジェクションマッピングにより、被挿入体である患者84の体に、注目状態情報や状態情報を表示するようにしても構わない。これにより、患者84に対する挿入部20の位置や、注目状態の位置がわかり易くなる。
 なお、注目状態情報48や状態情報50である形状の出力に関する設定を操作者が変更できるようにしても構わない。例えば、図21に示すように、出力に関する設定画面をモニタ18のタッチパネル付き表示画面18Aに表示し、入力部であるタッチパネルで出力情報の選択指定を行う。この例では、出力情報として、形状や注目状態情報48の表示をON/OFF指定可能である。また、注目状態情報48は、伸展、座屈などを個別にON/OFF可能である。更に、注目状態情報48は、操作者が注目状態情報48を検出し易くするか、検出し難くするかを決める感度設定ができるようにしても構わない。
 さらに、図19及び図20に示したように、出力部が複数有る場合、使用する出力部を選択できるようにしても構わない。また、出力部に応じて、出力の大きさを設定できるようにしても構わない。例えば、モニタ18であれば表示の大きさ、イヤホン72のスピーカであれば音の大きさ、振動発生器76の振動であれば振動の強さ、香り発生器78であれば香りの強さを変更できる。
 なお、モニタ18のタッチパネル付き表示画面18Aのタッチパネルではなく、マウスなどの別の入力部により、出力情報や出力部の選択ができるようにしても構わない。更には、モニタ18に表示した設定画面ではなく、物理的なスイッチ等、操作者が入力可能な入力部であっても構わない。
 このような入力部による選択指定結果は、状態情報処理部38に入力され、状態情報処理部38は、そのON指定された出力情報を出力するための処理を行い、ON指定された出力部に、その処理した出力情報を供給して、そこから出力させる。また、状態情報処理部38は、ON指定された出力情報についての検出感度を注目状態検出部36に出力し、注目状態検出部36は、その検出管殿指定に応じて、状態情報の閾値を調整する。
 以上のように、本第1実施形態による挿入システムとしての内視鏡システム10は、挿入部20の少なくとも一部の状態である状態情報を検出する挿入部状態検出部としての位置・形状演算部34と、状態情報の閾値を有し、状態情報と閾値との比較に基づいて、挿入部20の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部36と、注目状態検出部36の検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部38と、状態情報処理部38が処理した注目状態情報48を含む情報を出力する、モニタ18、イヤホン72、眼鏡型モニタ74、振動発生器76、香り発生器78、プロジェクタ82などの出力部と、を備える。
 したがって、状態情報と閾値との比較に基づいて少なくとも挿入操作に係る注目状態を検出し、その検出結果に基づいて、注目状態の内容を表す注目状態情報を出力するための処理を行うようにしているので、少なくとも挿入操作に係る注目状態を操作者70へ呈示可能な挿入システムを提供することができる。
 操作者70が挿入部20の少なくとも挿入操作に係る注目状態情報を認識できるようになることで、操作者70は、例えば注目状態情報の1つである伸展や撓み等の挿入を妨げる原因がわかり、挿入操作の方法を判断する助けになり、挿入性が向上する。また、注目状態情報の1つである押圧力(腸にかかる力)を知ることで、操作者70は腸に与えている力の大きさを視覚的にわかり易く知ることができ、挿入を継続するか中断するか他の操作を行うかの判断をし易くなる。腸に無理な力を加えなくなるので、安全性が向上する。また、患者84が痛みを感じることもないので、快適性が向上する。
 ここで、上記位置・形状演算部34は、上記状態情報の一つである、挿入部20の位置を検出し、上記注目状態検出部36は更に、注目状態が発生した挿入部20の位置を検出し、状態情報処理部38は、注目状態検出部36の検出結果に基づいて、挿入部20の位置に関連付けて注目状態情報48を表示する詳細状態情報表示部42を、出力部であるモニタ18やプロジェクタ82に表示するための処理を行う。
 よって、本実施形態のような構成とすることにより、操作者70へ注目状態情報48を分かり易く呈示することができる。
 そしてこの場合、状態情報処理部38は、注目状態情報に基づいて、詳細状態情報表示部42に表示された挿入部20の注目状態が発生した位置における、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより注目状態情報48を表示するような上記詳細状態情報表示部42を、モニタ18やプロジェクタ82に表示するための処理を行う。
 このように、注目状態情報に基づいて挿入部20の形状の色を変化させたり、矢印等の図形を表示させたり、文字を表示させることにより、操作者70に挿入部20の状態情報と注目状態情報48とを分かり易く提供することができる。すなわち、挿入部20の形状を表示し、注目状態が発生している挿入部20の位置の表示状態を変更することにより、操作者70は、注目状態が発生している挿入部20上の位置を把握することができる。
 あるいは、位置・形状演算部34が検出する状態情報50は、挿入部20の少なくとも一部の形状を含み、状態情報処理部38は、注目状態情報に基づいて、挿入部20の少なくとも一部の形状における形状変化の軌跡として注目状態情報48を表示するような上記詳細状態情報表示部42を、モニタ18やプロジェクタ82に表示するための処理を行う。
 このように、注目状態情報に基づいて挿入部20の軌跡を表示させることにより、操作者70に挿入部20の状態情報と注目状態情報48とを分かり易く提供することができる。
 あるいは、位置・形状演算部34が検出する状態情報50は、挿入部20の少なくとも一部の形状を含み、状態情報処理部38は更に、挿入部20の形状を、人体の形状52などの被挿入体の形状と同時に表示するような上記詳細状態情報表示部42を、モニタ18に表示するための処理を行うようにしても良い。
 これにより、被挿入体の形状に対する挿入部20の位置関係が判別可能とされる。
 特に、被挿入体は、患者84などの人体を含み、状態情報処理部38は、人体の形状52に対する人体の医学的部位54、例えばみぞおちや横隔膜、を描画するような上記詳細状態情報表示部42を、モニタ18に表示するための処理を行う。
 これにより、状態情報50の人体に対する挿入部20の位置関係が判別可能とされる。
 なお、挿入部20は、撮像部である撮像素子26を有し、内視鏡画像40などの撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部としての表示装置80を更に備え、この表示装置80に表示される。
 つまり、撮像素子26が撮像した被挿入体の内部の画像も、注目状態情報48と共に表示することができる。
 この場合、状態情報処理部38は更に、撮像素子26が撮像した画像上、または画像近傍の、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより注目状態情報48を表示する撮影画像エリア注目状態情報表示部56を、上記モニタ18または上記表示装置80に表示するための処理を行うようにしても良い。
 このように、内視鏡画像40などの撮像素子26が撮像した画像の周辺近傍、またはその画像上に、注目状態情報48を表示させることにより、操作者70は、撮像素子26が撮像した画像に注目しながら、またはその画像から大きく目を離さないで、注目状態情報48を知ることができるようになる。
 また、注目状態検出部36は、状態情報の閾値を複数有し、状態情報と複数の閾値との比較に基づいて、注目状態の注目度を算出し、状態情報処理部38は、注目度に基づいて、上記注目状態情報48の表示を変更するようにしても良い。
 これにより、操作者70は、状態情報の度合いを考慮して挿入に関わる操作を実施することが可能となる。
 あるいは、位置・形状演算部34は、上記状態情報の一つである、挿入部20の位置を検出し、注目状態検出部36は、注目状態が発生した挿入部20の位置を検出し、状態情報処理部38は、挿入部20の位置に関連付けて注目状態情報を示す注目状態表示60を表示するような上記撮影画像エリア注目状態情報表示部56を、モニタ18または表示装置80に表示するための処理を行うようにしても良い。
 これにより、操作者70は、注目状態が発生している挿入部20上の位置を把握することが可能となる。
 あるいは、注目状態情報は更に、撮像素子26が撮像した画像における被挿入体の延在方向を示す情報を含み、状態情報処理部38は更に、注目状態検出部36の検出結果及び撮像素子26が撮像した上記画像に基づいて、被挿入体の延在方向を示す情報を含む注目状態情報を管腔方向表示部64として、上記モニタ18または上記表示装置80に表示するための処理を行うようにしても良い。
 これにより、操作者70は、大腸管腔の延在している方向がわかることで、挿入部20の操作湾曲部を湾曲させる方向がわかるため、挿入性が向上する。
 また、挿入部20は、撮像部である撮像素子26を有し、内視鏡画像40などの撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部としての表示装置80を更に備え、この表示装置80に表示され、状態情報処理部38は、詳細状態情報表示部42を、撮像素子26が撮像した画像とは独立してモニタ18に表示するための処理、または、表示装置80に表示された撮像素子26が撮像した画像とは別体のモニタ18に表示するための処理を行い、更に、撮像素子26が撮像した画像上またはその画像近傍に、上記詳細状態情報表示部42に上記注目状態情報48が表示されることを知らせる注目状態告知部44を、モニタ18または表示装置80に表示するための処理を行うようにしても良い。
 操作者70は、主に内視鏡画像40を注目する必要があるが、このような注目状態告知部44により、操作者70は内視鏡画像40を注目していても、注目状態になっていることを認識でき、必要に応じて詳細状態情報表示部42で注目状態の詳細な内容を確認することができる。
 なお、注目状態検出部36は更に、挿入部20が正常に挿入されている状態である正常挿入状態も検出し、状態情報処理部38は更に、注目状態検出部36の検出結果に基づいて、正常挿入状態情報を例えば正常状態表示部68として出力部に出力するための処理を行うようにしても良い。
 このような正常状態表示部68により、操作者70は、挿入部20の挿入操作に問題が無いことを認識できる。
 また、状態情報処理部38は更に、状態情報説明部46のような、出力部に出力されている注目状態情報48の説明を、出力部に出力するための処理を行うことが望ましい。
 これにより、操作者70は、注目状態情報48の内容を容易に把握可能となる。
 なお、位置・形状演算部34は、磁気式位置検出センサ16を含むことができる。
 これにより、状態情報として挿入部の形状を検出することが可能になる。
 また、モニタ18のタッチパネル付き表示画面18Aのタッチパネルやマウス、物理的なスイッチなど、注目状態情報48の出力をON/OFF指定するため入力部を更に備え、状態情報処理部38は、この注目状態情報48の出力のON指定に応じて、上記注目状態情報48を出力するための処理を行うようにしても良い。
 これにより、操作者70が、自身の挿入操作の習熟度や好みに応じて、注目状態情報の出力の有無を切り替えることができる。
 なお、挿入システムは、撮像部である撮像素子26を有する内視鏡システム10であって良い。
 あるいは、挿入システムは、撮像部である撮像素子26を有する大腸用内視鏡システムであって良く、この場合、注目状態情報は、盲腸到達情報表示部66として出力部であるモニタ18に表示される、挿入部20が盲腸に到達したか否か及び盲腸到達時間の少なくとも一方を含むことができる。
 これにより、大腸用内視鏡システムにおいて重要な情報の一つである盲腸に到達したか否か、あるいは、盲腸到達時間を操作者70に呈示可能となる。
 [第2実施形態]
 次に、本発明の第2実施形態について説明する。以下では、第1実施形態と同様の構成部材には同様の参照符号を付してその説明は省略し、第1実施形態と異なる部分のみを説明する。
 図22に示すように、本発明の第2実施形態に係る管状挿入システムとしての内視鏡システム10は、内視鏡システム本体14内に、発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38に加えて、推奨挿入操作決定部86と記録・再生部88とを備えている。また、注目状態検出部36は、病変検出部36Aを有している。
 なお、これら推奨挿入操作決定部86と記録・再生部88についても、発信信号生成部32、位置・形状演算部34、注目状態検出部36及び状態情報処理部38と同様、それぞれ個別のハードウェア回路で構成されても良いし、他の構成部と幾つかが纏めて一つのハードウェア回路として構成されても良い。また、コンピュータプロセッサを、これらの発信信号生成部32、位置・形状演算部34、注目状態検出部36、状態情報処理部38、推奨挿入操作決定部86及び/または記録・再生部88として機能させるためのソフトウェアプログラムを図示しないメモリ内に準備しておき、そのプログラムをプロセッサが実行することで、それら各部の少なくとも一つの機能をプロセッサが実施するように構成しても構わない。
 推奨挿入操作決定部86は、位置・形状演算部34が演算した形状と注目状態検出部36が検出した注目状態情報48との少なくとも一方に基づいて、推奨する挿入操作の方法であり、挿入を進めるまたは安全性を向上するための推奨挿入操作情報を決定する。推奨挿入操作情報は、操作部22による湾曲操作、挿入部20の押し操作、挿入部20の引き操作、など、被挿入体の延在方向へ挿入部20を向けるための操作を含む。また、推奨挿入操作情報は、挿入部20の捻り操作といった、挿入部20をその長手方向の軸周りに回転する操作を含む。さらに、推奨挿入操作情報は、送気機構、吸気機構及び/または吸水機構を用いた、被挿入体内部の送気操作、吸気操作及び/または吸水操作を含む。また、挿入部20が硬度可変機構を備える場合には、硬度変更操作を含むこともできる。さらには、内視鏡システム、特に大腸用内視鏡システムにあっては、推奨挿入操作情報は、被挿入体である患者84の向きの変更や、患者84を介して挿入部20を抑える手技、など内視鏡システム10を操作しない手法も含み得る。推奨挿入操作決定部86は、決定した推奨挿入操作情報を、状態情報処理部38及び記録・再生部88に出力する。
 状態情報処理部38は、この推奨挿入操作情報を出力部に出力するための処理を行う。例えば、状態情報処理部38は、推奨挿入操作情報をモニタ18へ表示するための画像処理を行い、その結果をモニタ18に出力する。これにより、モニタ18のタッチパネル付き表示画面18Aには、図23に示すように、図や文字により推奨操作を操作者70へ呈示する推奨挿入操作情報表示部90が表示される。
 勿論、推奨挿入操作情報は、表示に限らず、推奨挿入操作を音声により出力するようにしても良い。
 このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
 また、病変検出部36Aは、注目状態情報48の一つとして、被挿入体に関わる注目状態についての注目情報である、病変の有無や位置を検出する。なお、この病変検出部36Aは、注目状態検出部36とは別体に設けても構わない。病変検出部36Aは、例えば、挿入部20の先端に配置された撮像部である撮像素子26から入力される映像を画像解析することで、病変を検出する。画像解析には、パターンや色のマッチング、機械学習等を用いる。病変検出部36Aは、検出した病変情報を、状態情報処理部38及び記録・再生部88に出力する。
 状態情報処理部38は、この病変情報を出力部であるモニタ18に表示するための画像処理を行い、その結果をモニタ18に出力する。これにより、モニタ18のタッチパネル付き表示画面18Aには、図24に示すように、内視鏡画像40の上に、病変92の位置を示す、病変検出結果表示部94が表示される。また、状態情報処理部38は、病変検出部36Aが検出した病変の数を計数し、病変の数表示96も合わせて行うようにしても良い。
 このように、病変を検出して操作者70に呈示することで、病変の発見率の向上が期待できる。
 なお、内視鏡画像40がモニタ18とは別体の表示装置80に表示される場合には、状態情報処理部38は、病変情報を出力部である表示装置80に表示するための画像処理を行い、その結果を表示装置80に出力することは勿論である。
 記録・再生部88は、図示しない記録媒体を有し、この記録媒体に、位置・形状演算部34が検出した状態情報、注目状態検出部36が検出した注目状態情報(病変検出部36Aが検出した病変情報を含む)、及び推奨挿入操作決定部86が決定した推奨挿入操作情報の少なくとも一つを記録及び再生可能に構成されている。また、病変情報と共にそのときの画像も一緒に記録するようにしても良い。つまり、病変発見時の記録が自動で行われることで、操作者70が記録を行う手間や記録ミスを削減できる。この記録・再生部88が記録した情報は、状態情報処理部38を介してモニタ18や表示装置80に表示することができる。
 このように注目状態情報や推奨挿入操作情報を記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
 また、記録された挿入困難箇所や病変位置を再生することで、2回目以降に同様の患者に挿入部20を挿入する際に、事前に注意して挿入する事ができるので、挿入性、安全性、診察の正確性が向上する。特に、一人の患者84に対して1回目と2回目の操作者70が異なる場合は、2回目の操作者70は初めて挿入することになるが、一度挿入した記録から挿入に関する情報を得ることで、挿入性、安全性、診察の正確性が向上する。
 また、通常、操作者70は、挿入部20の挿入操作時は挿入に専念し、抜去時に病変の検査を行う。挿入中に病変検出部36Aが検出した病変位置を記録し、抜去時に病変の位置情報を再生することで、挿入中に検出された病変を抜去時に簡単に発見し、検査することが可能となる。さらに、挿入時に発見した病変部を抜去時に見逃す可能性も低くなる。これにより、病変の発見率の更なる向上が期待できる。
 なお、推奨挿入操作情報表示部90や病変検出結果表示部94(及び/または病変の数表示96)の出力に関する設定についても、操作者70が変更できるようにしても構わない。例えば、図25に示すように、出力に関する設定画面をモニタ18のタッチパネル付き表示画面18Aに表示し、入力部であるタッチパネルで出力情報の選択指定を行う。この例では、出力情報として、第1実施形態で説明した情報に加えて、推奨挿入操作情報表示部90や病変検出結果表示部94をON/OFF指定可能としている。
 このような入力部による選択指定結果は、状態情報処理部38に入力され、状態情報処理部38は、そのON指定された出力情報を出力するための処理を行い、ON指定された出力部(例えばモニタ18、表示装置80)に、その処理した出力情報を供給して、そこから出力させる。
 以上のように、本第2実施形態による挿入システムでは、状態情報及び注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、状態情報処理部38は更に、推奨挿入操作情報をモニタ18などの上記出力部に出力するための処理を行う。
 このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
 あるいは、本第2実施形態による挿入システムは、状態情報50及び注目状態情報48の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、状態情報処理部38は更に、推奨挿入操作情報を表示装置80に表示するための処理を行う。
 このように、推奨挿入操作情報が出力されることにより、操作者70は、挿入を進めるため、または安全性を向上させるための、具体的な操作を知ることができる。すなわち、挿入性、安全性が向上する。
 なおここで、推奨挿入操作情報は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、及び挿入部20を押すまたは引く操作、の少なくとも一つであることができる。
 これにより、操作者70は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、及び挿入部20を押すまたは引く操作の何れを行えば良いか知ることができる。
 また、本第2実施形態による挿入システムは、状態情報及び注目状態情報の少なくとも一方を記録可能な記録部である記録・再生部88を更に備えることができる。
 このように注目状態情報などを記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
 あるいは、状態情報、注目状態情報及び上記推奨挿入操作情報の少なくとも一つを記録可能な記録部である記録・再生部88を更に備えても良い。
 このように注目状態情報や推奨挿入操作情報を記録することで、内視鏡検査に関するデータ、例えば、盲腸到達率、盲腸到達時間、挿入困難例での挿入操作などを分析することが可能となり、医療品質の評価に使用できる。また、分析結果に基づいて次回の内視鏡検査を改善することで、医療の質の向上につながる。
 なお、モニタ18のタッチパネル付き表示画面18Aのタッチパネルやマウス、物理的なスイッチなど、注目状態情報及び上記推奨挿入操作情報の少なくとも一方の出力をON/OFF指定するため入力部を更に備え、状態情報処理部38は、注目状態情報及び推奨挿入操作情報の少なくとも一方のON指定に応じて、そのON指定された注目状態情報及び推奨挿入操作情報の少なくとも一方を出力するための処理を行うようにしても良い。
 これにより、操作者70が、自身の挿入操作の習熟度や好みに応じて、注目状態情報や推奨挿入操作情報の出力の有無を切り替えることができる。
 ここで、挿入システムが内視鏡システム10、特に大腸用内視鏡システムである場合、内視鏡画像40である撮像素子26が撮像した被挿入体の内部の画像は、出力部であるモニタ18に表示される、または、挿入システムが表示部である表示装置80を更に備えるならば、その表示装置80に表示され、注目状態検出部36は、撮像素子26が撮像した画像から被挿入体に関わる注目状態である病変の位置を検出する病変検出部36Aを含み、状態情報処理部38は更に、病変検出部36Aの検出結果に基づいて、撮像素子26が撮像した画像上に病変位置情報を表示する病変検出結果表示部94を、モニタ18または表示装置80に表示するための処理を行う。
 このように、病変を検出して操作者70に呈示することで、病変の発見率の向上が期待できる。
 なおこの場合、状態情報、注目状態情報及び上記病変位置情報、の少なくとも一つを記録可能な記録部である記録・再生部88を更に備えても良い。
 このように、病変発見時の記録が自動で行われることで、操作者70が記録を行う手間や記録ミスを削減できる。また、挿入部20を挿入していく途中で病変検出部36Aが検出した病変位置を記録し、抜去時に病変の位置情報を再生しながら抜去していくことで、病変の発見率の更なる向上が期待できる。
 また、挿入システムが内視鏡システム10、特に大腸用内視鏡システムであるとき、状態情報及び注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部86を更に備え、内視鏡画像40である撮像素子26が撮像した被挿入体の内部の画像は、モニタ18に表示される、または、挿入システムが表示部である表示装置80を更に備える場合には、その表示装置80に表示され、状態情報処理部38は更に、推奨挿入操作情報をモニタ18または表示装置80に出力するための処理を行い、推奨挿入操作情報は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、挿入部20を押すまたは引く操作、被挿入体の向きの変更、被挿入体を介して挿入部20を抑える手技、及び被挿入体内部の送気、吸気及び/または吸水操作、の少なくとも一つであるとしても良い。
 これにより、操作者70は、被挿入体の延在方向へ挿入部20を向けるための操作、挿入部20をその長手方向の軸周りに回転する操作、挿入部20を押すまたは引く操作、被挿入体である患者84の向きの変更、患者84の体を介して挿入部20を抑える手技、及び患者84の大腸管腔内部の送気、吸気及び/または吸水操作、の何れを行えば良いか知ることができる。
 [第3実施形態]
 次に、本発明の第3実施形態について説明する。以下では、第1実施形態と同様の構成部材には同様の参照符号を付してその説明は省略し、第1実施形態と異なる部分のみを説明する。
 上記第1及び第2実施形態では、位置・形状演算部34は、状態情報を、磁気式位置検出センサ16を用いて検出している。しかしながら、挿入部20の位置や形状が検出できれば、磁気式位置検出センサ16以外のセンサを使用しても構わない。
 例えば、挿入部20の形状を検出するセンサとして、ファイバ形状センサを使用したり、複数の歪みセンサを組み合わせて使用したりすることができる。また、腸にかかる力の検出を、挿入部20の形状から検出したが、挿入部20に圧力センサを設けて検出しても構わない。また、挿入部20に組み込まれる撮像素子26を用いて、撮像された画像から管腔の方向や挿抜操作などを検出したり、操作部22に設けた操作量センサを用いて挿入部20の湾曲形状を検出したりすることができる。
 図26は、ファイバ形状センサ98を組み込んだ内視鏡システム10の全体構成を示す図である。内視鏡システム本体14には、接続ケーブル24により、挿入部20と操作部22から構成される内視鏡スコープ12が接続されている。内視鏡システム本体14の位置・形状演算部34は、光源34Aと、例えば受光素子等の受光部34Bと、形状演算部34Cとを含む。
 ファイバ形状センサ98は、例えば国際公開第2015/146712号に開示されているように、複数の被検出部100が設けられた光ファイバ102と、上記位置・形状演算部34の光源34A及び受光部34Bと、から構成される。被検出部100は、挿入部20の形状検出を行うべき部分に配置される。光源34Aから出射された光が光ファイバ102に入射され、光ファイバ102内を導光して、光ファイバ102の先端に設けられた不図示反射部で反射して再び光ファイバ102内を導光してきた戻り光が受光部34Bで検出される。
 光ファイバ102に設けられた被検出部100は、挿入部20の湾曲に従って光ファイバ102が湾曲すると、光ファイバ102内を導光する光を、当該光ファイバ102の湾曲状態に応じて当該光ファイバ102の外部に向けて出射させる、あるいは、吸収する。光ファイバ102の外部に向けて出射するあるいは吸収する光量は、当該光ファイバ102の湾曲量に対応する。被検出部100は、光ファイバ102の湾曲量に対応した光量の光を光ファイバ102の外部に漏らす又は吸収するような加工が施されている。換言すれば、被検出部100は、光ファイバ102によって導光される光の光学特性、例えば光量を挿入部20の湾曲状態に応じて変化させるものとなる。
 受光部34Bは、光ファイバ102から入射した光を受光し、受光した光量等に応じた受光信号を出力する。すなわち、受光部34Bは、受光信号に基づいて挿入部20の湾曲の大きさ(湾曲量)に応じた受光信号を出力する。
 形状演算部34Cは、受光部34Bからの受光信号で示される各被検出部100の位置における挿入部20の湾曲量から、挿入部20の形状を演算して、形状情報を得る。この形状情報が状態情報として注目状態検出部36へ出力される。
 なお、光源34Aから複数の波長成分を含む広帯域光を出射し、各被検出部100は、互いに異なる波長の光を外部に向けて出射させる、あるいは、吸収するものとする。あるいは、光源34Aから出射される光はレーザ等の狭帯域光とし、各被検出部100は、互いに異なる波長の光に波長変換するものしても良い。これにより、受光部34B及び形状演算部34Cでは、それぞれの被検出部100による光量変化を弁別することが可能である。
 以上のように、本第3実施形態による挿入システムでは、位置・形状演算部34は、ファイバ形状センサ、挿入部20に組み込まれる撮像素子26、歪みセンサ、及び操作量センサ、の少なくとも一つを用いている。
 このように、位置・形状演算部34は、状態情報を、磁気式位置検出センサ16以外のセンサを用いて検出することができる。
 以上、幾つかの実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の変形や応用が可能なことは勿論である。

Claims (27)

  1.  被挿入体に挿入する管状の挿入部を有する挿入システムであって、
     前記挿入部の少なくとも一部の状態である状態情報を検出する挿入部状態検出部と、
     前記状態情報の閾値を有し、前記状態情報と前記閾値との比較に基づいて、前記挿入部の少なくとも挿入操作に係る注目状態を含む注目状態を検出する注目状態検出部と、
     前記注目状態検出部の検出結果に基づいて、前記注目状態の内容を表す注目状態情報を出力するための処理を行う状態情報処理部と、
     前記状態情報処理部が処理した前記注目状態情報を含む情報を出力する出力部と、
     を備える、挿入システム。
  2.  前記挿入部状態検出部は、前記状態情報の一つである、前記挿入部の位置を検出し、
     前記注目状態検出部は更に、前記注目状態が発生した前記挿入部の位置を検出し、
     前記状態情報処理部は、前記注目状態検出部の検出結果に基づいて、前記挿入部の位置に関連付けて前記注目状態情報を表示する詳細状態情報表示部を、前記出力部に表示するための処理を行う、
     請求項1に記載の挿入システム。
  3.  前記状態情報処理部は、前記注目状態情報に基づいて、前記詳細状態情報表示部に表示された前記挿入部の前記注目状態が発生した前記位置における、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより前記注目状態情報を表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
     請求項2に記載の挿入システム。
  4.  前記挿入部状態検出部が検出する前記状態情報は、前記挿入部の少なくとも一部の形状を含み、
     前記状態情報処理部は、前記注目状態情報に基づいて、前記挿入部の前記少なくとも一部の形状における形状変化の軌跡として前記注目状態情報を表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
     請求項2に記載の挿入システム。
  5.  前記挿入部状態検出部が検出する前記状態情報は、前記挿入部の少なくとも一部の形状を含み、
     前記状態情報処理部は更に、前記挿入部の形状を前記被挿入体の形状と同時に表示する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
     請求項2に記載の挿入システム。
  6.  前記被挿入体は、人体を含み、
     前記状態情報処理部は、前記人体の形状に対する前記人体の医学的部位を描画する前記詳細状態情報表示部を、前記出力部に表示するための処理を行う、
     請求項5に記載の挿入システム。
  7.  前記挿入部は、撮像部を有し、
     前記撮像部が撮像した前記被挿入体の内部の画像は、
      前記出力部に表示される、または、
      前記挿入システムが表示部を更に備え、前記表示部に表示される、
     請求項1乃至6の何れかに記載の挿入システム。
  8.  前記状態情報処理部は更に、前記撮像部が撮像した前記画像上、または前記画像近傍の、色、文字、図形、及び点滅の有無、の少なくとも一つを変更することにより前記注目状態情報を表示する撮影画像エリア注目状態情報表示部を、前記出力部または前記表示部に表示するための処理を行う、
     請求項7に記載の挿入システム。
  9.  前記注目状態検出部は、前記状態情報の前記閾値を複数有し、前記状態情報と前記複数の閾値との比較に基づいて、前記注目状態の注目度を算出し、
     前記状態情報処理部は、前記注目度に基づいて、前記注目状態情報の表示を変更する、
     請求項3、4、または8に記載の挿入システム。
  10.  前記挿入部状態検出部は、前記状態情報の一つである、前記挿入部の位置を検出し、
     前記注目状態検出部は、前記注目状態が発生した前記挿入部の位置を検出し、
     前記状態情報処理部は、前記挿入部の位置に関連付けて前記注目状態情報を表示する前記撮影画像エリア注目状態情報表示部を、前記出力部または前記表示部に表示するための処理を行う、
     請求項8に記載の挿入システム。
  11.  前記注目状態情報は更に、前記撮像部が撮像した前記画像における前記被挿入体の延在方向を示す情報を含み、
     前記状態情報処理部は更に、前記注目状態検出部の検出結果及び前記撮像部が撮像した前記画像に基づいて、前記被挿入体の延在方向を示す情報を含む前記注目状態情報を、前記出力部または前記表示部に表示するための処理を行う、
     請求項7または8に記載の挿入システム。
  12.  前記挿入部は、撮像部を有し、
     前記撮像部が撮像した前記被挿入体の内部の画像は、
      前記出力部に表示される、または、
      前記挿入システムが表示部を更に備え、前記表示部に表示され、
     前記状態情報処理部は、
      前記詳細状態情報表示部を、前記撮像部が撮像した前記画像とは独立して前記出力部に表示するための処理、または、前記表示部に表示された前記撮像部が撮像した前記画像とは別体の前記出力部に表示するための処理を行い、
      更に、前記撮像部が撮像した前記画像上または前記画像近傍に、前記詳細状態情報表示部に前記注目状態情報が表示されることを知らせる注目状態情報告知部を、前記出力部または前記表示部に表示するための処理を行う、
     請求項2に記載の挿入システム。
  13.  前記注目状態検出部は更に、前記挿入部が正常に挿入されている状態である正常挿入状態も検出し、
     前記状態情報処理部は更に、前記注目状態検出部の検出結果に基づいて、正常挿入状態情報を前記出力部に出力するための処理を行う、
     請求項1に記載の挿入システム。
  14.  前記状態情報処理部は更に、前記出力部に出力されている前記注目状態情報の説明を、前記出力部に出力するための処理を行う、
     請求項1、3、4、8、または9に記載の挿入システム。
  15.  前記挿入部状態検出部は、磁気式位置検出センサ、ファイバ形状センサ、前記挿入部に組み込まれる撮像素子、歪みセンサ、及び操作量センサ、の少なくとも一つである、
     請求項1に記載の挿入システム。
  16.  前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
     前記状態情報処理部は更に、前記推奨挿入操作情報を前記出力部に出力するための処理を行う、
     請求項1に記載の挿入システム。
  17.  前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
     前記状態情報処理部は更に、前記推奨挿入操作情報を前記表示部に表示するための処理を行う、
     請求項7に記載の挿入システム。
  18.  前記推奨挿入操作情報は、前記被挿入体の延在方向へ前記挿入部を向けるための操作、前記挿入部をその長手方向の軸周りに回転する操作、及び前記挿入部を押すまたは引く操作、の少なくとも一つである、
     請求項16または17に記載の挿入システム。
  19.  前記状態情報及び前記注目状態情報の少なくとも一方を記録可能な記録部を更に備える、
     請求項1乃至15の何れかに記載の挿入システム。
  20.  前記状態情報、前記注目状態情報、及び前記推奨挿入操作情報、の少なくとも一つを記録可能な記録部を更に備える、
     請求項16乃至18の何れかに記載の挿入システム。
  21.  前記注目状態情報の出力をON/OFF指定するため入力部を更に備え、
     前記状態情報処理部は、前記注目状態情報の出力のON指定に応じて、前記注目状態情報を出力するための処理を行う、
     請求項1乃至20の何れかに記載の挿入システム。
  22.  前記注目状態情報及び前記推奨挿入操作情報の少なくとも一方の出力をON/OFF指定するため入力部を更に備え、
     前記状態情報処理部は、前記注目状態情報及び前記推奨挿入操作情報の前記少なくとも一方のON指定に応じて、そのON指定された前記注目状態情報及び前記推奨挿入操作情報の少なくとも一方を出力するための処理を行う、
     請求項16乃至18の何れかに記載の挿入システム。
  23.  前記挿入システムは、撮像部を有する内視鏡システムである、
     請求項1に記載の挿入システム。
  24.  前記挿入システムは、撮像部を有する大腸用内視鏡システムであり、
     前記注目状態情報は、前記挿入部が盲腸に到達したか否か及び盲腸到達時間の少なくとも一方を含む、
     請求項1に記載の挿入システム。
  25.  前記撮像部が撮像した前記被挿入体の内部の画像は、
      前記出力部に表示される、または、
      前記挿入システムが表示部を更に備え、前記表示部に表示され、
     前記注目状態検出部は、前記撮像部が撮像した画像から前記被挿入体に関わる注目状態である病変の位置を検出する病変検出部を含み、
     前記状態情報処理部は更に、前記病変検出部の検出結果に基づいて、前記撮像部が撮像した前記画像上に病変位置情報を表示する病変検出結果表示部を、前記出力部または前記表示部に表示するための処理を行う、
     請求項23または24に記載の挿入システム。
  26.  前記状態情報、前記注目状態情報、及び前記病変位置情報、の少なくとも一つを記録可能な記録部を更に備える、
     請求項25に記載の挿入システム。
  27.  前記状態情報及び前記注目状態情報の少なくとも一方に基づいて、推奨する挿入操作の方法である推奨挿入操作情報を決定する推奨挿入操作決定部を更に備え、
     前記撮像部が撮像した前記被挿入体の内部の画像は、
      前記出力部に表示される、または、
      前記挿入システムが表示部を更に備え、前記表示部に表示され、
     前記状態情報処理部は更に、前記推奨挿入操作情報を前記出力部または前記表示部に出力するための処理を行い、
     前記推奨挿入操作情報は、前記被挿入体の延在方向へ前記挿入部を向けるための操作、前記挿入部をその長手方向の軸周りに回転する操作、前記挿入部を押すまたは引く操作、前記被挿入体の向きの変更、前記被挿入体を介して前記挿入部を抑える手技、及び前記被挿入体内部の送気、吸気及び/または吸水操作、の少なくとも一つである、
     請求項23または24に記載の挿入システム。
PCT/JP2016/080245 2016-10-12 2016-10-12 挿入システム WO2018069992A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018544620A JP6710284B2 (ja) 2016-10-12 2016-10-12 挿入システム
PCT/JP2016/080245 WO2018069992A1 (ja) 2016-10-12 2016-10-12 挿入システム
US16/382,454 US11602263B2 (en) 2016-10-12 2019-04-12 Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080245 WO2018069992A1 (ja) 2016-10-12 2016-10-12 挿入システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/382,454 Continuation US11602263B2 (en) 2016-10-12 2019-04-12 Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times

Publications (1)

Publication Number Publication Date
WO2018069992A1 true WO2018069992A1 (ja) 2018-04-19

Family

ID=61905349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080245 WO2018069992A1 (ja) 2016-10-12 2016-10-12 挿入システム

Country Status (3)

Country Link
US (1) US11602263B2 (ja)
JP (1) JP6710284B2 (ja)
WO (1) WO2018069992A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105286A (zh) * 2018-05-17 2020-12-18 富士胶片株式会社 内窥镜装置、内窥镜操作方法及程序
WO2021024301A1 (ja) * 2019-08-02 2021-02-11 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JPWO2021111756A1 (ja) * 2019-12-02 2021-06-10
JPWO2020017212A1 (ja) * 2018-07-20 2021-07-15 富士フイルム株式会社 内視鏡システム
EP3851025A4 (en) * 2018-09-11 2021-10-13 NEC Corporation INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM
WO2021205818A1 (ja) * 2020-04-09 2021-10-14 日本電気株式会社 内視鏡挿入支援装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体
WO2023181175A1 (ja) * 2022-03-23 2023-09-28 オリンパスメディカルシステムズ株式会社 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US11026561B2 (en) 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
WO2022107492A1 (ja) * 2020-11-17 2022-05-27 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) * 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2008136628A (ja) * 2006-11-30 2008-06-19 Olympus Medical Systems Corp 内視鏡挿入形状解析システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
US20150099925A1 (en) * 2013-10-03 2015-04-09 Endochoice, Inc. Endoscope with Integrated Sensors
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016154588A (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6511417B1 (en) 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
WO2004039249A1 (ja) 2002-10-29 2004-05-13 Olympus Corporation 内視鏡情報の処理装置および処理方法
CN102078194B (zh) 2006-11-13 2012-11-14 奥林巴斯医疗株式会社 内窥镜插入形状分析系统
JP4855901B2 (ja) 2006-11-13 2012-01-18 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析システム
JP6146981B2 (ja) * 2012-10-16 2017-06-14 オリンパス株式会社 観察装置、観察支援装置及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) * 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置
JP2004358095A (ja) * 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2008136628A (ja) * 2006-11-30 2008-06-19 Olympus Medical Systems Corp 内視鏡挿入形状解析システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
US20150099925A1 (en) * 2013-10-03 2015-04-09 Endochoice, Inc. Endoscope with Integrated Sensors
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016154588A (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135082B2 (ja) 2018-05-17 2022-09-12 富士フイルム株式会社 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JPWO2019220848A1 (ja) * 2018-05-17 2021-05-13 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
US11950760B2 (en) 2018-05-17 2024-04-09 Fujifilm Corporation Endoscope apparatus, endoscope operation method, and program
EP3795062A4 (en) * 2018-05-17 2021-06-16 FUJIFILM Corporation ENDOSCOPE DEVICE, ENDOSCOPE OPERATING PROCESS AND PROGRAM
CN112105286A (zh) * 2018-05-17 2020-12-18 富士胶片株式会社 内窥镜装置、内窥镜操作方法及程序
JPWO2020017212A1 (ja) * 2018-07-20 2021-07-15 富士フイルム株式会社 内視鏡システム
JP7125484B2 (ja) 2018-07-20 2022-08-24 富士フイルム株式会社 内視鏡システム
US11957300B2 (en) 2018-09-11 2024-04-16 Nec Corporation Information processing apparatus, control method, and program
EP3851025A4 (en) * 2018-09-11 2021-10-13 NEC Corporation INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM
WO2021024301A1 (ja) * 2019-08-02 2021-02-11 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JPWO2021024301A1 (ja) * 2019-08-02 2021-12-02 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP7189355B2 (ja) 2019-08-02 2022-12-13 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP7335976B2 (ja) 2019-12-02 2023-08-30 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
WO2021111756A1 (ja) * 2019-12-02 2021-06-10 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
JPWO2021111756A1 (ja) * 2019-12-02 2021-06-10
WO2021205818A1 (ja) * 2020-04-09 2021-10-14 日本電気株式会社 内視鏡挿入支援装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7456663B2 (ja) 2020-04-09 2024-03-27 日本電気株式会社 情報処理装置、方法及びプログラム
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体
WO2023181175A1 (ja) * 2022-03-23 2023-09-28 オリンパスメディカルシステムズ株式会社 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体

Also Published As

Publication number Publication date
US11602263B2 (en) 2023-03-14
JPWO2018069992A1 (ja) 2019-07-18
US20190231444A1 (en) 2019-08-01
JP6710284B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
WO2018069992A1 (ja) 挿入システム
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
US8212862B2 (en) Endoscope system
JP5942044B2 (ja) 内視鏡システム
JP6001219B1 (ja) 内視鏡システム
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP6266179B2 (ja) 内視鏡用画像処理装置及び内視鏡システム
US20160345808A1 (en) Endoscope system
WO2015146836A1 (ja) 内視鏡システム
US11141053B2 (en) Endoscope apparatus and control apparatus
WO2019012586A1 (ja) 医用画像処理装置及び医用画像処理方法
JP6062112B2 (ja) 内視鏡システム
US11375878B2 (en) Information presentation system including a flexible tubular insertion portion
KR20180133632A (ko) 증강현실 영상을 지원하는 내시경 영상 진단 시스템
US20170215710A1 (en) Endoscope system
WO2023276158A1 (ja) 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
JP3397299B2 (ja) 位置検出装置
JP2009077859A (ja) 内視鏡
KR20180133633A (ko) 두부에 착용하는 내시경 영상 시현 헤드셋 및 이를 적용한 내시경 영상 진단 시스템
JP2013063326A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16918549

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2018544620

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16918549

Country of ref document: EP

Kind code of ref document: A1