WO2016135966A1 - 操作支援装置、挿入体システム及び操作支援方法 - Google Patents

操作支援装置、挿入体システム及び操作支援方法 Download PDF

Info

Publication number
WO2016135966A1
WO2016135966A1 PCT/JP2015/055932 JP2015055932W WO2016135966A1 WO 2016135966 A1 WO2016135966 A1 WO 2016135966A1 JP 2015055932 W JP2015055932 W JP 2015055932W WO 2016135966 A1 WO2016135966 A1 WO 2016135966A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
insert
creation
point
Prior art date
Application number
PCT/JP2015/055932
Other languages
English (en)
French (fr)
Inventor
潤 羽根
山本 英二
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017501808A priority Critical patent/JP6492159B2/ja
Priority to PCT/JP2015/055932 priority patent/WO2016135966A1/ja
Priority to DE112015006234.3T priority patent/DE112015006234T5/de
Priority to CN201580076882.2A priority patent/CN107249423B/zh
Publication of WO2016135966A1 publication Critical patent/WO2016135966A1/ja
Priority to US15/684,242 priority patent/US20170347916A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings

Definitions

  • the present invention relates to an operation support device, an insertion body system, and an operation support method.
  • an insertion / extraction device having an elongated insertion body such as an insertion portion of an endoscope is known.
  • an insertion portion of an endoscope is inserted into a subject, if the user can perform an operation while grasping the state of the insertion portion, the insertion of the insertion portion into the subject becomes easier for the user. For this reason, the technique for grasping
  • ascertaining the state of the insertion body of the insertion / extraction apparatus is known.
  • Japanese Patent Application Laid-Open No. 2007-44412 discloses the following technology. That is, in this technique, an endoscope insertion shape detection probe is provided at the insertion portion of the endoscope.
  • This endoscope insertion shape detection probe has a light transmission means for detection.
  • the light transmission means for detection is configured so that the amount of light loss varies depending on the bending angle.
  • Japanese Patent Laid-Open No. 6-154153 discloses the following technique. That is, in this technique, a sensor support portion is provided in the endoscope insertion portion, and a strain gauge is attached to the sensor support portion. An external force from a specific direction to the endoscope insertion portion is detected by using the strain gauge. As a result, information on the external force applied to the endoscope insertion portion can be acquired.
  • Japanese Unexamined Patent Publication No. 2000-175861 discloses the following technology. That is, in this technique, the endoscope system is provided with shape estimation means for estimating the shape of the endoscope insertion portion. In this endoscope system, a warning is issued when necessary based on the shape of the endoscope insertion portion estimated by the shape estimating means. For example, when it is detected that the endoscope insertion portion has a loop shape, a warning for warning is issued by display or sound.
  • An object of the present invention is to provide an operation support apparatus, an insert system, and an operation support method that can provide support information related to the operation of the insert.
  • the operation support apparatus acquires a primary information acquisition unit that acquires detection data that is primary information related to a state of the insertion body from a sensor provided in the insertion body that is inserted into the subject. At least one of the insertion body and the sensor, the operator operating the insertion body, the subject, and the content of the work using the insertion body.
  • an insert system includes the operation support device and the insert.
  • the operation support method acquires detection data that is primary information related to a state of the insert from a sensor provided in the insert inserted into the subject, and the insertion A user according to at least one of body information and at least one of the sensor, an operator operating the insert, and a content of work using the subject and the insert From the high-order information including the primary information and the high-order information based on the setting.
  • the higher-order information using lower-level information, an information group having at least two or more hierarchies including the primary information is created, and the insert is operated based on the information group.
  • an insertion / extraction support apparatus and an insertion / extraction support method that can detect the state of an insert or a subject into which the insert is inserted.
  • FIG. 1 is a diagram illustrating an outline of a configuration example of an insertion / extraction apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a sensor provided in the endoscope according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a configuration of a sensor provided in the endoscope according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a configuration of a sensor provided in the endoscope according to the embodiment.
  • FIG. 5 is a diagram illustrating an outline of a configuration example of a shape sensor according to an embodiment.
  • FIG. 6 is a diagram illustrating an outline of a configuration example of the insertion amount sensor according to the embodiment.
  • FIG. 1 is a diagram illustrating an outline of a configuration example of an insertion / extraction apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a sensor provided in the endoscope according to the embodiment.
  • FIG. 3 is a diagram
  • FIG. 7 is a diagram illustrating an outline of a configuration example of the insertion amount sensor according to the embodiment.
  • FIG. 8 is a diagram for explaining information obtained by a sensor according to an embodiment.
  • FIG. 9 is a diagram for explaining the first state determination method, and is a diagram schematically illustrating the movement of the insertion portion between time t1 and time t2.
  • FIG. 10 is a diagram for explaining the first state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion portion between time t2 and time t3.
  • FIG. 11 is a diagram for describing the first state determination method, and is a diagram schematically illustrating another example of the movement of the insertion portion between time t2 and time t3.
  • FIG. 12 is a block diagram illustrating an outline of a configuration example of the insertion / extraction support device used in the first state determination method.
  • FIG. 13 is a flowchart illustrating an example of processing in the first state determination method.
  • FIG. 14 is a diagram for describing a first modification of the first state determination method, and is a diagram schematically illustrating a state of movement of the insertion portion between time t1 and time t2.
  • FIG. 15 is a diagram for explaining a first modification of the first state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion portion between time t2 and time t3. .
  • FIG. 16 is a diagram for describing a first modification of the first state determination method, and is a diagram schematically illustrating another example of a state of movement of the insertion portion between time t2 and time t3. It is.
  • FIG. 17 is a diagram for explaining a second modification of the first state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 18 is a diagram for explaining the second state determination method, and is a diagram schematically showing a state of movement of the insertion portion between time t1 and time t2.
  • FIG. 19 is a diagram for explaining the second state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion portion between time t2 and time t3.
  • FIG. 17 is a diagram for explaining a second modification of the first state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 18 is a diagram for explaining the second state
  • FIG. 20 is a diagram for explaining the second state determination method, and is a diagram schematically illustrating another example of a state of movement of the insertion portion between time t2 and time t3.
  • FIG. 21 is a diagram illustrating an example of a change in the position of the point of interest over time.
  • FIG. 22 is a block diagram illustrating an outline of a configuration example of an insertion / extraction support device used in the second state determination method.
  • FIG. 23 is a flowchart illustrating an example of processing in the second state determination method.
  • FIG. 24 is a diagram for explaining a modified example of the second state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 25 is a diagram for explaining a modified example of the second state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 26 is a diagram for explaining the third state determination method, and is a diagram schematically illustrating the movement of the insertion portion between time t1 and time t2.
  • FIG. 27 is a diagram for explaining the third state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion portion between time t2 and time t3.
  • FIG. 28 is a diagram for explaining the third state determination method, and is a diagram schematically illustrating another example of the state of movement of the insertion portion between time t2 and time t3.
  • FIG. 29 is a diagram for explaining the third state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 30 is a diagram for explaining the third state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 31 is a diagram schematically illustrating a change in the position of the point of interest in the insertion unit.
  • FIG. 32 is a diagram schematically illustrating an example of how the insertion unit moves.
  • FIG. 33 is a diagram illustrating an example of a change in the distance from the tip of the insertion portion of the point of interest with respect to time.
  • FIG. 34 is a diagram schematically illustrating another example of how the insertion unit moves.
  • FIG. 35 is a diagram illustrating another example of the distance from the tip of the insertion portion of the point of interest with respect to time.
  • FIG. 36 is a diagram illustrating an example of a change in self-following property with respect to time.
  • FIG. 37 is a block diagram illustrating an outline of a configuration example of an insertion / extraction support device used in the third state determination method.
  • FIG. 38 is a flowchart illustrating an example of processing in the third state determination method.
  • FIG. 39 is a diagram for explaining the fourth state determination method, and schematically illustrates an example of a state of movement of the insertion unit.
  • FIG. 40 is a diagram for explaining the relationship between the tangent direction and the movement amount in the fourth state determination method.
  • FIG. 41 is a diagram illustrating an example of a change in the ratio of the tangential direction in the displacement of the insertion portion with respect to time.
  • FIG. 42 is a diagram illustrating another example of a change in the ratio of the tangential direction in the displacement of the insertion portion with respect to time.
  • FIG. 43 is a diagram illustrating an example of a change in lateral movement of the insertion portion with time.
  • FIG. 44 is a block diagram illustrating an outline of a configuration example of an insertion / extraction support device used in the fourth state determination method.
  • FIG. 45 is a flowchart illustrating an example of processing in the fourth state determination method.
  • FIG. 45 is a flowchart illustrating an example of processing in the fourth state determination method.
  • FIG. 46 is a diagram for describing a modified example of the fourth state determination method, and is a diagram schematically illustrating an example of a state of movement of the insertion unit.
  • FIG. 47 is a diagram illustrating an example of a change in the leading end advancement of the insertion portion with respect to time.
  • FIG. 48 is a diagram illustrating an outline of a configuration example of an operation support information creation device according to an embodiment.
  • FIG. 49 is a diagram illustrating an example of menu items related to input of first operator information.
  • FIG. 50 is an example of an image as operation support information displayed on the display device.
  • FIG. 51 is an example of an image as operation support information displayed on the display device.
  • FIG. 52 is a diagram illustrating an example of menu items related to input of first operator information.
  • FIG. 53 is a diagram illustrating an example of user specific information as an example of second operator information.
  • FIG. 54 is a diagram illustrating an example of subject information as an example of second operator information.
  • FIG. 55 is a diagram illustrating an example of setting reference information as an example of second operator information.
  • FIG. 56 is a diagram illustrating an example of device information as an example of second operator information.
  • FIG. 57 is a diagram for describing an example of creation of operation support information.
  • FIG. 58 is a diagram illustrating an example of a schematic configuration when a plurality of insertion bodies are used in the insertion / extraction device.
  • FIG. 1 shows an outline of a configuration example of an insertion / extraction device 1 according to the present embodiment.
  • the insertion / extraction device 1 includes an insertion / extraction support device 100, an endoscope 200, a control device 310, a display device 320, and an input device 330.
  • the endoscope 200 is a general endoscope.
  • the control device 310 is a control device that controls the operation of the endoscope 200.
  • the control device 310 may acquire information necessary for control from the endoscope 200.
  • the display device 320 is a general display device.
  • the display device 320 includes, for example, a liquid crystal display.
  • the display device 320 displays an image acquired by the endoscope 200 and information related to the operation of the endoscope 200 created by the control device 310.
  • the input device 330 receives user input to the insertion / extraction support device 100 and the control device 310.
  • the input device 330 includes, for example, a button switch, a dial, a touch panel, a keyboard, and the like.
  • the insertion / removal support apparatus 100 performs information processing for assisting the user in inserting or removing the insertion portion of the endoscope 200 from the subject.
  • the endoscope 200 is, for example, a large intestine endoscope.
  • the endoscope 200 includes an insertion portion 203 as an insertion body having a flexible elongated shape, and an operation portion 205 provided at one end of the insertion portion 203.
  • the side on which the operation unit 205 of the insertion unit 203 is provided is referred to as a rear end side, and the other end is referred to as a front end side.
  • a camera is provided on the distal end side of the insertion unit 203, and an image is acquired by the camera.
  • the acquired image is displayed on the display device 320 after various general image processing is performed.
  • a bending portion is provided at the distal end portion of the insertion portion 203, and the bending portion is bent by the operation of the operation unit 205.
  • the user grasps the operation unit 205 with the left hand and inserts the insertion unit 203 into the subject while feeding the insertion unit 203 with the right hand or pulling it.
  • the insertion unit 203 is provided with a sensor 201.
  • Various sensors can be used as the sensor 201.
  • a configuration example of the sensor 201 will be described with reference to FIGS.
  • FIG. 2 is a diagram illustrating a first example of the configuration of the sensor 201.
  • the insertion unit 203 is provided with a shape sensor 211 and an insertion amount sensor 212.
  • the shape sensor 211 is a sensor for acquiring the shape of the insertion unit 203. According to the output of the shape sensor 211, the shape of the insertion portion 203 can be acquired.
  • the insertion amount sensor 212 is a sensor for acquiring an insertion amount that is the amount that the insertion unit 203 has been inserted into the subject. According to the output of the insertion amount sensor 212, the position of a predetermined portion on the rear end side of the insertion portion 203 measured by the insertion amount sensor 212 can be acquired. Based on the position of the predetermined portion on the rear end side of the insertion part 203 and the shape of the insertion part 203 including the position, the position of each part of the insertion part 203 can be acquired.
  • FIG. 3 is a diagram illustrating a second example of the configuration of the sensor 201.
  • the insertion unit 203 is provided with a shape sensor 221 and a position sensor 222 for acquiring the shape of the insertion unit 203.
  • the position sensor 222 detects the position of the place where the position sensor 222 is arranged.
  • FIG. 3 shows an example in which the position sensor 222 is provided at the distal end of the insertion portion 203.
  • each portion of the insertion portion 203 (arbitrary The position, orientation, and curved shape of the point) can be obtained by calculation or estimation.
  • FIG. 4 is a diagram illustrating a third example of the configuration of the sensor 201.
  • the insertion unit 203 is provided with a plurality of position sensors 230 for acquiring the position of each part of the insertion unit 203.
  • the position of the position where the position sensor 230 of the insertion unit 203 is provided can be acquired.
  • the shape of the insertion unit 203 can be acquired.
  • the shape sensor 260 provided in the insertion unit 203 includes a plurality of shape detection units 261.
  • FIG. 5 shows an example in which four shape detection units 261 are provided for simplicity. That is, the shape sensor 260 includes the first shape detection unit 261-1, the second shape detection unit 261-2, the third shape detection unit 261-3, and the fourth shape detection unit 261-4. including. Any number of shape detection units may be used.
  • Each shape detection unit 261 has an optical fiber 262 provided along the insertion portion 203.
  • a reflection member 264 is provided at the end of the optical fiber 262 on the distal end side.
  • a branching portion 263 is provided on the rear end side of the optical fiber 262.
  • An incident lens 267 and a light source 265 are provided at one branched end on the rear end side of the optical fiber 262.
  • an exit lens 268 and a photodetector 266 are provided.
  • the optical fiber 262 is provided with a detection region 269.
  • the detection area 269 includes a first detection area 269-1 provided in the first shape detection unit 261-1 and a second detection area 269-2 provided in the second shape detection unit 261-2.
  • a third detection region 269-3 provided in the third shape detection unit 261-3 and a fourth detection region 269-4 provided in the fourth shape detection unit 261-4.
  • the position of the portion 203 in the longitudinal direction is different.
  • the light emitted from the light source 265 enters the optical fiber 262 through the incident lens 267. This light travels through the optical fiber 262 toward the tip, and is reflected by the reflecting member 264 provided at the tip. The reflected light travels in the rear end direction through the optical fiber 262 and enters the photodetector 266 through the exit lens 268.
  • the light propagation efficiency in the detection region 269 changes according to the curved state of the detection region 269. For this reason, the curved state of the detection region 269 can be acquired based on the amount of light detected by the photodetector 266.
  • the curved state of the first detection region 269-1 can be acquired.
  • the curved state of the second detection region 269-2 is acquired based on the amount of light detected by the photodetector 266 of the second shape detection unit 261-2, and the third shape detection unit 261-3 is obtained.
  • the curved state of the third detection region 269-3 is acquired based on the light amount detected by the light detector 266, and based on the light amount detected by the light detector 266 of the fourth shape detection unit 261-4.
  • the curved state of the fourth detection region 269-4 is acquired. In this way, the bending state of each part of the insertion unit 203 can be detected, and the shape of the entire insertion unit 203 can be acquired.
  • FIG. 6 is a diagram illustrating an example of the configuration of the insertion amount sensor 212.
  • the insertion amount sensor 212 includes a holding member 241 that is fixed to the insertion port of the subject.
  • the holding member 241 is provided with a first encoder head 242 for detecting the insertion direction and a second encoder head 243 for detecting the twist direction.
  • An encoder pattern is formed in the insertion portion 203.
  • the first encoder head 242 detects the amount of insertion in the longitudinal direction when the insertion portion 203 is inserted based on the encoder pattern formed in the insertion portion 203.
  • the second encoder head 243 detects the amount of rotation in the circumferential direction when the insertion unit 203 is inserted based on the encoder pattern formed in the insertion unit 203.
  • FIG. 7 is a diagram illustrating another example of the configuration of the insertion amount sensor 212.
  • the insertion amount sensor 212 includes a first roller 246 for detecting the insertion direction, a first encoder head 247 for detecting the insertion direction, a second roller 248 for detecting the twist direction, and a twist direction detection.
  • the first roller 246 rotates along with the movement of the insertion portion 203 in the longitudinal direction.
  • An encoder pattern is formed on the first roller 246.
  • the first encoder head 247 faces the first roller 246.
  • the first encoder head 247 detects the amount of insertion in the longitudinal direction when the insertion unit 203 is inserted based on the amount of rotation of the first roller 246 that is rotated along with the insertion.
  • the second roller 248 rotates along with the rotation of the insertion portion 203 in the circumferential direction.
  • An encoder pattern is formed on the second roller 248.
  • the second encoder head 249 is opposed to the second roller 248.
  • the second encoder head 249 detects the amount of rotation in the circumferential direction when the insertion portion 203 is inserted based on the amount of rotation of the second roller 248 that has rotated along with the rotation.
  • the portion of the insertion portion 203 at the position of the insertion amount sensor 212 and its rotation angle are specified. obtain. That is, the position of any part of the insertion unit 203 can be specified.
  • the position sensors 222 and 230 include, for example, a coil for generating magnetism provided in the insertion unit 203 and a receiving device configured to be provided outside the subject. By detecting the magnetic field formed by the magnetic coils with the receiving device, the position of each coil can be obtained.
  • the position sensor is not limited to one using magnetism.
  • the position sensor includes a transmitter provided in the insertion unit 203 that transmits any one of a light wave, a sound wave, an electromagnetic wave, and the like, and a receiver provided outside the subject that receives a signal generated by the transmitter. Various configurations can be used.
  • the position of the distal end 510 of the insertion portion 203 can be acquired.
  • the position of the tip 510 can be expressed as coordinates with reference to the insertion port in the subject, for example.
  • the position of the insertion unit 203 located at the insertion port of the subject is based on the output of the insertion amount sensor 212. Can be acquired. Based on this position, based on the shape of the insertion portion 203 acquired by the shape sensor 211, the position of the distal end 510 of the insertion portion 203 with respect to the insertion port of the subject can be acquired.
  • the position of the position sensor 222 in the insertion unit 203 is already known. Based on the shape of the inserted portion 203, the position of the distal end 510 of the inserted portion 203 with respect to the position sensor 222 can be acquired. Since the position of the position sensor 222 relative to the subject can be acquired by the output of the position sensor 222, the position of the distal end 510 of the insertion portion 203 relative to the insertion port of the subject can be acquired.
  • the position sensor 222 is provided at the distal end 510 of the insertion unit 203, the position of the distal end 510 of the insertion unit 203 with respect to the insertion port of the subject can be directly acquired based on the output of the position sensor 222. .
  • the insertion unit 203 is inserted into the insertion port of the subject.
  • the position of the tip 510 can be obtained.
  • the reference position is the insertion port of the subject.
  • the reference position may be any position.
  • a location where (directly) sensing is performed in the insertion unit 203 is referred to as a “detection point”, and in this embodiment, a location where position information is (directly) acquired in the insertion unit 203 is referred to as a “detection point”.
  • the shape of the insertion portion 203 can be acquired.
  • the shape sensors 211 and 221 are provided as in the first example and the second example described above, the shape of the insertion portion 203 can be acquired based on the outputs of these sensors.
  • the shape of the insertion portion 203 can be acquired based on the outputs of these sensors.
  • the shape of the insertion unit 203 is obtained based on the result of the operation for interpolating the position of.
  • the position of a characteristic part of the shape of the insertion portion 203 is obtained.
  • the curved portion is defined as the predetermined shape region 530
  • the position of the folded end 540 of the curved portion of the insertion portion 203 is obtained.
  • the folding end is determined as follows, for example.
  • the insertion portion 203 is directed upward in the drawing and then curved and directed downward.
  • the folded end can be defined as the uppermost point in FIG. 8, for example.
  • the folded end can be defined as a point positioned at the end in a predetermined direction when the insertion portion 203 is curved.
  • the point at which sensing information of the insertion unit 203 is desired to be obtained directly or by estimation will be referred to as “attention point”.
  • attention is paid to characteristic “attention points” determined based on the shape of the insertion portion 203.
  • the point of interest is not limited to the folded end, but may be any point as long as it is a characteristic point determined based on the shape of the insertion portion 203.
  • the insertion / extraction support apparatus 100 includes a position acquisition unit 110 and a shape acquisition unit 120 as shown in FIG.
  • the position acquisition unit 110 performs processing on the position information of each part of the insertion unit 203.
  • the position acquisition unit 110 includes a detection point acquisition unit 111.
  • the detection point acquisition unit 111 specifies the position of the detection point.
  • the position acquisition unit 110 can specify the position of a point of interest that can be an arbitrary part of the insertion unit 203 that is obtained from the output of the sensor 201 or the like, not limited to the detection point.
  • the shape acquisition unit 120 processes information related to the shape of the insertion unit 203.
  • the shape acquisition unit 120 includes an attention point acquisition unit 121.
  • the attention point acquisition unit 121 specifies the position of the attention point obtained based on the shape based on the shape of the insertion unit 203 and the position information calculated by the position acquisition unit 110.
  • the insertion / extraction support device 100 includes a state determination unit 130.
  • the state determination unit 130 calculates information regarding the state of the insertion unit 203 or the state of the subject into which the insertion unit 203 has been inserted, using information regarding the position of the detection point or the position of the target point. More specifically, as will be described later, it is evaluated by various methods whether or not the insertion portion 203 proceeds according to the shape of the insertion portion 203, that is, whether or not it has self-following capability. Based on the evaluation result, information related to the state of the insertion unit 203 or the state of the subject into which the insertion unit 203 has been inserted is calculated.
  • the insertion / extraction support device 100 further includes a support information creation unit 180.
  • the support information creation unit 180 creates information that assists the user in inserting the insertion unit 203 into the subject based on the information related to the state of the insertion unit 203 or the subject calculated by the state determination unit 130.
  • the support information created by the support information creation unit 180 is represented as characters and graphics, and these are displayed on the display device 320. Further, the support information creation unit 180 generates various types of information used by the control device 310 to control the operation of the endoscope 200 based on information related to the state of the insertion unit 203 or the subject calculated by the state determination unit 130. create.
  • the insertion / extraction support device 100 further includes a program memory 192 and a temporary memory 194.
  • a program for operating the insertion / removal support device 100, predetermined parameters, and the like are recorded.
  • the temporary memory 194 is used for temporary storage in calculation of each unit of the insertion / extraction support device 100.
  • the insertion / extraction support device 100 further includes a recording device 196.
  • the recording device 196 records the support information created by the support information creation unit 180.
  • the recording device 196 is not limited to being arranged in the insertion / extraction support device 100.
  • the recording device 196 may be provided outside the insertion / extraction support device 100.
  • the position acquisition unit 110, the shape acquisition unit 120, the state determination unit 130, the support information creation unit 180, and the like include a circuit such as a central processing unit (CPU) or an application specific integrated circuit (ASIC).
  • CPU central processing unit
  • ASIC application specific integrated circuit
  • the state of the insertion unit 203 is determined based on the positional relationship between a plurality of detection points.
  • FIG. 9 schematically shows the movement of the insertion portion 203 between time t1 and time t2.
  • the state of the insertion unit 203 at time t1 is represented by a solid line
  • the state of the insertion unit 203 at time t2 is represented by a broken line.
  • tip part and rear-end side of the insertion part 203 is pinpointed as an attention point.
  • An arbitrary portion on the rear end side is defined as a predetermined portion, and is referred to as a rear target point.
  • the position at which the position sensor is arranged is set as the rear attention point. That is, the case where the rear attention point is a detection point will be described as an example.
  • this point will be referred to as a rear detection point.
  • one of the points of interest is not limited to the tip portion, but may be an arbitrary location on the tip side, but here it will be described as the tip.
  • the position sensor is arranged at the tip portion will be described as an example. That is, the case where the tip is also a detection point will be described as an example.
  • the distal end portion of the insertion portion 203 is located at the first distal end position 602-1.
  • the rear detection point of the insertion portion 203 is located at the first rear end position 604-1.
  • the distal end portion of the insertion portion 203 is located at the second distal end position 602-2.
  • the rear detection point of the insertion portion 203 is located at the second rear end position 604-2.
  • the displacement from the first tip position 602-1 to the second tip position 602-2 that is, the displacement of the tip is defined as ⁇ X21.
  • the displacement from the first rear end position 604-1 to the second rear end position 604-2, that is, the displacement of the rear detection point is represented by ⁇ X11.
  • FIG. 10 shows a schematic diagram when the insertion portion 203 is inserted along the subject 910 in the curved portion 914 where the subject is curved.
  • the distal end of the insertion portion 203 is located at the third distal end position 602-3.
  • the rear detection point of the insertion portion 203 is located at the third rear end position 604-3.
  • the displacement from the second tip position 602-2 to the third tip position 602-3, that is, the displacement of the tip is defined as ⁇ X22.
  • the displacement from the second rear end position 604-2 to the third rear end position 604-3, that is, the displacement of the rear detection point is represented by ⁇ X12.
  • FIG. 11 shows a schematic diagram when the insertion portion 203 is not inserted along the subject in the curved portion 914 where the subject is curved.
  • the distal end portion of the insertion portion 203 is located at the third distal end position 602-3 ′.
  • the rear detection point of the insertion portion 203 is located at the third rear end position 604-3 ′.
  • the displacement from the second tip position 602-2 to the third tip position 602-3 ′, that is, the displacement of the tip is defined as ⁇ X22 ′.
  • the displacement from the second rear end position 604-2 to the third rear end position 604-3 ′, that is, the displacement of the rear detection point is represented by ⁇ X12 ′.
  • time change from time t1 to time t2 and the time change from time t2 to time t3 are equal to each other in this example so that automatic measurement is often performed.
  • the distal end of the insertion portion 203 is pressed or pressed by the subject 910 as shown by the white arrow in FIG.
  • the pressure on the subject 910 by the insertion portion 203 is large at the distal end portion of the insertion portion 203.
  • buckling occurs at a portion 609 between the distal end portion of the insertion portion 203 and the rear detection point.
  • the movement amount of the rear detection point that is the detection point on the rear end side of the insertion portion 203 is equal to the movement amount of the front end portion that is the detection point on the front end side, that is, the movement amount of the rear detection point and the front end portion
  • the degree of interlocking with the movement amount is high, it can be seen that the insertion unit 203 is smoothly inserted along the subject 910.
  • the movement amount of the distal end portion is smaller than the movement amount of the rear detection point, that is, when the degree of interlocking between the movement amount of the rear detection point and the movement amount of the distal end portion is low, the distal end portion of the insertion portion 203 It can be seen that is stagnant.
  • the buckling of the insertion portion 203, the magnitude of the pressure on the subject, and the like become clear. That is, according to the first state determination method, information related to the state of the insertion unit or the subject can be acquired.
  • the first operation support information ⁇ 1 is introduced as a value indicating the state of the insertion unit 203 as described above.
  • the first operation support information ⁇ 1 can be defined as follows when the displacement of the tip is ⁇ X2 and the displacement of the rear detection point is ⁇ X1. ⁇ 1 ⁇
  • the first operation support information ⁇ 1 indicates that the value closer to 1 indicates that the insertion unit 203 is inserted along the subject 910.
  • the first operation support information ⁇ 1 may also be defined as follows. ⁇ 1 ⁇ (
  • C1, C2, L, and M are arbitrary real numbers.
  • the parameters C1, C2, L, and M are set as follows.
  • C1 N1
  • C2 ⁇ N2
  • ⁇ N2 -
  • ⁇ 1 and N2 for example, a value about three times the standard deviation ( ⁇ ) of the noise level may be set.
  • the above-described curved portion 914 corresponds to, for example, the uppermost portion of the sigmoid colon (so-called “S-top”).
  • FIG. 12 shows an outline of a configuration example of the insertion / extraction support apparatus 100 for executing the first state determination method.
  • the insertion / extraction support apparatus 100 includes a position acquisition unit 110 having a detection point acquisition unit 111, a state determination unit 130, and a support information creation unit 180.
  • the detection point acquisition unit 111 acquires the positions of a plurality of detection points based on information output from the sensor 201.
  • the state determination unit 130 includes a displacement information acquisition unit 141, an interlocking condition calculation unit 142, and a buckling determination unit 143.
  • the displacement information acquisition unit 141 calculates the displacement of each detection point based on the positions of the plurality of detection points with respect to the passage of time.
  • the interlocking degree calculation unit 142 calculates the interlocking degree of a plurality of detection points based on the displacement of each detection point and the interlocking condition information 192-1 recorded in the program memory 192.
  • the interlocking condition information 192-1 has, for example, a relationship between a displacement difference of each detection point and an evaluation value of the interlocking condition.
  • the buckling determination unit 143 determines the buckling state of the insertion unit 203 based on the calculated interlocking condition and the determination reference information 192-2 recorded in the program memory 192.
  • the criterion information 192-2 has, for example, a relationship between the interlocking condition and the buckling state.
  • the support information creation unit 180 creates operation support information based on the determined buckling state.
  • the operation support information is fed back to control by the control device 310, displayed on the display device 320, or recorded in the recording device 196.
  • step S101 the insertion / extraction support apparatus 100 acquires output data from the sensor 201.
  • step S102 the insertion / extraction support device 100 acquires the positions of a plurality of detection points based on the data acquired in step S101.
  • step S103 the insertion / extraction support device 100 acquires a change over time of each position of each detection point.
  • step S104 the insertion / extraction support device 100 evaluates the difference between the detection points in the position change related to the detection points. That is, the interlocking degree of the position change of a plurality of detection points is calculated.
  • step S105 the insertion / extraction support device 100 evaluates buckling, such as whether or not buckling has occurred between the detection point and the detection point, based on the interlocking degree calculated in step S104. .
  • step S ⁇ b> 106 the insertion / extraction support device 100 creates support information suitable for use in subsequent processing based on the evaluation result such as whether or not buckling has occurred, and the support information is used as the control device 310 or the like.
  • the data is output to the display device 320.
  • step S107 the insertion / extraction support device 100 determines whether or not an end signal for ending the process has been input. When no end signal is input, the process returns to step S101. That is, the above process is repeated until an end signal is input, and operation support information is output. On the other hand, when an end signal is input, the process ends.
  • the positions of two or more detection points are specified, and abnormalities such as whether or not buckling has occurred in the insertion portion 203 based on the interlocking state of the movement amounts thereof. Operation support information indicating whether or not a problem has occurred can be created.
  • the case where the operation support information is created based on the detection point, that is, the position where direct sensing is performed is shown as an example. However, it is not limited to this.
  • information on the point of interest that is, an arbitrary position of the insertion unit 203 may be used.
  • the position of the target point is used, not the detection point acquisition unit 111 but the position acquisition unit 110 acquires the position of the target point, and the acquired position of the target point is used. Other processes are the same.
  • the present invention is not limited thereto, and the number of detection points may be any number. If the number of detection points increases, more detailed information regarding the state of the insertion unit 203 can be acquired. For example, as shown in FIG. 14, when there are four detection points, the following occurs. That is, in this example, as shown in FIG. 14, four detection points 605-1, 606-1, 607-1, and 608-1 are provided in the insertion unit 203.
  • the four detection points 605-1, 606-1, 607-1, and 608-1 at time t1 are Movement amounts ⁇ X51, ⁇ X61, ⁇ X71, and ⁇ X81 up to the four detection points 605-2, 606-2, 607-2, and 608-2 at time t2 are substantially equal to each other.
  • the insertion portion 203 is not limited to the case where the insertion portion 203 is buckled in the subject.
  • FIG. A curved portion may be deformed (extended) by the insertion portion 203.
  • FIG. 17 schematically shows the shape of the insertion portion 203 at time t4 and the shape of the insertion portion 203 at time t5 when time ⁇ t has elapsed from time t4.
  • the second movement amount ⁇ X23 which is the difference between the tip position 602-4 at time t4 and the tip position 602-5 at time t5, is the rear end position 604 at time t4.
  • the first state determination method it is possible to detect not only buckling but also a change in the insertion state that is not intended as a detection target, such as deformation of the subject 910 by the insertion unit 203. .
  • the state of the insertion unit 203 is determined based on the characteristic displacement of the point of interest specified by the shape.
  • FIG. 18 schematically shows the shape of the insertion portion 203 at time t1 and the shape of the insertion portion 203 at time t2 when time ⁇ t has elapsed from time t1.
  • an arbitrary portion on the rear end side of the insertion portion 203 moves from the first rear end position 614-1 to the second rear end position 614-2.
  • the arbitrary position on the rear end side is the position of the position sensor arranged on the rear end side. This position will be referred to as a rear detection point.
  • the distal end of the insertion portion 203 moves from the first distal end position 612-1 to the second distal end position 612-2.
  • FIG. 19 schematically shows the shape of the insertion portion 203 at time t2 and the shape of the insertion portion 203 at time t3 when time ⁇ t has elapsed from time t2.
  • the insertion unit 203 is inserted along the subject 910. That is, the rear detection point of the insertion portion 203 moves by the distance ⁇ X1 from the second rear end position 614-2 to the third rear end position 614-3. At this time, the distal end of the insertion portion 203 moves by a distance ⁇ X2 along the insertion portion 203 from the second distal end position 612-2 to the third distal end position 612-3.
  • the folded end (the position shown on the uppermost side in FIG. 19) of the portion where the insertion portion 203 is curved is set as the attention point 616.
  • the shape of the insertion portion 203 is specified, and the position of the attention point 616 is specified based on the specified shape.
  • the position of the target point 616 does not change even if the position of the rear detection point of the insertion unit 203 changes. That is, between time t2 and time t3, the insertion unit 203 is inserted along the subject 910, and the insertion unit 203 is inserted so as to slide in the longitudinal direction. Therefore, the position of the point of interest 616 does not change between time t2 and time t3.
  • FIG. 20 schematically shows another state between the shape of the insertion portion 203 at time t2 and the shape of the insertion portion 203 at time t3 when time ⁇ t has elapsed from time t2.
  • the insertion unit 203 is not inserted along the subject 910.
  • the rear detection point of the insertion portion 203 moves by the distance ⁇ X3 from the second rear end position 614-2 to the third rear end position 614-3 ′.
  • the distal end of the insertion portion 203 moves from the second distal end position 612-2 to the third distal end position 612-3 ′ by a distance ⁇ X5 upward in FIG.
  • the situation shown in FIG. 20 may occur, for example, when the distal end portion of the insertion portion 203 is caught by the subject 910 and the insertion portion 203 does not advance in the longitudinal direction. At this time, the subject 910 is pushed in as the insertion unit 203 is inserted. As a result, the position of the point of interest 616 is folded back from the first position 616-1 to the second position 616-2 as the position of the rear detection point of the insertion section 203 changes. It is displaced by a distance ⁇ X4 in the end direction. That is, the subject 910 is extended.
  • the case where the insertion unit 203 is inserted along the subject It can be discriminated from the case where it is not inserted along the specimen.
  • the case where the insertion unit 203 moves in a stick state is shown.
  • the extension state of the subject 910 can be determined based on the change in the position of the point of interest. Further, when the subject is extended, the insertion unit 203 is pressing or compressing the subject 910.
  • the subject 910 presses the insertion portion 203 as indicated by the white arrow in FIG. Conversely, the insertion unit 203 presses the subject 910. From this, the magnitude of the pressure on the subject becomes clear based on the change in the position of the point of interest.
  • FIG. 21 shows changes in the position of the target point with respect to the passage of time or the movement amount ⁇ X1 of the detection point.
  • the position of the point of interest is shown, for example, with the folded end direction as the plus direction.
  • the insertion portion 203 is normally inserted as indicated by the solid line, the position of the point of interest varies with a value smaller than the threshold value a1.
  • the position of the point of interest changes beyond the threshold value a1.
  • the threshold value a1 is set to a value that should output a warning that the subject 910 has started to stretch, and the threshold value b1 is a warning that there is a danger if the subject 910 extends beyond this point.
  • the threshold value can be set as appropriate, such as a value to be output.
  • the information on the position of the point of interest can be used as information for supporting the operation of the endoscope 200, such as a warning to the user and an output of a warning signal to the control device 310.
  • the second operation support information ⁇ 2 is introduced as a value indicating the state of the insertion unit 203 as described above.
  • the second operation support information ⁇ 2 can be defined as follows. ⁇ 2 ⁇
  • the second operation support information ⁇ 2 indicates that the closer the value is to 0, the more the insertion unit 203 is inserted along the subject 910. The closer the value is to 1, the more the insertion unit 203 It shows that the specimen 910 is being pressed.
  • the second operation support information ⁇ 2 may be defined as follows. ⁇ 2 ⁇ ( ⁇ Xc + C2) L / (
  • C1, C2, L, and M are arbitrary real numbers.
  • the detected noise component levels of ⁇ Xd and ⁇ Xc are Nd and Nc (Nd, Nc ⁇ 0), the amount of pushing that does not apply a load from the state in which the insertion portion is in contact with the subject is P, and parameters k1 and k2 are used.
  • Nd ⁇ k1 ⁇ P (1 ⁇ k2 >> k1 ⁇ 0) is assumed.
  • the second operation support information ⁇ 2 in which the influence of detection omission is reduced with respect to a certain amount of movement based on the influence of noise can be obtained. Furthermore, by performing measurement such that k2 ⁇ P ⁇
  • FIG. 22 shows an outline of a configuration example of an operation support apparatus for executing the second state determination method.
  • the insertion / extraction support apparatus 100 includes a position acquisition unit 110, a shape acquisition unit 120, a state determination unit 130, and a support information creation unit 180.
  • the detection point acquisition unit 111 of the position acquisition unit 110 acquires, for example, the position of the detection point that is a position where the position sensor on the rear end side of the insertion unit 203 is arranged.
  • the shape acquisition unit 120 acquires the shape of the insertion unit 203 based on information output from the sensor 201.
  • the point-of-interest acquisition unit 121 of the shape acquisition unit 120 acquires the position of the point of interest that is the folding end of the curved portion of the insertion unit 203 based on the shape of the insertion unit 203.
  • the state determination unit 130 includes a displacement acquisition unit 151, a displacement information calculation unit 152, and an attention point state determination unit 153.
  • the displacement acquisition unit 151 calculates the displacement of the target point based on the position of the target point with respect to the passage of time and the displacement analysis information 192-3 recorded in the program memory 192. Further, the displacement acquisition unit 151 calculates the displacement of the detection point based on the position of the detection point with respect to time and the displacement analysis information 192-3 recorded in the program memory 192.
  • the displacement acquisition unit 151 functions as a first displacement acquisition unit that acquires the first displacement of the point of interest, and further functions as a second displacement acquisition unit that acquires the second displacement of the detection point. To do.
  • the displacement information calculation unit 152 calculates displacement information based on the calculated displacement of the point of interest and the displacement of the detection point.
  • the attention point state determination unit 153 calculates the state of the attention point based on the calculated displacement information and the support information determination reference information 192-4 recorded in the program memory 192.
  • the support information creation unit 180 creates operation support information based on the determined state of the point of interest.
  • the operation support information is fed back to the control of the control device 310, displayed on the display device 320, or recorded on the recording device 196.
  • step S201 the insertion / extraction support apparatus 100 acquires output data from the sensor 201.
  • step S202 the insertion / extraction support device 100 acquires the position of the detection point on the rear end side based on the data acquired in step S201.
  • step S203 the insertion / extraction support apparatus 100 acquires the shape of the insertion unit 203 based on the data acquired in step S201.
  • step S204 the insertion / extraction support apparatus 100 acquires the position of the point of interest based on the shape of the insertion unit 203 acquired in step S203.
  • step S205 the insertion / extraction support device 100 acquires a change over time of the position of the point of interest.
  • the insertion / extraction support device 100 calculates an evaluation value of the position change of the target point such as the second operation support information ⁇ 2 based on the position change of the detection point and the position change of the target point.
  • step S207 the insertion / extraction support device 100 evaluates the extension based on the evaluation value calculated in step S206, such as whether or not the extension of the subject has occurred around the point of interest.
  • step S208 the insertion / extraction support apparatus 100 creates support information suitable for use in later processing based on the determination result of whether or not the subject has stretched, the second operation support information ⁇ 2, and the like.
  • the support information is output to the control device 310 and the display device 320, for example.
  • step S209 the insertion / extraction support device 100 determines whether or not an end signal for ending the process has been input. If no end signal is input, the process returns to step S201. That is, the above process is repeated until an end signal is input, and operation support information is output. On the other hand, when an end signal is input, the process ends.
  • the displacement of the point of interest can be identified, and operation support information such as whether or not extension has occurred in the subject can be created based on this displacement.
  • operation support information such as whether or not extension has occurred in the subject.
  • the operation support information is created based on the detection point on the rear end side, that is, the position where direct sensing is performed is shown as an example.
  • information on the point of interest that is, an arbitrary position of the insertion unit 203 may be used.
  • the position of the target point not the detection point acquisition unit 111 but the position acquisition unit 110 acquires the position of the target point, and the acquired position of the target point is used.
  • Other processes are the same.
  • the point of interest may be any part of the insertion unit 203. Any location may be used as long as the feature is recognized in the shape of the insertion portion 203 and the point of interest can be identified. For example, as shown in FIG. 24, in addition to the first point of interest 617 specified by the curved portion that occurs first when the insertion portion 203 is inserted into the subject 910, the curved portion that is generated when the insertion portion 203 is further inserted.
  • the second point of interest 618 identified by may be analyzed. For example, as shown in FIG. 25, with the insertion of the insertion unit 203, the position of the first point of interest 617 may not change, and the position of the second point of interest 618 may change.
  • extension occurs at the first point of interest 617 based on the amount of movement ⁇ X1 of the rear detection point, the amount of movement ⁇ X2 of the second point of interest 618, and the like.
  • the determination result that the extension has occurred at the second attention point 618 is output as the operation support information.
  • the point of interest may be any location as long as it is a position determined based on the shape of the insertion portion 203.
  • it may be the folded end of the curved portion as in the above-described example, the bending start position of the curved portion, or a linear portion such as a midpoint between the curved portion and the distal end of the insertion portion 203.
  • the middle point of the curved portion and the curved portion when there are two or more curved portions may be used.
  • operation support information can be output as in the above example.
  • an arbitrary portion on the rear end side of the insertion unit 203 has been described as an example, but the detection point is not limited thereto.
  • the position of the detection point may be any position on the insertion unit 203.
  • the state of the insertion unit 203 is determined based on a change in the position of the point of interest in the insertion unit 203.
  • FIG. 26 schematically shows the shape of the insertion portion 203 at time t1 and the shape of the insertion portion 203 at time t2 when time ⁇ t has elapsed from time t1.
  • an arbitrary portion on the rear end side of the insertion portion 203 moves by a distance ⁇ X1 from the first rear end position 624-1 to the second rear end position 624-2.
  • the following description will be given by taking the position where the position sensor is arranged as an example of the arbitrary position on the rear end side.
  • this portion will be referred to as a rear detection point.
  • the distal end of the insertion portion 203 moves by a distance ⁇ X2 from the first distal end position 622-1 to the second distal end position 622-2.
  • the distance ⁇ X1 and the distance ⁇ X2 are equal.
  • a turning end of a portion where the insertion portion 203 is curved at time t2 is set as a point of interest 626-2.
  • a point that coincides with the point of interest 626-2 in the insertion unit 203 is set as a second point 628-2.
  • the second point 628-2 can be expressed by a distance from the distal end of the insertion portion 203 that is determined along the longitudinal axis of the insertion portion 203, for example.
  • FIG. 27 schematically shows the shape of the insertion portion 203 at time t2 and the shape of the insertion portion 203 at time t3 when time ⁇ t has elapsed from time t2.
  • the insertion portion 203 is inserted substantially along the subject 910.
  • the rear detection point of the insertion unit 203 is inserted by the distance ⁇ X1.
  • the turning end of the portion where the insertion portion 203 is curved at time t3 be a point of interest 626-3.
  • a point on the insertion unit 203 that moves together with the insertion / removal of the insertion unit 203 and does not change the distance from the tip of the insertion unit 203 is the third point that matches the point of interest 626-3.
  • Point 628-3 Similarly to the second point 628-2, the third point 628-3 can be expressed by a distance from the distal end of the insertion portion 203, for example.
  • the point indicating the position of the point of interest 626 in the insertion unit 203 from time t2 to time t3 is the insertion point from the second point 628-2 to the third point 628-3. Looking at the relative position from the tip of 203, it moves backward along the insertion portion 203 by ⁇ Sc.
  • the displacement ⁇ Sc from the second point 628-2 to the third point 628-3 indicating the position of the point of interest 626 in the insertion unit 203 is inserted. It becomes equal to the displacement ⁇ X1 of the rear detection point of the unit 203.
  • the state in which the insertion unit 203 is inserted along the subject is referred to as a self-following state.
  • FIG. 28 schematically shows the shape of the insertion section 203 at time t2 and time t3 when the insertion section 203 is not inserted along the subject 910. Even in this case, the rear detection point of the insertion unit 203 is inserted by the distance ⁇ X1. In the case shown in FIG. 28, the insertion portion 203 is in a stick state, and the subject 910 is extended.
  • a point that coincides with the attention point 626-3 ′ in the insertion portion 203 is a third point 628-3 ′.
  • the point indicating the position of the point of interest 626 in the insertion unit 203 moves backward along the insertion unit 203 by ⁇ Sc ′ from the second point 628-2 to the third point 628-3 ′.
  • the point indicating the position of the point of interest 626 in the insertion unit 203 changes from the second point 628-2 to the third point 628-3 ′,
  • the displacement ⁇ Sc ′ is much smaller than the displacement ⁇ X1 of the rear detection point of the insertion portion 203.
  • the insertion unit 203 is inserted along the subject 910 according to the amount of insertion of the insertion unit 203 and the change in the position of the point of interest in the insertion unit 203.
  • the amount of insertion of the insertion unit 203 and the change in the position of the point of interest in the insertion unit 203 are linked, it becomes clear that the insertion unit 203 is inserted along the subject 910.
  • the insertion amount of 203 and the change in the position of the point of interest in the insertion unit 203 are not linked, it becomes clear that the insertion unit 203 is not inserted along the subject 910.
  • FIGS. 29 shows that the insertion portion 203 is inserted along the subject 910 in the first curved portion 911 of the subject 910 shown on the upper side of the drawing, and the second curved portion of the subject 910 shown on the lower side of the drawing.
  • a case where the distal end of the insertion portion 203 arrives at 912 is shown.
  • FIG. 30 the insertion portion 203 is inserted along the subject 910 in the first curved portion 911, but the insertion portion 203 is not inserted along the subject 910 in the second curved portion 912.
  • the case where the insertion part 203 is a stick state is shown.
  • FIG. 31 schematically shows changes in the position of the point of interest in the insertion portion 203 in the case shown in FIGS.
  • the first curved portion 911 detected first according to the insertion amount.
  • the first point of interest R1 corresponding to moves in the rear end direction.
  • a second point of interest R2 corresponding to the second curved portion 912 is detected at time t3.
  • the second attention point R2 does not move toward the rear end of the insertion portion 203 according to the insertion amount.
  • the shape of the insertion portion 203 at the second attention point R2 can be changed from the previous shape.
  • the aspect of the change of the position in the insertion part 203 of the point determined based on the point of interest differs between the high self-following part and the low part.
  • the third state determination method will be further described with reference to FIGS. 32 to 35.
  • the insertion unit 203 sequentially transitions to the first state 203-1, the second state 203-2, and the third state 203-3 as shown in FIG. From the first state 203-1 to the second state 203-2, the insertion unit 203 is inserted along the subject 910, and from the second state 203-2 to the third state 203-3, the insertion unit 203 is inserted.
  • the subject 910 extends in the apex direction by being pressed by.
  • the horizontal axis indicates the passage of time, that is, the displacement of the detection point 624 on the rear end side
  • the vertical axis indicates the position of the point of interest 626 in the insertion unit 203, that is, the distance from the tip of the point of interest 626. 33. That is, as shown in FIG. 33, as in the first state 203-1, the point of interest is not detected for a while from the start of insertion.
  • the distance from the tip of the point of interest is as shown in FIG. Gradually increase.
  • the insertion portion 203 is in the stick state as in the second state 203-2 to the third state 203-3, the distance from the tip of the point of interest does not change as shown in FIG. .
  • the insertion section 203 is inserted along the subject 910 from the first state 203-1 to the second state 203-2, and from the second state 203-2 to the third state.
  • the subject is pushed in an oblique direction up to 203-3.
  • the time elapses on the horizontal axis, that is, the displacement of the detection point 624 on the rear end side, and the position of the attention point 626 in the insertion unit 203, that is, the distance from the tip of the attention point 626 is shown on the vertical axis. This is the same as the case shown in FIG.
  • a determination formula indicating the self-following property R may be defined by the following formula.
  • C1, C2, L, and M are arbitrary real numbers.
  • the parameters C1, C2, L, and M are set as follows.
  • C1 N1
  • C2 ⁇ Nc
  • ⁇ Nc -
  • N1 and Nc for example, a value about three times the standard deviation ( ⁇ ) of the noise level may be set.
  • the threshold value a3 is set to a value to which a warning that the extension of the subject 910 has started to occur, and the threshold value b3 is dangerous if the subject 910 extends further.
  • a threshold value can be appropriately set, for example, a value to output a warning that there is a certain warning.
  • the value of the self-tracking ability R can be used as information for supporting the operation of the endoscope 200, such as a warning to the user or an output of a warning signal to the control device 310.
  • FIG. 37 shows an outline of a configuration example of the operation support apparatus for executing the third state determination method.
  • the insertion / extraction support apparatus 100 includes a position acquisition unit 110, a shape acquisition unit 120, a state determination unit 130, and a support information creation unit 180. Based on the information output from the sensor 201, the detection point acquisition unit 111 of the position acquisition unit 110 acquires, for example, the position of the detection point that is a position where the position sensor on the rear end side of the insertion unit 203 is arranged.
  • the shape acquisition unit 120 acquires the shape of the insertion unit 203 based on the information output from the sensor 201.
  • the attention point acquisition unit 121 of the shape acquisition unit 120 acquires the position of the attention point based on the shape of the insertion unit 203.
  • the state determination unit 130 includes a displacement acquisition unit 161, a displacement information calculation unit 162, and an attention point state determination unit 163.
  • the displacement acquisition unit 161 calculates a change in the position of the target point in the insertion unit 203 based on the shape of the insertion unit 203, the position of the target point, and the displacement analysis information 192-5 recorded in the program memory 192. . Further, the displacement acquisition unit 161 calculates a change in the position of the detection point based on the position of the detection point on the rear end side of the insertion unit 203 and the displacement analysis information 192-5 recorded in the program memory 192. As described above, the displacement acquisition unit 161 functions as a first displacement acquisition unit that acquires the first displacement of the point of interest, and also functions as a second displacement acquisition unit that acquires the second displacement of the detection point. To do.
  • the displacement information calculation unit 162 compares the displacement of the point of interest in the insertion unit 203 with the displacement of the detection point on the rear end side of the insertion unit 203, and uses the displacement analysis information 192-5 recorded in the program memory 192. The displacement information is calculated.
  • the attention point state determination unit 163 calculates the state of the portion related to the attention point based on the displacement information and the determination criterion information 192-6 recorded in the program memory 192.
  • the support information creation unit 180 creates operation support information based on the determined state of the point of interest.
  • the operation support information is fed back to the control of the control device 310, displayed on the display device 320, or recorded on the recording device 196.
  • step S301 the insertion / extraction support apparatus 100 acquires output data from the sensor 201.
  • step S302 the insertion / extraction support device 100 acquires the position of the detection point on the rear end side based on the data acquired in step S301.
  • step S303 the insertion / extraction support device 100 acquires the shape of the insertion unit 203 based on the data acquired in step S301.
  • step S304 the insertion / extraction support device 100 acquires the position of the point of interest based on the shape of the insertion unit 203 acquired in step S303.
  • step S305 the insertion / extraction support device 100 calculates the position of the point of interest in the insertion unit 203.
  • the insertion / extraction support device 100 acquires a temporal change in the position of the point of interest in the insertion unit 203.
  • step S ⁇ b> 307 the insertion / extraction support device 100 calculates an evaluation value of the position change of the target point in the insertion unit 203 such as self-following R based on the position change of the detection point and the position change of the target point in the insertion unit 203. calculate.
  • step S308 the insertion / extraction support device 100 evaluates the extension based on the evaluation value calculated in step S307, such as whether or not the extension of the subject has occurred around the point of interest.
  • step S309 the insertion / extraction support device 100 creates support information suitable for use in later processing based on the determination result of whether or not the subject has stretched, the self-following property R, and the like, and the support Information is output to the control device 310 or the display device 320, for example.
  • step S310 the insertion / extraction support apparatus 100 determines whether or not an end signal for ending the process has been input. When no end signal is input, the process returns to step S301. That is, the above process is repeated until an end signal is input, and operation support information is output. On the other hand, when an end signal is input, the process ends.
  • the displacement of the point of interest in the insertion unit 203 is specified, and based on the relationship between this displacement and the insertion amount on the rear end side of the insertion unit 203, that is, the displacement of the detection point.
  • Operation support information such as whether or not extension has occurred in the subject can be created.
  • the operation support information includes, for example, the state of the insertion unit 203 or the subject 910, the presence or absence of pressure or pressure on the subject 910 by the insertion unit 203, and the size thereof.
  • the operation support information includes information on whether or not an abnormality has occurred in the insertion unit 203 or the subject 910.
  • the point of interest used in the third state determination method may be anywhere as long as it is determined based on the shape of the insertion unit 203.
  • it may be the folded end of the curved portion as in the above-described embodiment, may be the bending start position of the curved portion, or may be any one of the straight portions such as the midpoint between the curved portion and the tip, or 2 curved portions. It may be the midpoint between the curved portion and the curved portion when there are two or more.
  • the position of the detection point is not limited to the rear end side, and may be any position. Further, a point of interest that is an arbitrary location may be used instead of the detection point.
  • the position of the target point is used, not the detection point acquisition unit 111 but the position acquisition unit 110 acquires the position of the target point, and the acquired position of the target point is used.
  • the state of the insertion unit 203 is determined based on the amount of movement of the insertion unit 203 in the tangential direction of the shape of the insertion unit 203.
  • the state of the insertion unit 203 is determined based on the amount of movement of the insertion unit 203 in the tangential direction at the point of interest.
  • the point of interest 631 is acquired based on the shape of the insertion portion 203.
  • the tangential direction 632 of the insertion portion 203 at the point of interest 631 is specified based on the shape of the insertion portion 203.
  • the self-following property is evaluated based on the relationship between the moving direction of the point on the insertion portion 203 corresponding to the point of interest 631 and the tangential direction 632. That is, it can be seen that the more the movement direction of the point on the insertion portion 203 corresponding to the point of interest 631 coincides with the tangential direction 632 of the insertion portion 203, the higher the self-following property.
  • the state of the insertion unit 203 and the state of the subject 910 are evaluated based on the ratio of the displacement amount ⁇ Sr in the tangential direction of the displacement amount ⁇ X of the point corresponding to the point of interest. . That is, the state of the insertion unit 203 and the state of the subject 910 are evaluated based on the angle ⁇ between the tangential direction and the movement direction at the point of interest.
  • the insertion portion 203 is displaced while extending the subject 910 in the direction perpendicular to the tangential line without proceeding in the tangential direction.
  • the ratio of the displacement in the tangential direction to the moving direction of the point is almost zero.
  • the insertion unit 203 sequentially changes to a first state 203-1, a second state 203-2, and a third state 203-3 as time elapses.
  • is shown in FIG. 42 in the displacement of the insertion portion 203 with time.
  • the first state 203-1 to the second state 203-2 the self-following property is high, and therefore the ratio of the displacement of the insertion portion 203 in the tangential direction with respect to the moving direction of the point is approximately 1.
  • the insertion portion 203 proceeds in a direction inclined with respect to the tangential direction. The rate of displacement in the tangential direction with respect to is approximately 0.5.
  • the value used for the evaluation has been described as the movement in the tangential direction of the point corresponding to the point of interest in the insert, but the movement in the direction perpendicular to the tangent, that is, Alternatively, it may be evaluated as the movement of the insertion unit 203 in the lateral direction.
  • the amount of movement of the point of interest in the direction perpendicular to the tangent to the insertion unit 203 is ⁇ Xc as shown in FIG.
  • a determination formula indicating the lateral motion B is defined by the following formula.
  • B
  • the threshold value a4 is set to a value that should output a warning that the subject 910 has started to stretch, and the threshold value b4 is dangerous if the subject 910 stretches further.
  • a threshold value can be appropriately set, for example, a value to output a warning to that effect.
  • the value of the lateral movement B can be used as information for supporting the operation of the endoscope 200 such as a warning to the user or an output of a warning signal to the control device 310.
  • the movement of the point of interest of the insertion unit 203 may be expressed as a lateral movement, as a tangential movement, or in any form. The meaning is the same.
  • the movement amount of the point of interest may be compared with the movement amount of the attention point or detection point on the rear end side of the insertion unit 203, The analysis may be performed based only on the ratio between the movement of the point of interest and the component in the tangential direction without using the movement amount of the detection point.
  • the higher the degree of coincidence between the tangential direction of the insertion portion 203 and the movement direction of the insertion portion the higher the movement of the insertion portion 203, and the insertion portion 203 moves along the subject 910. It can be said that it has been inserted.
  • FIG. 44 shows an outline of a configuration example of an operation support apparatus for executing the fourth state determination method.
  • a configuration example of the operation support apparatus when using the detection point on the rear end side is shown.
  • the insertion / extraction support apparatus 100 includes a position acquisition unit 110, a shape acquisition unit 120, a state determination unit 130, and a support information creation unit 180. Based on the information output from the sensor 201, the detection point acquisition unit 111 of the position acquisition unit 110 acquires, for example, the position of the detection point that is a location where the position detection on the rear end side of the insertion unit 203 is performed.
  • the shape acquisition unit 120 acquires the shape of the insertion unit 203 based on the information output from the sensor 201.
  • the attention point acquisition unit 121 of the shape acquisition unit 120 acquires the position of the attention point.
  • the state determination unit 130 includes a tangential direction acquisition unit 171, a movement direction acquisition unit 172, and an attention point state determination unit 173.
  • the tangential direction acquisition unit 171 calculates the tangential direction of the insertion unit 203 at the point of interest based on the shape of the insertion unit 203, the position of the point of interest, and the displacement analysis information 192-5 recorded in the program memory 192.
  • the movement direction acquisition unit 172 calculates the movement direction of the point of interest based on the position of the point of interest and the displacement analysis information 192-5 recorded in the program memory 192.
  • the attention point state determination unit 173 calculates the state of the attention point based on the tangent direction of the attention point in the insertion unit 203, the movement direction of the attention point, and the determination criterion information 192-6 recorded in the program memory 192. To do.
  • the support information creation unit 180 creates operation support information based on the determined state of the point of interest.
  • the operation support information is fed back to the control of the control device 310, displayed on the display device 320, or recorded on the recording device 196.
  • step S 401 the insertion / extraction support device 100 acquires output data from the sensor 201.
  • step S402 the insertion / extraction support device 100 acquires the position of the detection point on the rear end side based on the data acquired in step S401.
  • step S403 the insertion / extraction support device 100 acquires the shape of the insertion unit 203 based on the data acquired in step S401.
  • step S404 the insertion / extraction support device 100 acquires the position of the point of interest based on the shape of the insertion unit 203 acquired in step S403.
  • step S405 the insertion / extraction support device 100 calculates the tangential direction of the insertion unit 203 at the point of interest.
  • step S406 the insertion / extraction support device 100 acquires the movement direction of the position of the insertion unit 203 corresponding to the point of interest, and calculates a value representing the lateral movement.
  • step S407 the insertion / extraction support device 100 calculates an evaluation value representing the self-following performance at the point of interest of the insertion unit 203 based on the position change of the detection point and the value representing the lateral movement. The smaller the value representing the lateral movement with respect to the change in the position of the detection point, the higher the self-following property.
  • step S408 the insertion / extraction support apparatus 100 evaluates the extension based on the evaluation value calculated in step S407, such as whether or not the extension of the subject has occurred around the point of interest.
  • step S409 the insertion / extraction support apparatus 100 creates support information suitable for use in later processing based on the determination result of whether or not the subject is stretched, the degree thereof, and the like, and the support information is stored in the support information.
  • the data is output to the control device 310 or the display device 320.
  • step S410 the insertion / extraction support apparatus 100 determines whether or not an end signal for ending the process has been input. If no end signal is input, the process returns to step S401. That is, the above process is repeated until an end signal is input, and operation support information is output. On the other hand, when an end signal is input, the process ends.
  • operation support information such as whether or not extension has occurred in the subject is created based on the relationship between the moving direction and the tangential direction at the point of interest in the insertion unit 203. obtain.
  • the operation support information can include, for example, the state of the insertion unit 203 or the subject 910, the presence or absence of pressure or pressure on the subject 910 by the insertion unit 203, their size, and the presence or absence of an abnormality in the insertion unit 203.
  • the self-following ability can be evaluated based on the tangent direction at the point determined from the shape and the moving direction of the point.
  • the self-following property is evaluated based on the relationship between the movement amount of the detection point on the rear end side of the insertion unit 203 and the movement amount of the target point.
  • An arbitrary point of interest may be used instead of the detection point. Further, it is not always necessary to consider the amount of movement of the detection point. That is, the self-following evaluation can be performed based only on the ratio of the tangential direction component and the component in the direction perpendicular to the tangent with respect to the movement amount of the point of interest.
  • the third state determination method and the fourth state determination method are common in that the self-following property of the insertion unit 203 is evaluated.
  • the distal end of the insertion portion 203 advances backward from the second position 635-2 to the third position 635-3. That is, a tip return occurs.
  • the endoscope 200 is an endoscope that acquires an image in the distal direction, it can be known based on the acquired image that the distal end of the insertion unit 203 has advanced in the backward direction.
  • a leading edge advance P representing the degree of advancement of the distal end portion of the insertion portion 203 in the distal end direction is defined by the following equation.
  • P ( ⁇ X2 ⁇ D) /
  • ⁇ X2 is a tip displacement vector
  • D is a tip direction vector
  • indicates an inner product.
  • FIG. 47 shows an example of a change in the leading edge advance P with respect to the passage of time, that is, the insertion amount ⁇ X1 at an arbitrary position on the rear end side.
  • the solid line in FIG. 47 represents the time when the insertion unit 203 is inserted along the subject 910. In this case, since the distal end of the insertion portion 203 proceeds in the distal direction, the value of the distal advance P is close to 1.
  • the broken line in FIG. 47 represents the time when the insertion portion 203 is in the stick state. In this case, since the distal end portion of the insertion portion 203 moves backward, the distal end advance P shows a value close to -1.
  • the threshold value a4 ′ is set to a value to which a warning that the extension of the subject 910 has started to occur, and the threshold value b4 ′ is dangerous if the subject 910 extends further.
  • a threshold value can be set as appropriate, for example, a value to output a warning that there is a warning.
  • the value of the tip advancement P can be used as information for supporting the operation of the endoscope 200 such as a warning to the user or an output of a warning signal to the control device 310.
  • the state of the insertion portion 203 or the subject 910 can also be determined by the tip advance P that is characteristically detected as the tip return.
  • each of the above-described state determination methods evaluates the degree of self-following ability.
  • a state where there is a difference in the amount of movement of two or more points of interest can be paraphrased as a state where there is a portion having low self-following performance between the two points.
  • the walking state can be rephrased as a state in which a lateral movement occurs, and the lateral movement can be rephrased as a state in which self-following is low.
  • a difference in the amount of movement of two or more points of interest is detected, and when there is a difference, for example, it is determined that buckling has occurred.
  • buckling occurs, the self-following property is low at the location where the buckling occurs.
  • the second state determination method focusing on the point of interest, a state in which the curved portion does not have self-following property, that is, a state in which the subject 910 is pushed up by laterally moving in the curved portion is detected.
  • the self-following property is evaluated based on the position of the attention point in the insertion unit 203.
  • the evaluation of the self-following property it is used that the position of the point of interest in the insertion unit 203 coincides with the insertion amount when the self-following property is high.
  • self-following performance is evaluated based on a tangent at a certain point and its moving direction.
  • the evaluation of the self-following property it is used that when the self-following property is high, the predetermined point proceeds in the tangential direction of the shape of the insertion portion 203 at that point.
  • the self-following property is low, for example, lateral movement or the like occurs.
  • the state where the self-following property is low can be paraphrased as a state where a lateral movement occurs. Accordingly, any of the above-described state determination methods can be expressed in the same manner even if it is rephrased as evaluating the degree of lateral movement.
  • the subject is curved as a notable portion in the insertion portion 203 or the subject 910.
  • the self-following property of the insertion portion 203 tends to be low, and when the lateral movement occurs in the curved portion, the wall of the subject is pressed, so the insertion portion in the curved portion of the subject is inserted.
  • the state of 203 or the subject 910 is highly evaluated. Therefore, in the second state determination method, the third state determination method, and the fourth state determination method, attention is paid to the curved portion as an attention point, and the curved portion is analyzed.
  • the present invention is not limited to this, and various locations can be set as points of interest by the same method, and the state of the insertion unit 203 or the subject 910 at various locations can be analyzed.
  • the displacement information acquisition unit 141 and the interlocking condition calculation unit 142, the displacement acquisition units 151 and 161, and the displacement information calculation units 152 and 162, or the tangential direction acquisition unit 171 and the movement direction acquisition unit 172 are included in the insertion unit 203. It functions as a self-following evaluation unit that evaluates self-following in insertion. Further, the buckling determination unit 143 or the point-of-interest state determination units 153, 163, and 173 functions as a determination unit that determines the state of the insertion unit 203 or the subject 910 based on the self-following property.
  • the state of the insertion unit 203 or the subject 910 is not used only for determining whether or not the insertion unit 203 is inserted along the subject 910.
  • the user may intentionally change the shape of the subject. For example, in a portion where the subject 910 is curved, an operation may be performed so that the shape of the subject approaches a straight line so that the insertion unit 203 can easily advance. Even in such an operation, information such as the shape of the insertion unit 203, the shape of the subject 910, and the force with which the insertion unit 203 presses the subject 910 is useful information for the user.
  • the first to fourth state determination methods can be used in combination.
  • the following effects can be obtained by using a combination of the first state determination method and other state determination methods. That is, by using the first state determination method, it is possible to acquire information related to buckling occurring in the insertion unit 203. By subtracting the displacement component derived from this buckling, the accuracy of the calculation result by the second to fourth state determination methods can be improved, and the phenomenon occurring in the insertion portion 203 can be grasped more accurately.
  • the first to fourth state determination methods are used in combination, the amount of information to be obtained increases as compared to the case where any one method is used. This is effective in improving the accuracy of the created support information.
  • the support information creation unit 180 creates operation support information using information related to the state of the insertion unit 203 or the subject 910 acquired by using the first to fourth state determination methods described above.
  • the operation support information is information that assists the user in inserting the insertion unit 203 into the subject 910.
  • the operation support information is not only based on the information related to the state of the insertion unit 203 or the subject 910 acquired using the first to fourth state determination methods, but also information input from the input device 330 or the control device. It can be created by combining various information such as information input from 310. Necessary information can be appropriately acquired by appropriately using the first to fourth state determination methods.
  • the operation support information is displayed on the display device 320, for example, and the user operates the endoscope 200 with reference to this display.
  • the operation support information is fed back to the control of the control device 310, for example.
  • Control of the operation of the endoscope 200 by the more appropriate control device 310 supports the operation of the endoscope 200 by the user.
  • the operation of the endoscope 200 can be performed smoothly.
  • FIG. 48 shows an outline of a configuration example of the operation support information creation device 700 included in the insertion / extraction support device 100.
  • the operation support information creation device 700 includes the functions of the position acquisition unit 110, the shape acquisition unit 120, the state determination unit 130, and the support information creation unit 180 described above.
  • the operation support information creation device 700 includes an operation support information creation unit 710, a use environment setting unit 730, a primary information acquisition unit 750, and a database 760.
  • the primary information acquisition unit 750 acquires primary information output from the sensor 201.
  • the database 760 is recorded on a recording medium provided in the operation support information creation apparatus 700.
  • the database 760 includes information necessary for various operations of the operation support information creation apparatus 700.
  • the database 760 includes information necessary for deriving information related to settings determined by the use environment setting unit 730.
  • the operation support information creation unit 710 obtains output information of the sensor 201 provided in the endoscope 200 via the primary information acquisition unit 750, creates higher-order information while processing these, and finally Support information related to the operation is created.
  • the raw data output from the sensor 201 is referred to as primary information.
  • Information directly derived from the primary information will be referred to as secondary information.
  • Information derived from the primary information and the secondary information will be referred to as tertiary information.
  • high-order information is derived using the fourth-order information, the fifth-order information, and the low-order information.
  • the information handled by the operation support information creating unit 710 forms a hierarchical information group. Further, information included in different layers has different degrees of processing.
  • the operation support information creation unit 710 includes a secondary information generation unit 712, a higher order information generation unit 714, and a support information creation unit 716.
  • the sensor 201 since the sensor 201 includes a plurality of sensors, they will be referred to as a first sensor 201-1, a second sensor 201-2, and the like here. Of course, any number of sensors may be used.
  • the primary information acquisition unit 750 inputs the outputs of the sensors 201 such as the first sensor 201-1 and the second sensor 201-2 to the secondary information generation unit 712.
  • the secondary information generation unit 712 creates secondary information based on the primary information acquired by the primary information acquisition unit 750.
  • the detection point acquisition unit 111 of the position acquisition unit 110 functions as the secondary information generation unit 712.
  • a part of the shape acquisition unit 120 functions as the secondary information generation unit 712.
  • the higher-order information generation unit 714 includes a third-order information generation unit, a fourth-order information generation unit, and the like (not shown), and generates higher-order information of the third order or higher. Higher order information is generated using lower order information of a lower hierarchy than the information. In the above-described example, part of the position acquisition unit 110 and the shape acquisition unit 120 and the state determination unit 130 function as the high-order information generation unit 714.
  • the support information creation unit 716 here corresponds to the above-described support information creation unit 180, primary information, secondary information generated by the secondary information generation unit 712, and higher order generated by the higher order information generation unit 714.
  • Support information related to the operation is created based on at least one of the information.
  • the created support information is output to the control device 310 and the display device 320.
  • the information is converted from the raw data acquired from the sensor 201 into a unit that can be identified by the user, and further, the state of each unit of the insertion unit 203 from the unit that can be identified by the user. From the information indicating the state of each part of the insertion unit 203 to the insertion status of the insertion unit 203, and further from the insertion status of the insertion unit 203 to the support information related to the operation. Converted.
  • a plurality of pieces of information included in a plurality of hierarchies are generated as an information group, and when the information included in the information group is set as the state information, it is based on a plurality of different pieces of state information.
  • support information related to the operation can be created.
  • the use environment setting unit 730 analyzes the use environment based on information acquired from the endoscope 200, the input device 330, the recording device 196, and the like, and the operation support information creation unit 710 creates support information related to the operation. Determine the necessary configuration information. The determined setting information is output to the operation support information creation unit 710. The operation support information creating unit 710 creates support information related to the operation based on the setting information.
  • the usage environment here refers to, for example, the type and performance of the endoscope 200, the environment in which the endoscope 200 is used, the state of the endoscope 200, the user who operates the endoscope 200, its skill level, and the subject. , Including surgical procedures.
  • the usage environment setting unit 730 includes an environment determination unit 732, an information creation setting unit 742, and a setting reference storage unit 744.
  • the environment determination unit 732 includes an insert information determination unit 734 and a user information determination unit 736.
  • the inserted body information determination unit 734 acquires output data of the sensor 201 from the sensor 201 of the endoscope 200 via the primary information acquisition unit 750.
  • the inserted body information determination unit 734 determines the state of the endoscope 200 based on the output data of the sensor 201.
  • the endoscope 200 has an identification information storage unit 282 that stores identification information of the endoscope 200.
  • the identification information includes the model and serial number of the endoscope 200, information such as the function of the endoscope 200, information such as the model and serial number of the sensor 201, the function of the sensor 201, and the like.
  • the insert information determination unit 734 acquires the identification information of the endoscope 200 from the identification information storage unit 282.
  • the inserted body information determination unit 734 determines the state of the endoscope 200 based on the identification information of the endoscope 200.
  • the inserted body information determination unit 734 specifies a combination of the insertion / extraction support device 100 and the endoscope 200 based on the identification information acquired from the identification information storage unit 282. Based on this combination, the inserted body information determination unit 734 determines support information that can be provided by the insertion / extraction support apparatus 100.
  • the inserted body information discriminating unit 734 outputs the information related to the obtained state of the endoscope 200 and the information related to the support information that can be provided to the information creation setting unit 742 as the inserted body side information.
  • the user information determination unit 736 acquires information input by the user using the input device 330.
  • the user information determination unit 736 includes information on the user who is an operator and the subject from the recording device 196, information on the work content performed using the endoscope 200, the endoscope 200 and the insertion / extraction support device.
  • Various types of information such as information related to 100 and information related to settings of the insertion / extraction support apparatus 100 are acquired.
  • Information input by the user will be referred to as first operator information.
  • Information input from the recording device 196 will be referred to as second operator information.
  • the user information determination unit 736 determines user side information based on the acquired information.
  • the user information determination unit 736 outputs the user side information to the information creation setting unit 742.
  • the user information determination unit 736 updates information stored in the setting reference storage unit 744 and the database 760 as necessary for the user side information.
  • the information creation setting unit 742 includes the insertion body side information related to the endoscope 200 acquired from the insertion body information determination unit 734, the user side information related to the user acquired from the user information determination unit 736, and the setting reference storage unit 744. Based on the acquired setting reference information and the information acquired from the database 760, the operation support information creating unit 710 determines settings necessary for creating high-order information and support information related to the operation. This setting may include information such as the content of support information related to the operation to be created, a creation method, and a creation timing. For the determination of the setting, both the insert-side information and the user-side information may be used, or one of them may be used.
  • the setting reference storage unit 744 stores reference information necessary for setting performed by the information creation setting unit 742.
  • the first operator information input by the operator includes, for example, an operator's request, determination, instruction, and the like.
  • the first operator information there is a selection result of one or more support information desired by the user from among a plurality of types of support information, and designation of a method of providing the selected support information.
  • Other examples of the first operator information include the result of the determination made by the user based on the endoscopic image and the provided support information, the determination reason, the coping method for the current situation, and instructions to the parties concerned. There is something that the operator inputs.
  • the input of the first operator information can be performed using, for example, a pull-down menu displayed on the display device 320.
  • a pull-down menu displayed on the display device 320.
  • only support information that can be provided is displayed as options. For example, by using a pull-down menu, only support information that can be provided can be selected. The support information that cannot be selected may be clearly indicated so that it can be understood.
  • the loop method is a method of inserting the insertion portion 203 into a subject by pushing it in while a loop is formed by the insertion portion 203 of the endoscope 200 at a portion where the intestine is curved, and has been used for a long time.
  • the loop method is an insertion method that is easy for a doctor to operate.
  • the loop method it is easy to put a burden on the patient when making a loop, and an analgesic is often used.
  • the shaft holding shortening method is a large intestine endoscope insertion method in which the insertion portion 203 of the endoscope 200 is linearly inserted without looping.
  • the operator inserts the insertion portion 203 while making the intestine straight while carefully constricting the intestine and shortening it.
  • the axis retention shortening method is an insertion method that requires a skill for a doctor but less burdens on the patient.
  • one of the loop method and the axis holding shortening method is selected as the first operator information.
  • An example of the menu items in this case is shown in FIG. In FIG. 49, items with light ink are, for example, selected items. That is, “operation support information” is selected in order to present support information related to the operation, “insertion support” that is one of the menus is selected, and “axis holding shortening method” that is the menu therein is selected. “Axis retention shortening method” is selected from “Loop method”.
  • the first operator information is specification of information that the operator particularly wants to obtain.
  • Examples of the specified information include the shape of the insertion unit 203 of the endoscope 200 and an instruction for an insertion operation.
  • the designated information is displayed on the display device 320 or the display is emphasized.
  • an image as shown in FIG. 50 is displayed on the display device 320 as the operation support information.
  • the shape of the large intestine, the bending of the insertion portion 203, the amount of pushing the large intestine by the insertion portion 203, and the force applied to the large intestine are shown.
  • an image as shown in FIG. 51 is displayed on the display device 320 as support information related to the operation. This image shows, for example, the direction in which the insertion portion 203 should be inserted, the operation method for releasing the twist of the insertion portion 203, and the like.
  • the first operator information there is a determination on the state of the subject and the work status performed by the operator, an instruction to another person, and a future response guideline.
  • An example of the menu items in this case is shown in FIG. In FIG. 52, items with light ink are, for example, selected items.
  • “Judgment result input” for inputting the judgment result is selected, and “Subject status” is selected from the “Subject status” and “Work status” menus, and The menu items “status of specific part” and “operation / result in specific part” are selected.
  • Some or all of the input items may be automatically saved in the operation support information creating apparatus 700. Further, the items that are automatically saved may be configured to be set as appropriate.
  • Examples of the second operator information input from the recording device 196 include the following.
  • An example of the second operator information is user specific information. That is, the second operator information may include information such as the user experience, the user knowledge level, and a technique / technique frequently performed by the user. Further, the second operator information can include information such as operation data at the time of past work of the user and provided support information.
  • the second operator information includes user qualifications such as a doctor, endoscope insertion experience such as how many cases, loop skill proficiency, and axis retention shortening, for example. Includes proficiency level of the method, insertion proficiency level such as cecal arrival rate, diagnosis / treatment proficiency level such as the number of tumor confirmation cases, adhesion confirmation cases, and biopsy sample collection cases.
  • Pieces of information can be used when presenting operation instructions to the user, for example, when creating support information related to operations by paying attention to items that have given warnings / abnormalities in the past.
  • the subject information is given as an example of the second operator information. That is, the second operator information can include, for example, the age, sex, physical data, vital information, medical history, examination / treatment history, etc. of the subject. Further, the second operator information can include information such as operation data during past work received by the subject and support information provided.
  • the second operator information includes personal identification information such as age, sex, height, weight, blood type and the like, vital history such as medical history, treatment history, blood pressure, heart rate, respiratory rate, and electrocardiogram. Includes information.
  • these types of information create operation support information, for example, when an operation that is significantly different from the past examination is performed, or when a warning or abnormality is reported in the past It can be used when doing so.
  • the second operator information there is setting standard information.
  • the second operator information may include setting of a measuring instrument for generating support information related to an operation according to the purpose of examination or treatment, data capture timing, determination items, determination criteria, and the like. An example of such information is shown in FIG.
  • the second operator information includes setting information related to the shape detection of the endoscope insertion portion, for example, how many times the information acquisition of the shape sensor is performed every second.
  • the second operator information includes, for example, force applied to the subject by the endoscope insertion unit such as force sensor, shape sensor, and how many times information acquisition of sensors such as shape sensor and operation amount sensor is performed per second. Setting information related to detection of
  • the second operator information includes, for example, information related to the smooth insertion and occurrence of a stack (a stuck state at the tip). That is, the second operator information includes, for example, the displacement amount of a plurality of points on the endoscope insertion portion, the displacement amount of the point on the distal side with respect to the displacement amount of the point on the hand side, and a criterion. Based on these pieces of information, information regarding the smoothness of insertion and occurrence of a stack is created as operation support information.
  • the second operator information includes, for example, information related to operation instructions. That is, the second operator information includes the scope shape, the force that the endoscope insertion unit applies to the subject, the insertion status, the criteria for associating these with the operation content (formulas, conversion tables, etc.), the information presentation method, and the like. .
  • operation instructions such as the amount of pushing / pulling of the endoscope 200, the direction and amount of twisting, the operation of the bending portion, the posture change of the subject, air supply / deaeration, and suction are related to the operation. Created as support information. Based on these pieces of information, a method for releasing the loop of the insertion unit 203 and a method for shortening / straightening the route are created as operation support information.
  • the second operator information includes the specifications of the equipment to be used (endoscope, measuring instrument, etc.), for example, the model number, serial number, length of the endoscope 200, the mounted measuring equipment, and the installed option. Includes the measurement contents, measurement range, detection accuracy, etc. of the instrument and measurement instrument. An example of such information is shown in FIG.
  • the second operator information includes information of the endoscope 200 such as the model number, grade, and serial number of the endoscope main body, and the model number, grade, and serial number of the optional device.
  • the second operator information includes information such as the model number, grade, and serial number of the insertion / extraction support device 100.
  • the use environment setting unit 730 generates support information related to an operation that the user needs or is estimated to be necessary based on the user-side information input to the user information determination unit 736. Then, settings related to creation of operation support information are performed.
  • the second operator information may be recorded on a recording medium such as a hard disk or a semiconductor memory, read out, and appropriately updated.
  • the operation support information creating unit 710 acquires detection data that is raw data related to the insertion unit from the sensor 201.
  • the operation support information creation unit 710 acquires state information related to the insertion unit 203 based on the acquired detection data and the setting information acquired from the information creation setting unit 742.
  • the operation support information creation unit 710 creates support information related to the operation based on the acquired state information and the setting information acquired from the information creation setting unit 742.
  • the operation support information creating unit 710 creates appropriate output information corresponding to the output destination based on the created operation support information.
  • This output information is output to the display device 320 and the control device 310.
  • the display device 320 displays an image based on the input information. This image includes support information related to the operation.
  • the control device 310 performs feedback control based on the output information.
  • the control device 310 controls the driving of the actuator 284 of the driving unit provided in the endoscope 200.
  • the drive information for the actuator 284 includes, for example, information on the state quantity of the insertion unit 203.
  • This information includes, for example, information related to driving of the actuator 284 such as the insertion / extraction amount, twist amount, shape distribution, bending operation amount, vibration distribution, temperature distribution, and hardness distribution of the insert.
  • Such operation support information used for feedback control is information related to insertion operation support, danger avoidance, safety improvement, and the like.
  • Part or all of the operation support information creation apparatus 700 including the operation support information creation unit 710 and the use environment setting unit 730 may be mounted by arranging elements on a substrate, or may be integrated and integrated. It may be implemented as a circuit. As described above, the operation support information creation unit 710 and the use environment setting unit 730 can be integrated and mounted. Further, a storage unit that is nonvolatile and configured to update the storage content may be integrated with the operation support information generation unit 710 and the use environment setting unit 730 and may be implemented. Further, part or all of the operation support information creation device 700 may be detachably mounted on the insertion / extraction support device 100.
  • the characteristics of the insertion / extraction support apparatus 100 can be easily changed, and the versatility of the insertion / extraction support apparatus 100 is improved. To do.
  • the insertion body connected to the insertion / extraction support apparatus 100 and for which the support information related to the operation is created by the insertion / extraction support apparatus 100 is not limited to the endoscope 200.
  • the insertion body connected to the insertion / extraction support apparatus 100 may be a medical manipulator, a catheter, a medical endoscope, an industrial endoscope, or the like.
  • Such an insert may be configured for use in observing or diagnosing a subject, repairing, improving or treating the subject, and recording the observed or diagnosed and repaired, improved or treated the subject.
  • the insertion / extraction support device 100 may be applied to a system in which a plurality of insertion bodies are used. That is, in the example shown in FIG. 58, the first insert 291 is configured to emit a laser from the tip.
  • the second insert 292 includes a light shielding plate 293 for laser processing. The treatment is performed by emitting a laser beam from the first insert 291 in a state where the light shielding plate 293 is disposed behind the subject 294.
  • the first insert body 291 and the second insert body 292 are configured to perform work in a coordinated manner.
  • the 1st insertion body 291 and the 2nd insertion body 292 may be comprised so that it may have a different function or performance like the example shown in FIG.
  • at least one of the first insert 291 and the second insert 292 is used for observation or imaging. That is, the first insert 291 or the second insert 292 may have an observation optical system.
  • the first insert body 291 or the second insert body 292 includes an imaging element and can be used for electronic observation. Further, the first insert body 291 or the second insert body 292 may include an imaging element and be configured to record image data.
  • first insert 291 and the second insert 292 may have the same or equivalent functions.
  • the first insert body 291 and the second insert body 292 may be configured so as to realize one work function by being combined.
  • first insert 291 and the second insert 292 may be configured to operate close to each other as shown in FIG. 58, or may be configured so that one is built in the other. It may be.
  • the support information related to the operation may be created by either one of the first insert 291 and the second insert 292 or by both. Further, based on the detection data of one of the first insert 291 and the second insert 292, support information related to the other operation may be created.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

 操作支援装置(100)は、1次情報取得部(750)と、使用環境設定部(730)と、操作支援情報作成部(710)とを有する。1次情報取得部(750)は、被検体に挿入される挿入体(203)に設けられたセンサ(201)から挿入体の状態に係る1次情報を取得する。使用環境設定部(730)は、挿入体側情報と、ユーザ側情報とのうち少なくとも何れか一方に基づいて、操作支援情報の作成に係る設定を行う。操作支援情報作成部(710)は、1次情報を用いて高次情報を作成することで、2つ以上の階層を有する情報群を作成し、挿入体(203)の操作に係る操作支援情報を作成する。

Description

操作支援装置、挿入体システム及び操作支援方法
 本発明は、操作支援装置、挿入体システム及び操作支援方法に関する。
 一般に内視鏡の挿入部のような細長形状をした挿入体を有する挿抜装置が知られている。例えば内視鏡の挿入部を被検体に挿入するときに、ユーザが挿入部の状態を把握しながら操作を行うことができれば、ユーザにとって被検体への挿入部の挿入はより容易となる。このため、挿抜装置の挿入体の状態を把握するための技術が知られている。
 例えば日本国特開2007-44412号公報には、次のような技術が開示されている。すなわち、この技術では、内視鏡の挿入部に内視鏡挿入形状検出プローブが設けられている。この内視鏡挿入形状検出プローブは、検出用光伝達手段を有する。検出用光伝達手段は、曲り角度に応じて光損失量が異なるように構成されている。この内視鏡挿入形状検出プローブが用いられることで、内視鏡の挿入部の曲り角度が検出される。その結果、内視鏡挿入部の湾曲形状が再現され得る。
 例えば日本国特開平6-154153号公報には、次のような技術が開示されている。すなわち、この技術では、内視鏡挿入部にセンサ支持部が設けられ、このセンサ支持部に歪ゲージが装着されている。歪ゲージが用いられることで内視鏡挿入部への特定方向からの外力が検出される。その結果、内視鏡挿入部へ加わる外力の情報が取得され得る。
 例えば日本国特開2000-175861号公報には、次のような技術が開示されている。すなわち、この技術では、内視鏡システムには、内視鏡挿入部の形状を推定する形状推定手段が設けられている。この内視鏡システムでは、形状推定手段が推定した内視鏡挿入部の形状に基づいて、必要な場合には警告が発せられる。例えば、内視鏡挿入部がループ形状となったことが検出されたとき、表示又は音によって、注意を促す警告が発せられる。
 挿抜装置の挿入部の状態をより詳細に知るための装置及び方法の提供がさらに求められている。さらに、挿入部の状態に基づいて、操作者に対して挿入部の操作をするにあたって有用な支援情報を提供できる装置及び方法の提供についても求められている。
 本発明は、挿入体の操作に係る支援情報を提供できる操作支援装置、挿入体システム及び操作支援方法を提供することを目的とする。
 本発明の一態様によれば、操作支援装置は、被検体に挿入される挿入体に設けられたセンサから前記挿入体の状態に係る1次情報である検出データを取得する1次情報取得部と、前記挿入体及び前記センサのうち少なくとも何れか1つに係る挿入体側情報と、前記挿入体を操作する操作者、前記被検体及び前記挿入体を用いた作業の内容のうち少なくとも何れか1つに係るユーザ側情報とのうち、少なくとも何れか一方に基づいて、操作に関わる支援情報の作成に係る設定を行う使用環境設定部と、前記設定に基づいて、高次情報であって前記1次情報を含めて当該高次情報よりも低い階層の情報を用いて前記高次情報を作成することで、前記1次情報を含めて少なくとも2つ以上の階層を有する情報群を作成し、前記情報群に基づいて前記挿入体の操作に係る前記支援情報を作成する支援情報作成部とを備える。
 本発明の一態様によれば、挿入体システムは、前記操作支援装置と、前記挿入体とを備える。
 本発明の一態様によれば、操作支援方法は、被検体に挿入される挿入体に設けられたセンサから前記挿入体の状態に係る1次情報である検出データを取得することと、前記挿入体及び前記センサのうち少なくとも何れか1つに係る挿入体側情報と、前記挿入体を操作する操作者、前記被検体及び前記挿入体を用いた作業の内容のうち少なくとも何れか1つに係るユーザ側情報とのうち、少なくとも何れか一方に基づいて、支援情報の作成に係る設定を行うことと、前記設定に基づいて、高次情報であって前記1次情報を含めて当該高次情報よりも低い階層の情報を用いて前記高次情報を作成することで、前記1次情報を含めて少なくとも2つ以上の階層を有する情報群を作成し、前記情報群に基づいて前記挿入体の操作に係る前記支援情報を作成することとを含む。
 本発明によれば、挿入体又は当該挿入体が挿入された被検体の状態を検出できる挿抜支援装置及び挿抜支援方法を提供できる。
図1は、一実施形態に係る挿抜装置の構成例の概略を示す図である。 図2は、一実施形態に係る内視鏡に設けられたセンサの構成の一例を示す図である。 図3は、一実施形態に係る内視鏡に設けられたセンサの構成の一例を示す図である。 図4は、一実施形態に係る内視鏡に設けられたセンサの構成の一例を示す図である。 図5は、一実施形態に係る形状センサの構成例の概略を示す図である。 図6は、一実施形態に係る挿入量センサの構成例の概略を示す図である。 図7は、一実施形態に係る挿入量センサの構成例の概略を示す図である。 図8は、一実施形態に係るセンサによって得られる情報について説明するための図である。 図9は、第1の状態判断方法について説明するための図であり、時刻t1から時刻t2までの間における挿入部の移動の様子を模式的に示す図である。 図10は、第1の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の一例を模式的に示す図である。 図11は、第1の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の別の例を模式的に示す図である。 図12は、第1の状態判断方法に用いられる挿抜支援装置の構成例の概略を示すブロック図である。 図13は、第1の状態判断方法における処理の一例を示すフローチャートである。 図14は、第1の状態判断方法の第1の変形例について説明するための図であり、時刻t1から時刻t2までの間における挿入部の移動の様子を模式的に示す図である。 図15は、第1の状態判断方法の第1の変形例について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の一例を模式的に示す図である。 図16は、第1の状態判断方法の第1の変形例について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の別の例を模式的に示す図である。 図17は、第1の状態判断方法の第2の変形例について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図18は、第2の状態判断方法について説明するための図であり、時刻t1から時刻t2までの間における挿入部の移動の様子を模式的に示す図である。 図19は、第2の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の一例を模式的に示す図である。 図20は、第2の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の別の例を模式的に示す図である。 図21は、時間経過に対する注目ポイントの位置の変化の一例を示す図である。 図22は、第2の状態判断方法に用いられる挿抜支援装置の構成例の概略を示すブロック図である。 図23は、第2の状態判断方法における処理の一例を示すフローチャートである。 図24は、第2の状態判断方法の変形例について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図25は、第2の状態判断方法の変形例について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図26は、第3の状態判断方法について説明するための図であり、時刻t1から時刻t2までの間における挿入部の移動の様子を模式的に示す図である。 図27は、第3の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の一例を模式的に示す図である。 図28は、第3の状態判断方法について説明するための図であり、時刻t2から時刻t3までの間における挿入部の移動の様子の別の例を模式的に示す図である。 図29は、第3の状態判断方法について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図30は、第3の状態判断方法について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図31は、挿入部における注目ポイントの位置の変化を模式的に示す図である。 図32は、挿入部の移動の様子の一例を模式的に示す図である。 図33は、時間経過に対する注目ポイントの挿入部の先端からの距離の変化の一例を示す図である。 図34は、挿入部の移動の様子の別の例を模式的に示す図である。 図35は、時間経過に対する注目ポイントの挿入部の先端からの距離の別の例を示す図である。 図36は、時間経過に対する自己追従性の変化の一例を示す図である。 図37は、第3の状態判断方法に用いられる挿抜支援装置の構成例の概略を示すブロック図である。 図38は、第3の状態判断方法における処理の一例を示すフローチャートである。 図39は、第4の状態判断方法について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図40は、第4の状態判断方法における、接線方向と移動量との関係について説明するための図である。 図41は、時間経過に対する挿入部の変位における接線方向の割合の変化の一例を示す図である。 図42は、時間経過に対する挿入部の変位における接線方向の割合の変化の別の例を示す図である。 図43は、時間経過に対する挿入部の横動きの変化の一例を示す図である。 図44は、第4の状態判断方法に用いられる挿抜支援装置の構成例の概略を示すブロック図である。 図45は、第4の状態判断方法における処理の一例を示すフローチャートである。 図46は、第4の状態判断方法の変形例について説明するための図であり、挿入部の移動の様子の一例を模式的に示す図である。 図47は、時間経過に対する挿入部の先端進みの変化の一例を示す図である。 図48は、一実施形態に係る操作支援情報作成装置の構成例の概略を示す図である。 図49は、第1の操作者情報の入力に係るメニュー項目の一例を示す図である。 図50は、表示装置に表示される操作支援情報としての画像の一例である。 図51は、表示装置に表示される操作支援情報としての画像の一例である。 図52は、第1の操作者情報の入力に係るメニュー項目の一例を示す図である。 図53は、第2の操作者情報の一例としてのユーザ固有情報の例を示す図である。 図54は、第2の操作者情報の一例としての被検体情報の例を示す図である。 図55は、第2の操作者情報の一例としての設定基準の情報の例を示す図である。 図56は、第2の操作者情報の一例としての装置情報の例を示す図である。 図57は、操作支援情報の作成の一例について説明するための図である。 図58は、挿抜装置において複数の挿入体が用いられる場合の構成の概略の一例を示す図である。
 本発明の一実施形態について図面を参照して説明する。図1は、本実施形態に係る挿抜装置1の構成例の概略を示す。挿抜装置1は、挿抜支援装置100と、内視鏡200と、制御装置310と、表示装置320と、入力装置330とを備える。
 内視鏡200は、一般的な内視鏡である。制御装置310は、内視鏡200の動作を制御する制御装置である。制御装置310は、内視鏡200から制御に必要な情報を取得してもよい。表示装置320は、一般的な表示装置である。表示装置320は、例えば液晶ディスプレイを含む。表示装置320は、内視鏡200で取得された画像や、制御装置310で作成された内視鏡200の動作に係る情報を表示する。入力装置330は、挿抜支援装置100及び制御装置310へのユーザの入力を受け付ける。入力装置330は、例えば、ボタンスイッチや、ダイヤルや、タッチパネルや、キーボード等を含む。挿抜支援装置100は、ユーザが内視鏡200の挿入部を被検体へ挿入したり抜去したりすることを支援するための情報処理を行う。
 本実施形態に係る内視鏡200は、例えば大腸内視鏡である。図2乃至図4に示すように、内視鏡200は、可撓性を有する細長形状をした挿入体としての挿入部203と、挿入部203の一端に設けられた操作部205とを有する。以降の説明では、挿入部203の操作部205が設けられている側を後端側と称し、他端を先端側と称することにする。
 挿入部203の先端側にはカメラが設けられており、当該カメラによって画像が取得される。取得された画像は、一般的な各種画像処理が施された後に、表示装置320に表示される。挿入部203の先端部には、湾曲部が設けられており、この湾曲部は、操作部205の操作によって湾曲する。ユーザは、例えば操作部205を左手で把持し、挿入部203を右手で送り出したり手繰り寄せたりしながら、挿入部203を被検体に挿入する。このような内視鏡200において、挿入部203の各部の位置と、挿入部203の形状とを取得するため、挿入部203には、センサ201が設けられている。
 センサ201としては、種々のセンサが用いられ得る。センサ201の構成例を図2乃至図4を参照して説明する。
 図2は、センサ201の構成の第1の例を示す図である。第1の例では、挿入部203には、形状センサ211と挿入量センサ212とが設けられている。形状センサ211は、挿入部203の形状を取得するためのセンサである。形状センサ211の出力によれば、挿入部203の形状が取得され得る。挿入量センサ212は、挿入部203が被検体に挿入された量である挿入量を取得するためのセンサである。挿入量センサ212の出力によれば、当該挿入量センサ212によって計測される挿入部203の後端側の所定の箇所の位置が取得され得る。挿入部203の後端側の所定の箇所の位置と、当該位置を含む当該挿入部203の形状とに基づけば、挿入部203の各部の位置が取得され得る。
 図3は、センサ201の構成の第2の例を示す図である。第2の例では、挿入部203には、挿入部203の形状を取得するための形状センサ221と位置センサ222とが設けられている。位置センサ222は、当該位置センサ222が配置された箇所の位置を検出する。図3には、位置センサ222が挿入部203の先端に設けられている例が示されている。形状センサ221の出力に基づき取得された挿入部203の形状と、位置センサ222の出力に基づき取得された位置センサ222が設けられている箇所の位置とに基づけば、挿入部203の各部(任意の点)の位置や向き・湾曲形状が演算、又は、推定により取得され得る。
 図4は、センサ201の構成の第3の例を示す図である。第3の例では、挿入部203には、挿入部203の各部の位置を取得するための複数の位置センサ230が設けられている。複数の位置センサ230の出力によれば、挿入部203の位置センサ230が設けられている箇所の位置が取得され得る。これらの位置情報を組み合わせれば、挿入部203の形状が取得され得る。
 形状センサ211,221の構成の一例を、図5を参照して説明する。この例に係る挿入部203に設けられる形状センサ260は、複数の形状検出ユニット261を含む。図5には、簡単のため、4つの形状検出ユニット261が設けられている場合の例を示している。すなわち、形状センサ260は、第1の形状検出ユニット261-1と、第2の形状検出ユニット261-2と、第3の形状検出ユニット261-3と、第4の形状検出ユニット261-4とを含む。形状検出ユニットの数は、いくつでもよい。
 各形状検出ユニット261は、挿入部203に沿って設けられた光ファイバ262を有する。光ファイバ262の先端側の端部には、反射部材264が設けられている。光ファイバ262の後端側には、分岐部263が設けられている。光ファイバ262の後端側の分岐した一方の端部には、入射レンズ267と光源265とが設けられている。光ファイバ262の後端側の分岐した他方の端部には、出射レンズ268と光検出器266とが設けられている。また、光ファイバ262には、検出領域269が設けられている。この検出領域269は、第1の形状検出ユニット261-1に設けられた第1の検出領域269-1と、第2の形状検出ユニット261-2に設けられた第2の検出領域269-2と、第3の形状検出ユニット261-3に設けられた第3の検出領域269-3と、第4の形状検出ユニット261-4に設けられた第4の検出領域269-4とで、挿入部203の長手方向における配置されている位置が異なる。
 光源265から射出された光は、入射レンズ267を介して光ファイバ262に入射する。この光は、光ファイバ262を先端方向へ進行し、先端に設けられた反射部材264で反射する。この反射光は、光ファイバ262を後端方向へ進行し、出射レンズ268を介して光検出器266に入射する。検出領域269における光の伝搬効率は、検出領域269の湾曲状態に応じて変化する。このため、光検出器266で検出される光量に基づいて、検出領域269の湾曲状態が取得され得る。
 第1の形状検出ユニット261-1の光検出器266で検出される光量に基づいて、第1の検出領域269-1の湾曲状態が取得され得る。同様に、第2の形状検出ユニット261-2の光検出器266で検出される光量に基づいて、第2の検出領域269-2の湾曲状態が取得され、第3の形状検出ユニット261-3の光検出器266で検出される光量に基づいて、第3の検出領域269-3の湾曲状態が取得され、第4の形状検出ユニット261-4の光検出器266で検出される光量に基づいて、第4の検出領域269-4の湾曲状態が取得される。このようにして、挿入部203の各部の湾曲状態が検出され、挿入部203全体の形状が取得され得る。
 次に、挿入量センサ212の構成例を図6及び図7を参照して説明する。
 図6は、挿入量センサ212の構成の一例を示す図である。この例では、挿入量センサ212は、被検体の挿入口に固定される保持部材241を有する。保持部材241には、挿入方向検出用の第1のエンコーダヘッド242と、ねじれ方向検出用の第2のエンコーダヘッド243とが設けられている。挿入部203には、エンコーダパターンが形成されている。第1のエンコーダヘッド242は、挿入部203が挿入される際の長手方向の挿入量を、挿入部203に形成されたエンコーダパターンに基づいて検出する。第2のエンコーダヘッド243は、挿入部203が挿入される際の円周方向の回転量を、挿入部203に形成されたエンコーダパターンに基づいて検出する。
 図7は、挿入量センサ212の構成の別の一例を示す図である。この例では、挿入量センサ212は、挿入方向検出用の第1のローラ246と、挿入方向検出用の第1のエンコーダヘッド247と、ねじれ方向検出用の第2のローラ248と、ねじれ方向検出用の第2のエンコーダヘッド249とを有する。第1のローラ246は、挿入部203が長手方向に移動するとそれに伴って回転する。第1のローラ246には、エンコーダパターンが形成されている。第1のエンコーダヘッド247は、第1のローラ246と対向している。第1のエンコーダヘッド247は、挿入部203が挿入される際の長手方向の挿入量を、当該挿入に伴って回転した第1のローラ246の回転量に基づいて検出する。第2のローラ248は、挿入部203が円周方向に回転するとそれに伴って回転する。第2のローラ248には、エンコーダパターンが形成されている。第2のエンコーダヘッド249は、第2のローラ248と対向している。第2のエンコーダヘッド249は、挿入部203が挿入される際の円周方向の回転量を、当該回転に伴って回転した第2のローラ248の回転量に基づいて検出する。
 図6及び図7に示す挿入量センサ212によれば、挿入量センサ212の位置を基準とすることで、挿入部203のうち挿入量センサ212の位置にある部分とその回転角とが特定され得る。すなわち、挿入部203の何れかの部分の位置が特定され得る。
 次に、位置センサ222,230について説明する。位置センサ222,230は、例えば挿入部203に設けられた磁気を生じさせるコイルと、被検体の外側に設けられるように構成された受信装置とを含む。磁気コイルによって形成された磁場を受信装置で検出することによって、各コイルの位置が取得され得る。位置センサは、磁気を利用したものに限らない。位置センサは、光波、音波、電磁波等の何れかを発信する挿入部203に設けられた発信機と、発信機により発せられた信号を受信する被検体の外部に設けられた受信機とを含む種々の構成が用いられ得る。
 以上のような、形状センサ、挿入量センサ、及び位置センサの組み合わせを含むセンサ201の出力に基づけば、次のような情報が得られる。図8を参照して得られる情報について説明する。センサ201によれば、挿入部203の例えば先端510の位置が取得され得る。この先端510の位置は、例えば被検体における挿入口を基準とした座標として表され得る。
 例えば図2に示すように形状センサ211と挿入量センサ212とが設けられた第1の例では、挿入量センサ212の出力に基づいて、被検体の挿入口に位置する挿入部203の位置が取得され得る。この位置を基準として、形状センサ211で取得される挿入部203の形状に基づけば、被検体の挿入口に対する挿入部203の先端510の位置が取得され得る。
 例えば図3に示すように形状センサ221と位置センサ222とが設けられた第2の例では、挿入部203における位置センサ222の位置は既知なので、この位置を基準として、さらに形状センサ221で取得される挿入部203の形状に基づけば、位置センサ222に対する挿入部203の先端510の位置が取得され得る。被検体に対する位置センサ222の位置は、位置センサ222の出力によって取得され得るので、被検体の挿入口に対する挿入部203の先端510の位置は取得され得る。なお、位置センサ222が、挿入部203の先端510に設けられている場合、被検体の挿入口に対する挿入部203の先端510の位置は、位置センサ222の出力に基づいて、直接に取得され得る。
 例えば図4に示すように、位置センサ230が設けられた第3の例では、挿入部203の先端近傍に配置された位置センサ230の出力に基づいて、被検体の挿入口に対する挿入部203の先端510の位置は取得され得る。
 また、挿入部203の先端510の位置と同様に、被検体の挿入口に対する挿入部203の任意の箇所520の位置は取得され得る。また、上述の説明では、基準位置を被検体の挿入口としたが、これに限らない。基準位置は、どのような位置でもよい。挿入部203において(直接)センシングが行われる箇所を「検出ポイント」と称することとし、本実施形態では、挿入部203において位置の情報が(直接)取得される箇所を「検出ポイント」とする。
 また、センサ201の出力に基づけば、挿入部203の形状が取得され得る。例えば上述の第1の例及び第2の例のように、形状センサ211,221が設けられている場合、これらのセンサの出力に基づいて、挿入部203の形状は取得され得る。また、第3の例のように、複数の位置センサ230が設けられている場合、位置センサ230によって検出された位置センサ230が配置されたそれぞれの位置の情報と、複数の位置センサ230の間の位置を補間する演算の結果とに基づいて、挿入部203の形状が得られる。
 さらに、挿入部203の形状が得られると、挿入部203の形状のうち特徴的な部位の位置が得られる。例えば湾曲している部分を所定形状領域530としたときに、挿入部203の湾曲している部分の折り返し端540の位置が得られる。ここで折り返し端は、例えば次のように決定される。例えば図8に示す例においては、挿入部203は、図面における上方に向かいその後湾曲して下方に向かっている。折り返し端は、例えば図8において最も上方に位置する点として定義され得る。このように、折り返し端は、挿入部203が湾曲しているときに、所定の方向において最も端に位置する点として定義され得る。このような挿入部203の、直接、又は、推定等によってセンシング情報を得たい点を「注目ポイント」と称することにする。本実施形態では、挿入部203の形状に基づいて決定される特徴的な「注目ポイント」に着目する。注目ポイントは、折り返し端に限らず、挿入部203の形状に基づいて決定される特徴的な点であればどのような点でもよい。
 センサ201の出力に基づいて、以上のような情報を取得するために、本実施形態に係る挿抜支援装置100は、図1に示すように位置取得部110と形状取得部120とを有する。位置取得部110は、挿入部203の各部の位置情報について処理を行う。位置取得部110は、検出ポイント取得部111を有する。検出ポイント取得部111は、検出ポイントの位置の特定を行う。また、位置取得部110は、検出ポイントに限らず、センサ201の出力等から求められる挿入部203の任意の箇所となり得る注目ポイントの位置の特定を行うことができる。形状取得部120は、挿入部203の形状に係る情報について処理を行う。形状取得部120は、注目ポイント取得部121を有する。注目ポイント取得部121は、挿入部203の形状と位置取得部110が算出した位置情報とに基づいて、形状に基づいて求められる注目ポイントの位置の特定を行う。
 また、挿抜支援装置100は、状態判断部130を備える。状態判断部130は、検出ポイントの位置や注目ポイントの位置に係る情報を利用して、挿入部203の状態、又は挿入部203が挿入された被検体の状態に係る情報を算出する。より詳しくは、後述するように、挿入部203が挿入部203の形状に従って進行しているか否か、すなわち、自己追従性を有しているか否かを種々の方法で評価する。その評価結果に基づいて、挿入部203の状態、又は挿入部203が挿入された被検体の状態に係る情報を算出する。
 挿抜支援装置100は、さらに支援情報作成部180を備える。支援情報作成部180は、状態判断部130が算出した挿入部203又は被検体の状態に係る情報に基づいて、ユーザが挿入部203を被検体に挿入することを支援する情報を作成する。支援情報作成部180によって作成された支援情報は、文字や図形として表され、これらは表示装置320に表示される。また、支援情報作成部180は、状態判断部130が算出した挿入部203又は被検体の状態に係る情報に基づいて、制御装置310が内視鏡200の動作を制御するために用いる各種情報を作成する。
 挿抜支援装置100は、さらにプログラムメモリ192と一時メモリ194とを備える。プログラムメモリ192には、挿抜支援装置100の動作のためのプログラムや、所定のパラメータ等が記録されている。一時メモリ194は、挿抜支援装置100の各部の演算における一時記憶に用いられる。
 挿抜支援装置100は、さらに記録装置196を備える。記録装置196は、支援情報作成部180によって作成された支援情報を記録する。記録装置196は、挿抜支援装置100内に配置されるに限らない。記録装置196は、挿抜支援装置100の外部に設けられてもよい。支援情報が記録装置196に記録されることによって、次のような効果が得られる。すなわち、記録装置196に記録された支援情報に基づいて、事後的に挿入部203又は被検体の状態に係る情報の再現や分析が可能になる。また、記録装置196に記録された情報は、同一被検体への挿入に際して、参考情報や履歴情報として用いられ得る。
 例えば、位置取得部110、形状取得部120、状態判断部130、支援情報作成部180等は、Central Processing Unit(CPU)、又はApplication Specific Integrated Circuit(ASIC)等の回路を含む。
 次に、挿入部203又は被検体の状態に係る情報の算出について具体的に例を挙げて説明する。
 [第1の状態判断方法]
 第1の状態判断方法では、複数の検出ポイントの位置関係に基づいて、挿入部203の状態を判定する。
 図9は、時刻t1から時刻t2までの間における挿入部203の移動の様子を模式的に示す。時刻t1における挿入部203の様子を実線で表し、時刻t2における挿入部203の様子を破線で表す。ここに示す例では、挿入部203の先端部及び後端側の任意の箇所の位置が、注目ポイントとして特定される。この後端側の任意の箇所を所定部位として、後側注目ポイントと称することにする。なお、ここでは、位置センサが配置されている位置を後側注目ポイントとする。すなわち、後側注目ポイントが検出ポイントである場合を例に挙げて説明する。以降、この点を後側検出ポイントと称することにする。また、注目ポイントの1つは先端部に限らず、先端側の任意の箇所であってもよいがここでは先端として説明する。なお、ここでは、位置センサが先端部に配置されている場合を例に挙げて説明する。すなわち、先端部も検出ポイントである場合を例に挙げて説明する。
 時刻t1において、挿入部203の先端部は、第1の先端位置602-1に位置している。時刻t1において、挿入部203の後側検出ポイントは、第1の後端位置604-1に位置している。時刻t1から時間Δtだけ経過した時刻t2において、挿入部203の先端部は、第2の先端位置602-2に位置している。時刻t2において、挿入部203の後側検出ポイントは、第2の後端位置604-2に位置している。
 ここで、第1の先端位置602-1から第2の先端位置602-2までの変位、すなわち、先端部の変位をΔX21とする。第1の後端位置604-1から第2の後端位置604-2までの変位、すなわち、後側検出ポイントの変位をΔX11とする。図9に示すように、挿入部203が被検体に沿って挿入されているとき、|ΔX21|≒|ΔX11|となる。
 被検体が湾曲している湾曲部分914において、挿入部203が被検体910に沿って挿入されている場合の模式図を図10に示す。時刻t2からさらに時間Δtだけ経過した時刻t3において、挿入部203の先端部は、第3の先端位置602-3に位置している。時刻t3において、挿入部203の後側検出ポイントは、第3の後端位置604-3に位置している。ここで、第2の先端位置602-2から第3の先端位置602-3までの変位、すなわち先端部の変位をΔX22とする。第2の後端位置604-2から第3の後端位置604-3までの変位、すなわち後側検出ポイントの変位をΔX12とする。図10に示すように、挿入部203が被検体に沿って挿入されているとき、|ΔX22|≒|ΔX12|となる。
 一方、被検体が湾曲している湾曲部分914において、挿入部203が被検体に沿って挿入されていない場合の模式図を図11に示す。時刻t2から時間Δtだけ経過した時刻t3において、挿入部203の先端部は、第3の先端位置602-3´に位置している。時刻t3において、挿入部203の後側検出ポイントは、第3の後端位置604-3´に位置している。ここで、第2の先端位置602-2から第3の先端位置602-3´までの変位、すなわち先端部の変位をΔX22´とする。第2の後端位置604-2から第3の後端位置604-3´までの変位、すなわち後側検出ポイントの変位をΔX12´とする。図11に示すように、挿入部203が被検体に沿って挿入されていないとき、|ΔX22´|≠|ΔX12´|(|ΔX22´|<|ΔX12´|)となる。
 なお、図9から図11において、時刻t1から時刻t2までの時間変化と、時刻t2から時刻t3までの時間変化が本例では、自動計測でよく行われるように、等しい値Δtとなっているが、必ずしも等しい値でなくてもよい。以下の例においても同様である。
 図11に示す場合、挿入部203の先端は、図11の白抜き矢印で示すように、被検体910によって押圧又は圧迫されている。逆に言うと、挿入部203の先端部において、挿入部203による被検体910に対する押圧が大きくなっている。また、図11に示す場合、挿入部203の先端部と後側検出ポイントとの間の部位609で、座屈が生じている。
 挿入部203の後端側の検出ポイントである後側検出ポイントの移動量と、先端側の検出ポイントである先端部の移動量とが等しいとき、すなわち、後側検出ポイントの移動量と先端部の移動量との連動具合が高いとき、挿入部203は、被検体910に沿って順調に挿入されていることが分かる。一方、後側検出ポイントの移動量に対して先端部の移動量が小さいとき、すなわち、後側検出ポイントの移動量と先端部の移動量との連動具合が低いとき、挿入部203の先端部が停滞していることが分かる。また、このとき、2つの検出ポイントの間、すなわち先端部と後側検出ポイントとの間で、意図しない異常が生じている可能性があることが分かる。以上のように、第1の状態判断方法による複数の検出ポイントの位置関係の解析に基づけば、挿入部203の座屈、被検体に対する押圧の大小等が明らかになる。すなわち、第1の状態判断方法によれば、挿入部又は被検体の状態に係る情報が取得され得る。
 上述のような挿入部203の状態を示す値として、第1の操作支援情報α1を導入する。例えば、先端部の変位をΔX2とし、後側検出ポイントの変位をΔX1としたときに、第1の操作支援情報α1は、次のように定義され得る。
  α1≡|ΔX2|/|ΔX1|
 第1の操作支援情報α1は、その値が1に近い程、挿入部203は、被検体910に沿って挿入されていることを示す。
 第1の操作支援情報α1は、また、次のように定義されてもよい。 
  α1≡(|ΔX2|+C2)/(|ΔX1|+C1)
ここで、C1、C2、L、Mは、任意の実数である。
 例えば、ΔX1、ΔX2の検出ノイズ成分レベルがN1、N2(N1、N2≧0)である場合に、パラメータC1・C2・L・Mを以下の様に設定する。 
 C1= N1    |ΔX1|≧N1
 C2=-N2    |ΔX2|≧N2
   =-|ΔX2| |ΔX2|<N2
 L=M=1
N1やN2には、例えば、ノイズレベルの標準偏差(σ)の3倍程度の値を設定すればよい。
 このような、C1を正、C2を負としたノイズ対策の設定を行うことで、検出ノイズの影響を低減し、かつ、検出ノイズによる誤検出の少ない第1の操作支援情報α1が得られる。また、こうしたノイズ影響低減の仕方は、後述する他の支援情報算出の際にも適用できる。
 なお、内視鏡200が大腸内視鏡であり、したがって被検体910が大腸である場合、上述の湾曲部分914は、例えばS状結腸の最上部(いわゆる「S-top」)に相当する。
 第1の状態判断方法を実行するための挿抜支援装置100の構成例の概略を図12に示す。
 挿抜支援装置100は、検出ポイント取得部111を有する位置取得部110と、状態判断部130と、支援情報作成部180とを備える。検出ポイント取得部111は、センサ201から出力される情報に基づいて、複数の検出ポイントの位置を取得する。
 状態判断部130は、変位情報取得部141と、連動具合演算部142と、座屈判断部143とを有する。変位情報取得部141は、時間経過に対する複数の検出ポイントの位置に基づいて、各検出ポイントの変位を算出する。連動具合演算部142は、各検出ポイントの変位と、プログラムメモリ192に記録された連動具合情報192-1とに基づいて、複数の検出ポイントの連動具合を算出する。連動具合情報192-1は、例えば、各検出ポイントの変位の差異と、連動具合の評価値との関係を有する。座屈判断部143は、算出された連動具合と、プログラムメモリ192に記録された判断基準情報192-2とに基づいて、挿入部203の座屈状態を判定する。判断基準情報192-2は、例えば、連動具合と座屈状態との関係を有する。
 支援情報作成部180は、判定された座屈状態に基づいて、操作支援情報を作成する。操作支援情報は、制御装置310による制御にフィードバックされたり、表示装置320に表示されたり、記録装置196に記録されたりする。
 第1の状態判断方法における挿抜支援装置100の動作について、図13に示すフローチャートを参照して説明する。
 ステップS101において、挿抜支援装置100は、センサ201から出力データを取得する。ステップS102において、挿抜支援装置100は、ステップS101で取得したデータに基づいて、複数の検出ポイントの位置を取得する。
 ステップS103において、挿抜支援装置100は、各々の検出ポイントについて、その位置の継時的な変化を取得する。ステップS104において、挿抜支援装置100は、検出ポイントに係る位置の変化の検出ポイントごとの差異を評価する。すなわち、複数の検出ポイントの位置変化の連動具合を算出する。ステップS105において、挿抜支援装置100は、ステップS104で算出された連動具合に基づいて、検出ポイントと検出ポイントとの間で座屈が生じているか否かやその程度など、座屈について評価を行う。
 ステップS106において、挿抜支援装置100は、座屈が生じているか否か等の評価結果に基づいて、後の処理に用いるのに適当な支援情報を作成し、当該支援情報を例えば制御装置310や表示装置320に出力する。
 ステップS107において、挿抜支援装置100は、当該処理を終了させるための終了信号の入力があったか否かを判定する。終了信号の入力がないとき、処理はステップS101に戻る。すなわち、終了信号の入力があるまで上述の処理を繰り返し、操作支援情報を出力する。一方、終了信号の入力があったとき、当該処理は終了する。
 第1の状態判断方法が用いられることにより、2点以上の検出ポイントの位置が特定され、それらの移動量の連動具合に基づいて、挿入部203において座屈が起こっているか否かなどの異常が発生しているか否かを表す操作支援情報が作成され得る。
 上述の例では、検出ポイント、すなわち、直接センシングが行われる位置に基づいて操作支援情報が作成される場合を例に示した。しかしながらこれに限らない。捜査支援情報の作成には、注目ポイント、すなわち、挿入部203の任意の位置に係る情報が用いられてもよい。注目ポイントの位置が用いられる場合、検出ポイント取得部111ではなく、位置取得部110が注目ポイントの位置を取得し、取得された注目ポイントの位置が用いられる。その他の処理は、同様である。
 [第1の変形例]
 上述の例では、検出ポイントが2点である場合を示した。しかしながらこれに限らず、検出ポイントの数は、いくつでもよい。検出ポイントの数が増えれば、挿入部203の状態に係るより詳細な情報の取得が可能となる。例えば図14に示すように、検出ポイントが4点あるときは、次のようになる。すなわち、この例では、図14に示すように、挿入部203に4つの検出ポイント605-1,606-1,607-1,608-1が設けられている。時刻t1から時刻t2まで、挿入部203が被検体910に沿って挿入されているとき、時刻t1における4つの検出ポイント605-1,606-1,607-1,608-1の各点から、時刻t2における4つの検出ポイント605-2,606-2,607-2,608-2の各点までの、それぞれの移動量ΔX51,ΔX61,ΔX71,ΔX81は、互いにほぼ等しくなる。
 図15に示すように、時刻t2から時刻t3まで、挿入部203が被検体910に沿って挿入されているとき、時刻t2における4つの検出ポイント605-2,606-2,607-2,608-2の各点から、時刻t3における4つの検出ポイント605-3,606-3,607-3,608-3の各点までの、それぞれの移動量ΔX52,ΔX62,ΔX72,ΔX82は、互いにほぼ等しくなる。
 一方、図16に示すように、時刻t2から時刻t3まで、挿入部203が被検体910に沿って挿入されていないとき、時刻t2における4つの検出ポイント605-2,606-2,607-2,608-2の各点から、時刻t3における4つの検出ポイント605-3´,606-3´,607-3´,608-3´の各点までの、それぞれの移動量ΔX52´,ΔX62´,ΔX72´,ΔX82´は、互いに等しくならない。すなわち、最も先端側の検出ポイント605の第1の移動量Δ52´、先端から2番目の検出ポイント606の第2の移動量Δ62´、先端から3番目の検出ポイント607の第3の移動量Δ72´、及び最も後端側の検出ポイント608の第4の移動量Δ82´は、互いに異なっている。さらに、第1の移動量Δ52´と第2の移動量Δ62´とはほぼ等しく、第3の移動量Δ72´と第4の移動量Δ82´とはほぼ等しく、第2の移動量Δ62´と第3の移動量Δ72´とが大きく異なり、|Δ62´|<|Δ72´|となる。これらの結果から、先端から2番目の検出ポイント606と先端から3番目の検出ポイント607との間で座屈が起こっていることが判定され得る。このように、検出ポイントの数が多くなると、情報量が増加し、挿入部203の状態についてのより詳細な情報が得られる。検出ポイントの数が大きくなると、例えば座屈が生じている挿入部203の箇所が特定され得る。
 [第2の変形例]
 挿入部203の後端側が挿入されているにも関わらず、先端部が停滞する場合、挿入部203が被検体内で座屈している場合に限らず、例えば図17に示すように被検体の湾曲している部分が挿入部203によって変形(伸展)することもある。ここで、図17は、時刻t4における挿入部203の形状と、時刻t4から時間Δtだけ経過した時刻t5の挿入部203の形状とを模式的に示している。このような場合にも、時刻t4における先端部の位置602-4と時刻t5における先端部の位置602-5との差である第2の移動量ΔX23は、時刻t4における後端側の位置604-4と時刻t5における後端側の位置604-5との差である第1の移動量ΔX13よりも小さくなる。すなわち、2つの検出ポイントの移動量の連動具合が低くなる。
 このように、第1の状態判断方法によれば、座屈に限らず、挿入部203による被検体910の変形など、検出対象として意図していない挿入状態の変化を検出することも可能となる。
 [第2の状態判断方法]
 第2の状態判断方法では、形状によって特定される特徴的な注目ポイントの変位に基づいて、挿入部203の状態を判定する。
 図18は、時刻t1における挿入部203の形状と、時刻t1から時間Δtだけ経過した時刻t2の挿入部203の形状とを模式的に示す。このとき、挿入部203の後端側の任意の箇所は、第1の後端位置614-1から第2の後端位置614-2まで移動する。以下の説明では、この後端側の任意の箇所は、後端側に配置された位置センサの位置であるものとして説明を行う。この位置を後側検出ポイントと称することにする。一方、挿入部203の先端は、第1の先端位置612-1から第2の先端位置612-2まで移動する。
 図19は、時刻t2における挿入部203の形状と、時刻t2から時間Δtだけ経過した時刻t3における挿入部203の形状とを模式的に示す。図19に示す場合は、挿入部203は、被検体910に沿って挿入されている。すなわち、挿入部203の後側検出ポイントは、第2の後端位置614-2から第3の後端位置614-3まで距離ΔX1だけ移動する。このとき、挿入部203の先端は、第2の先端位置612-2から第3の先端位置612-3まで挿入部203に沿って距離ΔX2だけ移動する。
 ここで、挿入部203が湾曲している部分の折り返し端(図19における最も上側に示される位置)を注目ポイント616とする。このとき、まず、挿入部203の形状が特定され、特定された形状に基づいて、注目ポイント616の位置が特定される。
 図19に示す場合においては、注目ポイント616の位置は、挿入部203の後側検出ポイントの位置が変化しても変化しない。すなわち、時刻t2から時刻t3までの間において、挿入部203は被検体910に沿って挿入され、挿入部203はその長手方向に滑るように挿入される。したがって、時刻t2から時刻t3までの間において、注目ポイント616の位置は変化しない。
 図20は、時刻t2における挿入部203の形状と、時刻t2から時間Δtだけ経過した時刻t3における挿入部203の形状との別の様子を模式的に示す。図20に示す場合は、挿入部203は、被検体910に沿って挿入されていない。すなわち、挿入部203の後側検出ポイントは、第2の後端位置614-2から第3の後端位置614-3´まで距離ΔX3だけ移動する。このとき、挿入部203の先端は、第2の先端位置612-2から第3の先端位置612-3´まで図20の上方向に距離ΔX5だけ移動する。
 図20に示す状況は、例えば挿入部203の先端部が被検体910に引っ掛かり、挿入部203がその長手方向に進まない場合に生じ得る。このとき、被検体910は、挿入部203が挿入されるのに伴って押し込まれる。その結果、注目ポイント616の位置は、挿入部203の後側検出ポイントの位置が変化するのに伴い、第1の位置616-1から第2の位置616-2へと、挿入部203の折り返し端方向に距離ΔX4だけ変位する。すなわち、被検体910が伸展している。
 図20に示す状態では、挿入部203の形状が「ステッキ形状」に保たれたまま、被検体910が「ステッキ」の「柄」の部分で押し上げられている。この状態を、ステッキ状態と称することにする。
 図19に示した場合と図20に示した場合との比較から明らかなように、注目ポイントの位置の変化に基づけば、挿入部203が、被検体に沿って挿入されている場合と、被検体に沿って挿入されていない場合とが判別され得る。上述の例では、挿入部203がステッキ状態で平行移動する場合を示したが、挿入部203が変形するときには、後側検出ポイントの移動量と注目ポイントの移動量とは異なることになる。また、注目ポイントの位置の変化に基づいて、被検体910の伸展状態が判別され得る。また、被検体が伸展しているときは、挿入部203が被検体910を押圧又は圧迫しているときである。すなわち、図20の白抜き矢印に示すように、被検体910は、挿入部203を押圧する。逆に、挿入部203は、被検体910を押圧する。このことから、注目ポイントの位置の変化に基づいて、被検体に対する圧力の大小が明らかになる。
 時間経過又は検出ポイントの移動量ΔX1に対する注目ポイントの位置の変化を図21に示す。図21において、注目ポイントの位置は、例えば折り返し端方向をプラス方向として示されている。実線で示す正常に挿入部203が挿入されているときには、注目ポイントの位置は、閾値a1より小さい値で変動している。これに対して、破線で示すステッキ状態にあるときには、注目ポイントの位置は、閾値a1を超えて変化している。
 注目ポイントの位置の値について、閾値a1を、被検体910の伸展が生じ始めている旨の警告を出力すべき値とし、閾値b1を、被検体910がこれ以上伸展したら危険がある旨の警告を出力すべき値とする等、閾値を適宜に設定することができる。閾値を適当に設定することで、注目ポイントの位置の情報は、ユーザへの警告や、制御装置310への警告信号の出力など、内視鏡200の操作を支援する情報として利用され得る。
 上述のような挿入部203の状態を示す値として、第2の操作支援情報α2を導入する。例えば、注目ポイントの変位をΔXcとし、後側検出ポイントの変位をΔXdしたときに、第2の操作支援情報α2は、次のように定義され得る。
  α2≡|ΔXc|/|ΔXd|
 第2の操作支援情報α2は、その値が0に近い程、挿入部203は、被検体910に沿って挿入されていることを示し、その値が1に近い程、挿入部203は、被検体910を押圧していることを示す。
 また、第2の操作支援情報α2は、次のように定義されてもよい。 
  α2≡(ΔXc+C2)/(|ΔXd|+C1)
ここで、C1、C2、L、Mは、任意の実数である。
 例えば、ΔXd、ΔXcの検出ノイズ成分レベルがNd、Nc(Nd、Nc≧0)、被検体に挿入部が接触した状態から負荷を掛けない押し込み量がPであり、パラメータk1・k2を用いて、Nd<k1・P(ただし、1≧k2>>k1≧0)となる場合を想定する。
 あるタイミングで|ΔXd|<k2・Pとなるときには、|ΔXd|≧k2・Pとなるよう、それまでの所定時間、又は、所定回数の動き量を累積して、ΔXdとΔXcを算出するものとする。このとき(すなわち、|ΔXd|≧k2・Pのとき)、パラメータC1・C2・L・Mを以下の様に設定する。 
 C1=-Nd
 C2= Nc
 L=M=2
N1やN2には、例えば、ノイズレベルの標準偏差(σ)の3倍程度の値を設定すればよい。
 このような設定を行うことで、一定量の動きに対して、ノイズの影響を踏まえて、検出漏れの影響を低減した第2の操作支援情報α2が得られる。さらに、k2・P≪|ΔXd|<Pとなるような計測を行うことで、被検体への負荷が無い、又は、少ない範囲で第2の操作支援情報α2を得ることができる。また、こうしたノイズ影響低減の仕方は、他の支援情報算出の際にも適用できる。
 第2の状態判断方法を実行するための操作支援装置の構成例の概略を図22に示す。
 挿抜支援装置100は、位置取得部110と、形状取得部120と、状態判断部130と、支援情報作成部180とを備える。位置取得部110の検出ポイント取得部111は、センサ201から出力される情報に基づいて、例えば挿入部203の後端側の位置センサが配置された箇所である検出ポイントの位置を取得する。形状取得部120は、センサ201から出力される情報に基づいて、挿入部203の形状を取得する。形状取得部120の注目ポイント取得部121は、挿入部203の形状に基づいて、挿入部203の湾曲部分の折り返し端である注目ポイントの位置を取得する。
 状態判断部130は、変位取得部151と、変位情報算出部152と、注目ポイント状態判断部153とを有する。変位取得部151は、時間経過に対する注目ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-3とに基づいて、注目ポイントの変位を算出する。また、変位取得部151は、時間経過に対する検出ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-3とに基づいて、検出ポイントの変位を算出する。このように、変位取得部151は、注目ポイントの第1の変位を取得する第1の変位取得部として機能し、さらに、検出ポイントの第2の変位を取得する第2の変位取得部として機能する。
 変位情報算出部152は、算出された注目ポイントの変位と検出ポイントの変位とに基づいて、変位情報を算出する。注目ポイント状態判断部153は、算出された変位情報と、プログラムメモリ192に記録された支援情報判断基準情報192-4とに基づいて、注目ポイントの状態を算出する。
 支援情報作成部180は、判定された注目ポイントの状態に基づいて、操作支援情報を作成する。操作支援情報は、制御装置310の制御にフィードバックされたり、表示装置320に表示されたり、記録装置196に記録されたりする。
 第2の状態判断方法における挿抜支援装置100の動作について、図23に示すフローチャートを参照して説明する。
 ステップS201において、挿抜支援装置100は、センサ201から出力データを取得する。ステップS202において、挿抜支援装置100は、ステップS201で取得したデータに基づいて、後端側の検出ポイントの位置を取得する。
 ステップS203において、挿抜支援装置100は、ステップS201で取得したデータに基づいて、挿入部203の形状を取得する。ステップS204において、挿抜支援装置100は、ステップS203で取得した挿入部203の形状に基づいて、注目ポイントの位置を取得する。
 ステップS205において、挿抜支援装置100は、注目ポイントの位置の継時的な変化を取得する。ステップS206において、挿抜支援装置100は、検出ポイントの位置変化と注目ポイントの位置変化とに基づいて、第2の操作支援情報α2等の注目ポイントの位置変化の評価値を算出する。ステップS207において、挿抜支援装置100は、ステップS206で算出された評価値に基づいて、注目ポイント周辺において、被検体の伸展が生じているか否かやその程度など、伸展について評価を行う。
 ステップS208において、挿抜支援装置100は、被検体の伸展が生じているか否かの判定結果や第2の操作支援情報α2等に基づいて、後の処理に用いるのに適当な支援情報を作成し、当該支援情報を例えば制御装置310や表示装置320に出力する。
 ステップS209において、挿抜支援装置100は、当該処理を終了させるための終了信号の入力があったか否かを判定する。終了信号の入力がないとき、処理はステップS201に戻る。すなわち、終了信号の入力があるまで上述の処理を繰り返し、操作支援情報を出力する。一方、終了信号の入力があったとき、当該処理は終了する。
 第2の状態判断方法が用いられることにより、注目ポイントの変位が特定され、この変位に基づいて、被検体において伸展が生じているか否かなど、操作支援情報が作成され得る。なお、上述の例では、後端側の検出ポイント、すなわち、直接センシングが行われる位置に基づいて操作支援情報が作成される場合を例に示した。しかしながらこれに限らない。捜査支援情報の作成には、注目ポイント、すなわち、挿入部203の任意の位置に係る情報が用いられてもよい。注目ポイントの位置が用いられる場合、検出ポイント取得部111ではなく、位置取得部110が注目ポイントの位置を取得し、取得された注目ポイントの位置が用いられる。その他の処理は、同様である。
 [変形例]
 注目ポイントは、挿入部203のどのような箇所でもよい。挿入部203の形状に特徴が認められ、注目ポイントを特定できる箇所であればどのような箇所でもよい。例えば図24に示すように、挿入部203を被検体910に挿入して最初に生じる湾曲部分によって特定される第1の注目ポイント617の他に、さらに挿入部203を挿入したときに生じる湾曲部分によって特定される第2の注目ポイント618について解析されてもよい。例えば図25に示すように、挿入部203の挿入に伴って、第1の注目ポイント617の位置は変化せず、第2の注目ポイント618の位置が変化するということもある。第2の状態判断方法によればこのような場合には、後側検出ポイントの移動量ΔX1と第2の注目ポイント618の移動量ΔX2等に基づいて、第1の注目ポイント617では伸展が生じていないが第2の注目ポイント618では伸展が生じているという判定結果が操作支援情報として出力されることになる。
 なお、注目ポイントは、挿入部203の形状に基づいて定められる位置であればどのような場所でもよい。例えば上述の例のように湾曲部分の折り返し端でもよいし、湾曲部分の湾曲開始位置でもよいし、湾曲部分と挿入部203の先端との例えば中点といった直線状の部分の何れかでもよいし、湾曲部分が2つ以上ある場合における湾曲部分と湾曲部分との中点等でもよい。いずれの場合も、上述の例と同様に、操作支援情報が出力され得る。また、検出ポイントとして、挿入部203の後端側の任意の箇所を例に挙げて説明したが、これに限らない。検出ポイントの位置は、挿入部203のどのような位置でもよい。
 [第3の状態判断方法]
 第3の状態判断方法では、注目ポイントの挿入部203における位置の変化に基づいて、挿入部203の状態を判定する。
 図26は、時刻t1における挿入部203の形状と、時刻t1から時間Δtだけ経過した時刻t2の挿入部203の形状とを模式的に示す。このとき、挿入部203の後端側の任意の箇所は、第1の後端位置624-1から第2の後端位置624-2まで距離ΔX1だけ移動する。この後端側の任意の箇所として、位置センサが配置されている位置を例に挙げて以下の説明を行う。この箇所を、以下では後側検出ポイントと称することにする。一方、挿入部203の先端は、第1の先端位置622-1から第2の先端位置622-2まで距離ΔX2だけ移動する。理想的には、距離ΔX1と距離ΔX2とは等しくなる。時刻t2における挿入部203が湾曲している部分の折り返し端を注目ポイント626-2とする。このとき、挿入部203において注目ポイント626-2と一致する点を第2の点628-2とする。ここで、第2の点628-2は、例えば挿入部203の長手軸に沿って定められる挿入部203の先端からの距離によって表現され得る。
 図27は、時刻t2における挿入部203の形状と、時刻t2から時間Δtだけ経過した時刻t3における挿入部203の形状とを模式的に示す。図27に示す場合は、挿入部203は、ほぼ被検体910に沿って挿入されている。この場合において、挿入部203の後側検出ポイントは、距離ΔX1だけ挿入されている。
 時刻t3における挿入部203が湾曲している部分の折り返し端を注目ポイント626-3とする。このとき、挿入部203上の点であって、挿入部203の挿抜に連動して一緒に動き、挿入部203の先端からの距離が変わらない、注目ポイント626-3と一致する点を第3の点628-3とする。第3の点628-3は、第2の点628-2と同様に、例えば挿入部203の先端からの距離によって表現され得る。
 図27に示す例では、時刻t2から時刻t3までの間に、挿入部203における注目ポイント626の位置を示す点は、第2の点628-2から第3の点628-3へと挿入部203の先端からの相対位置でみると、ΔScだけ挿入部203に沿って後ろ方向に移動している。挿入部203が完全に被検体に沿って挿入されているとき、挿入部203における注目ポイント626の位置を示す第2の点628-2から第3の点628-3までの変位ΔScは、挿入部203の後側検出ポイントの変位ΔX1と等しくなる。このように挿入部203が被検体に沿って挿入されている状態を自己追従性がある状態と呼ぶことにする。
 挿入部203が完全に被検体に沿って挿入されていないときでも、図27に示すように挿入部203が大凡被検体に沿って挿入されているとき、第2の点628-2から第3の点628-3までの変位ΔScは、挿入部203の後側検出ポイントの変位ΔX1と概ね等しくなる。このような状態は、自己追従性が高いと言える。
 一方、図28は、挿入部203が被検体910に沿って挿入されていない場合の、時刻t2と時刻t3とにおける挿入部203の形状を模式的に示す。この場合においても、挿入部203の後側検出ポイントは、距離ΔX1だけ挿入されている。図28に示す場合では、挿入部203がステッキ状態になっており、被検体910が伸展している。
 時刻t3における挿入部203が湾曲している部分の折り返し端を注目ポイント626-3´としたときに、挿入部203において注目ポイント626-3´と一致する点を第3の点628-3´とする。挿入部203における注目ポイント626の位置を示す点は、第2の点628-2から第3の点628-3´へとΔSc´だけ挿入部203に沿って後ろ方向に移動する。
 挿入部203が被検体に沿って挿入されていないとき、挿入部203における注目ポイント626の位置を示す点は、第2の点628-2から第3の点628-3´まで変化し、その変位ΔSc´は、挿入部203の後側検出ポイントの変位ΔX1よりもずっと小さい。
 このように、挿入部203の挿入量と、挿入部203における注目ポイントの位置の変化とに応じて、挿入部203が被検体910に沿って挿入されているか否かの判断が行われ得る。このように、挿入部203の挿入量と挿入部203における注目ポイントの位置の変化とが連動しているとき、挿入部203が被検体910に沿って挿入されていることが明らかとなり、挿入部203の挿入量と挿入部203における注目ポイントの位置の変化とが連動していないとき、挿入部203が被検体910に沿って挿入されていないことが明らかとなる。
 図27に示すように、挿入部203が被検体910に沿って挿入された後の様子の一例をさらに図29及び図30に示す。図29は、図上側に示された被検体910の第1の湾曲部分911において挿入部203が被検体910に沿って挿入され、図下側に示された被検体910の第2の湾曲部分912において挿入部203の先端が到達した場合を示している。図30は、第1の湾曲部分911においては挿入部203が被検体910に沿って挿入されているが、第2の湾曲部分912においては挿入部203が被検体910に沿って挿入されずに挿入部203がステッキ状態になっている場合を示している。
 図29及び図30に示す場合における、挿入部203における注目ポイントの位置の変化を図31に模式的に示す。時刻がt1、t2、t3、t4と順に経過して、挿入部203が被検体910の挿入口から徐々に挿入されているとき、その挿入量に従って、最初に検出される第1の湾曲部分911に相当する第1の注目ポイントR1は、後端方向へと移動する。
 図31に示すように、時刻t3において第2の湾曲部分912に相当する第2の注目ポイントR2が検出される。第2の注目ポイントR2は、挿入量に従って、挿入部203の後端方向へ移動しない。また、このとき、第2の注目ポイントR2における挿入部203の形状は、それ以前の形状と変化し得る。このように、自己追従性が高い部分と低い部分とで、注目ポイントに基づいて決定される点の挿入部203における位置の変化の態様が異なる。
 第3の状態判断方法について、図32乃至図35を参照してさらに説明する。時間経過に従って、挿入部203が図32に示すように、順に第1の状態203-1、第2の状態203-2、第3の状態203-3と遷移したとする。第1の状態203-1から第2の状態203-2まで、挿入部203は被検体910に沿って挿入され、第2の状態203-2から第3の状態203-3まで、挿入部203によって押圧されて被検体910が頂点方向に伸展する場合を考える。
 このような場合、横軸に時間経過、すなわち後端側の検出ポイント624の変位を示し、縦軸に挿入部203における注目ポイント626の位置、すなわち注目ポイント626の先端からの距離を示すと図33のようになる。すなわち、図33に示すように、第1の状態203-1のように、挿入開始からしばらくの間注目ポイントが検出されない。第1の状態203-1から第2の状態203-2までの間のように、挿入部203が被検体910に沿って挿入されるとき、注目ポイントの先端からの距離は図33に示すように徐々に増加する。第2の状態203-2から第3の状態203-3までの間のように、挿入部203がステッキ状態になっているとき、注目ポイントの先端からの距離は図33に示すように変化しない。
 また、図34に示すように、第1の状態203-1から第2の状態203-2まで挿入部203が被検体910に沿って挿入され、第2の状態203-2から第3の状態203-3まで被検体が斜め方向に押し出される場合を考える。この場合も、横軸に時間経過、すなわち後端側の検出ポイント624の変位を示し、縦軸に挿入部203における注目ポイント626の位置、すなわち注目ポイント626の先端からの距離を示すと図35のようになり、図33に示した場合と同様になる。
 注目ポイントの挿入部203の形状に沿った動き量をΔScとし、挿入部203の後端側の任意の箇所の検出ポイントの移動量をΔX1としたときに、自己追従性Rを示す判定式を次式で定義する。
  R≡|ΔSc|/|ΔX1|
 このとき、横軸に経過時間又は当該任意の箇所の移動量ΔX1すなわち挿入量を示し、縦軸に自己追従性Rを示すと、図36に示すような関係になる。すなわち、挿入部203が被検体に沿って正常に挿入されているときは、実線に示すように自己追従性Rは1に近い値となる。一方、ステッキ状態になると、破線に示すように自己追従性Rは1よりも小さな値となる。
 自己追従性Rを示す判定式を次式で定義してもよい。 
  R≡(ΔSc+C2)/(|ΔX1|+C1)
ここで、C1、C2、L、Mは、任意の実数である。
 例えば、ΔX1、ΔScの検出ノイズ成分レベルがN1、Nc(N1、Nc≧0)である場合に、パラメータC1・C2・L・Mを以下の様に設定する。 
 C1= N1    |ΔX1|≧N1
 C2=-Nc    |ΔX2|≧Nc
   =-|ΔX2| |ΔX2|<Nc
 L=M=4
N1やNcには、例えば、ノイズレベルの標準偏差(σ)の3倍程度の値を設定すればよい。
 このような、C1を正、C2を負としたノイズ対策の設定を行うことで、検出ノイズの影響を低減し、かつ、検出ノイズによる誤検出の少ない操作支援情報である自己追従性Rが得られる。また、L・Mの次数を2以上の値とすることで、ΔX1に対するΔScの比が小さくなることに敏感になり、自己追従性劣化の判断がしやすくなる。また、こうしたノイズ影響低減の仕方は、他の支援情報算出の際にも適用できる。
 図36に示すように、自己追従性Rについて、閾値a3を、被検体910の伸展が生じ始めている旨の警告を出力すべき値とし、閾値b3を、被検体910がこれ以上伸展したら危険がある旨の警告を出力すべき値とする等、閾値を適宜に設定することができる。閾値を適当に設定することで、自己追従性Rの値は、ユーザへの警告や、制御装置310への警告信号の出力など、内視鏡200の操作を支援する情報として利用され得る。
 第3の状態判断方法を実行するための操作支援装置の構成例の概略を図37に示す。
 挿抜支援装置100は、位置取得部110と、形状取得部120と、状態判断部130と、支援情報作成部180とを備える。位置取得部110の検出ポイント取得部111は、センサ201から出力される情報に基づいて、例えば挿入部203の後端側の位置センサが配置された箇所である検出ポイントの位置を取得する。
 形状取得部120は、センサ201から出力される情報に基づいて、挿入部203の形状を取得する。形状取得部120の注目ポイント取得部121は、挿入部203の形状に基づいて注目ポイントの位置を取得する。
 状態判断部130は、変位取得部161と、変位情報算出部162と、注目ポイント状態判断部163とを有する。変位取得部161は、挿入部203の形状と、注目ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-5とに基づいて、挿入部203における注目ポイントの位置の変化を算出する。また、変位取得部161は、挿入部203の後端側の検出ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-5とに基づいて、検出ポイントの位置の変化を算出する。このように、変位取得部161は、注目ポイントの第1の変位を取得する第1の変位取得部として機能し、また、検出ポイントの第2の変位を取得する第2の変位取得部として機能する。
 変位情報算出部162は、挿入部203における注目ポイントの変位と、挿入部203の後端側の検出ポイントの変位とを比較し、プログラムメモリ192に記録された変位分析情報192-5を用いて、変位情報を算出する。注目ポイント状態判断部163は、変位情報と、プログラムメモリ192に記録された判断基準情報192-6とに基づいて、注目ポイントに係る部分の状態を算出する。
 支援情報作成部180は、判定された注目ポイントの状態に基づいて、操作支援情報を作成する。操作支援情報は、制御装置310の制御にフィードバックされたり、表示装置320に表示されたり、記録装置196に記録されたりする。
 第3の状態判断方法における挿抜支援装置100の動作について、図38に示すフローチャートを参照して説明する。
 ステップS301において、挿抜支援装置100は、センサ201から出力データを取得する。ステップS302において、挿抜支援装置100は、ステップS301で取得したデータに基づいて、後端側の検出ポイントの位置を取得する。
 ステップS303において、挿抜支援装置100は、ステップS301で取得したデータに基づいて、挿入部203の形状を取得する。ステップS304において、挿抜支援装置100は、ステップS303で取得した挿入部203の形状に基づいて、注目ポイントの位置を取得する。
 ステップS305において、挿抜支援装置100は、挿入部203における注目ポイントの位置を算出する。ステップS306において、挿抜支援装置100は、挿入部203における注目ポイントの位置の継時的な変化を取得する。ステップS307において、挿抜支援装置100は、検出ポイントの位置変化と、挿入部203における注目ポイントの位置変化とに基づいて、自己追従性R等の挿入部203における注目ポイントの位置変化の評価値を算出する。ステップS308において、挿抜支援装置100は、ステップS307で算出された評価値に基づいて、注目ポイント周辺において、被検体の伸展が生じているか否かやその程度など、伸展について評価を行う。
 ステップS309において、挿抜支援装置100は、被検体の伸展が生じているか否かの判定結果や自己追従性R等に基づいて、後の処理に用いるのに適当な支援情報を作成し、当該支援情報を例えば制御装置310や表示装置320に出力する。
 ステップS310において、挿抜支援装置100は、当該処理を終了させるための終了信号の入力があったか否かを判定する。終了信号の入力がないとき、処理はステップS301に戻る。すなわち、終了信号の入力があるまで上述の処理を繰り返し、操作支援情報を出力する。一方、終了信号の入力があったとき、当該処理は終了する。
 第3の状態判断方法が用いられることにより、挿入部203における注目ポイントの変位が特定され、この変位と挿入部203の後端側の挿入量、すなわち検出ポイントの変位との関係等に基づいて、被検体において伸展が生じているか否かなど、操作支援情報が作成され得る。操作支援情報は、例えば挿入部203又は被検体910の状態や、挿入部203による被検体910に対する押圧や圧迫の有無やそれらの大小等が含まれる。また、操作支援情報には、挿入部203又は被検体910に異常が生じているか否かの情報が含まれる。
 第3の状態判断方法で用いられる注目ポイントも、第2の状態判断方法で用いられる注目ポイントと同様に、挿入部203の形状に基づいて定められる位置であればどこでもよい。例えば上述の実施形態のように湾曲部分の折り返し端でもよいし、湾曲部分の湾曲開始位置でもよいし、湾曲部分と先端との例えば中点といった直線部の何れかでもよいし、湾曲部分が2つ以上ある場合の湾曲部分と湾曲部分との中点等でもよい。また、検出ポイントの位置も、後端側に限らず、どのような位置でもよい。また、検出ポイントに代えて、任意の箇所である注目ポイントが用いられてもよい。注目ポイントの位置が用いられる場合、検出ポイント取得部111ではなく、位置取得部110が注目ポイントの位置を取得し、取得された注目ポイントの位置が用いられる。
 [変形例]
 第3の状態判断方法の変形例では、挿入部203の形状の接線方向に関する挿入部203の移動量に基づいて、挿入部203の状態を判定する。特に、注目ポイントにおける接線方向への挿入部203の移動量に基づいて、挿入部203の状態を判定する。
 図39に模式的に示すように、挿入部203の形状に基づいて注目ポイント631が取得される。続いて、挿入部203の形状に基づいて注目ポイント631における挿入部203の接線方向632が特定される。第3の状態判断方法の変形例では、注目ポイント631に相当する挿入部203上の点の移動方向と、接線方向632との関係に基づいて、自己追従性が評価される。すなわち、注目ポイント631に相当する挿入部203上の点の移動方向が、挿入部203の接線方向632と一致しているほど、自己追従性が高いことが分かる。
 図40に示すように、例えば注目ポイントに対応する点の変位量ΔXに対するその変位量の接線方向の変位量ΔSrの割合に基づいて、挿入部203の状態や被検体910の状態が評価される。すなわち、注目ポイントにおける、接線方向と移動方向とのなす角θに基づいて、挿入部203の状態や被検体910の状態が評価される。
 上述の図32に示したように、時間経過に従って、挿入部203が順に第1の状態203-1、第2の状態203-2、第3の状態203-3のように遷移したとする。このような場合に、時間経過に対する挿入部203の変位において接線方向の変位の割合を示す|ΔSr|/|ΔX|を図41に示す。第1の状態203-1から第2の状態203-2までは自己追従性が高いので、挿入部203の変位において当該点の移動方向に対する接線方向の変位の割合はほぼ1になっている。一方で、第2の状態203-2から第3の状態203-3までは、挿入部203が接線方向に進行せずに接線に対して垂直な方向に被検体910を伸展させながら変位するので、挿入部203の変位において当該点の移動方向に対する接線方向の変位の割合はほぼ0になっている。
 上述の図34に示したように、時間経過に従って、挿入部203が順に第1の状態203-1、第2の状態203-2、第3の状態203-3のように遷移したとする。このような場合に、時間経過に対する挿入部203の変位において|ΔSr|/|ΔX|を図42に示す。第1の状態203-1から第2の状態203-2までは自己追従性が高いので、挿入部203の変位において当該点の移動方向に対する接線方向の変位の割合はほぼ1になっている。一方で、第2の状態203-2から第3の状態203-3までは挿入部203が接線方向に対して傾いた方向に進行しているので、挿入部203の変位において当該点の移動方向に対する接線方向の変位の割合はほぼ0.5になっている。
 なお、ΔSrとΔXがベクトルである場合、(ΔSr・ΔX)/(|ΔSr|×|ΔX|)、又は、cosθを指標に用いてもよい。(「・」は内積を表す。)こうすることによって、単純に|ΔSr|/|ΔX|を用いて自己追従性を確認する場合に比べて、ΔXとΔSrが逆方向に動く場合には、自己追従性が極めて低いことが分かる。
 [第4の状態判断方法]
 上述の第3の状態判断方法の変形例の説明では、評価に用いられる値を、挿入体における注目ポイントに相当する点の接線方向の動きとして説明したが、接線と垂直な方向の動き、すなわち、挿入部203の横方向への動きとして評価されてもよい。例えば、注目ポイントの挿入部203の接線と垂直な方向への動き量を図40に示すようにΔXcとし、挿入部203の後端側の任意の箇所の注目ポイント、又は、検出ポイントの移動量をΔX1としたときに、横動きBを示す判定式を次式で定義する。
  B=|ΔXc|/|ΔX1|
 このとき、横軸に経過時間又は当該任意の箇所の移動量ΔX1すなわち挿入量を示し、縦軸に横動きBを示すと、図43に示すような関係になる。すなわち、挿入部203が被検体に沿って正常に挿入されているときは、実線に示すように横動きBは0に近い値となる。一方、ステッキ状態になると、破線に示すように横動きBは1に近い値となる。
 図43に示すように、横動きBについて、閾値a4を、被検体910の伸展が生じ始めている旨の警告を出力すべき値とし、閾値b4を、被検体910がこれ以上伸展したら危険がある旨の警告を出力すべき値とする等、閾値を適宜に設定することができる。閾値を適当に設定することで、横動きBの値は、ユーザへの警告や、制御装置310への警告信号の出力など、内視鏡200の操作を支援する情報として利用され得る。
 挿入部203の注目しているポイントの動きは、横動きとして表現されても、接線方向の動きとして表現されても、何れの形式で表現されてもよい。その意味するところは同じである。また、何れの場合にも、注目しているポイントの移動量と、挿入部203の後端側の注目ポイントや検出ポイントの移動量とが比較されてもよいし、後端側の注目ポイントや検出ポイントの移動量を用いずに注目しているポイントの移動とその接線方向の成分との割合のみに基づいて解析が行われてもよい。また、何れの場合にも、挿入部203の接線方向と挿入部の移動方向との一致度が高い程、挿入部203の動きは自己追従性が高く、挿入部203は被検体910に沿って挿入されていると言える。これらの点は以下の説明においても同様である。
 第4の状態判断方法を実行するための操作支援装置の構成例の概略を図44に示す。ここでは、後端側の検出ポイントを利用する場合の操作支援装置の構成例を示す。
 挿抜支援装置100は、位置取得部110と、形状取得部120と、状態判断部130と、支援情報作成部180とを備える。位置取得部110の検出ポイント取得部111は、センサ201から出力される情報に基づいて、例えば挿入部203の後端側の位置検出が行われる箇所である検出ポイントの位置を取得する。
 形状取得部120は、センサ201から出力される情報に基づいて、挿入部203の形状を取得する。形状取得部120の注目ポイント取得部121は、注目ポイントの位置を取得する。
 状態判断部130は、接線方向取得部171と、移動方向取得部172と、注目ポイント状態判断部173とを有する。接線方向取得部171は、挿入部203の形状と、注目ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-5とに基づいて、注目ポイントにおける挿入部203の接線方向を算出する。移動方向取得部172は、注目ポイントの位置と、プログラムメモリ192に記録された変位分析情報192-5とに基づいて、注目ポイントの移動方向を算出する。注目ポイント状態判断部173は、挿入部203における注目ポイントの接線方向と、注目ポイントの移動方向と、プログラムメモリ192に記録された判断基準情報192-6とに基づいて、注目ポイントの状態を算出する。
 支援情報作成部180は、判定された注目ポイントの状態に基づいて、操作支援情報を作成する。操作支援情報は、制御装置310の制御にフィードバックされたり、表示装置320に表示されたり、記録装置196に記録されたりする。
 第4の状態判断方法における挿抜支援装置100の動作について、図45に示すフローチャートを参照して説明する。
 ステップS401において、挿抜支援装置100は、センサ201から出力データを取得する。ステップS402において、挿抜支援装置100は、ステップS401で取得したデータに基づいて、後端側の検出ポイントの位置を取得する。
 ステップS403において、挿抜支援装置100は、ステップS401で取得したデータに基づいて、挿入部203の形状を取得する。ステップS404において、挿抜支援装置100は、ステップS403で取得した挿入部203の形状に基づいて、注目ポイントの位置を取得する。
 ステップS405において、挿抜支援装置100は、注目ポイントにおける挿入部203の接線方向を算出する。ステップS406において、挿抜支援装置100は、注目ポイントに相当する挿入部203の位置の移動方向を取得し、横動きを表す値を算出する。
 ステップS407において、挿抜支援装置100は、検出ポイントの位置変化と、横動きを表す値とに基づいて、挿入部203の注目ポイントにおける自己追従性を表す評価値を算出する。検出ポイントの位置変化に対して横動きを表す値が小さい程、自己追従性が高いことになる。
 ステップS408において、挿抜支援装置100は、ステップS407で算出された評価値に基づいて、注目ポイント周辺において、被検体の伸展が生じているか否かやその程度など、伸展について評価を行う。
 ステップS409において、挿抜支援装置100は、被検体の伸展が生じているか否かの判定結果やその程度等に基づいて、後の処理に用いるのに適当な支援情報を作成し、当該支援情報を例えば制御装置310や表示装置320に出力する。
 ステップS410において、挿抜支援装置100は、当該処理を終了させるための終了信号の入力があったか否かを判定する。終了信号の入力がないとき、処理はステップS401に戻る。すなわち、終了信号の入力があるまで上述の処理を繰り返し、操作支援情報を出力する。一方、終了信号の入力があったとき、当該処理は終了する。
 第4の状態判断方法が用いられることにより、挿入部203における注目ポイントにおける移動方向と接線方向との関係等に基づいて、被検体において伸展が生じているか否かなど、操作支援情報が作成され得る。操作支援情報は、例えば挿入部203又は被検体910の状態や、挿入部203による被検体910に対する押圧や圧迫の有無やそれらの大小等や、挿入部203の異常の有無が含まれ得る。
 なお、上述の例では、注目ポイントを対象として解析を行う場合を示したが、それに限らない。注目ポイントではなく、任意の点について、その形状から求まる当該点における接線方向と、当該点の移動方向とに基づいて、自己追従性は評価され得る。
 また、上述の説明では、挿入部203の後端側の検出ポイントの移動量と注目ポイントの移動量との関係に基づいて、自己追従性を評価する例を示した。検出ポイントに代えて任意の注目ポイントが用いられてもよい。また、検出ポイントの移動量については、必ずしも考慮する必要がない。すなわち、注目ポイントの移動量について、接線方向成分と接線と垂直な方向の成分との割合にのみ基づいても、自己追従性の評価は行われ得る。
 なお、第3の状態判断方法と第4の状態判断方法とは、いずれも挿入部203の自己追従性を評価している点は共通している。
 [変形例]
 上述の説明では、挿入部203の形状に基づく注目ポイントについて、接線方向の移動を分析する例を示した。注目ポイントに限らず、挿入部203の先端について接線方向の移動が分析されてもよい。先端の接線方向とは、すなわち、挿入部203の先端が向いている方向である。
 図32に示したものと同様の状態においては、図46に示すように、挿入部203の先端は、第2の位置635-2から第3の位置635-3へと後ろ方向に進む。すなわち、先端戻りが発生している。内視鏡200が先端方向の画像を取得する内視鏡である場合には、挿入部203の先端が後ろ方向に進んでいることは、取得された画像に基づいて知ることもできる。
 挿入部203の先端部の先端方向への進み具合を表す先端進みPを次式で定義する。 
  P=(ΔX2・D)/|ΔX1|
ここで、ΔX2は、先端の変位ベクトルであり、Dは先端方向ベクトルであり「・」は内積を示す。
 時間経過すなわち後端側の任意の箇所の挿入量ΔX1に対する先端進みPの変化の一例を図47に示す。図47の実線は、挿入部203が被検体910に沿って挿入されているときを表す。この場合、挿入部203の先端は、先端方向に進むので、先端進みPの値は1に近い値を示す。一方、図47の破線は、挿入部203がステッキ状態にあるときを表す。この場合、挿入部203の先端部は後ろ方向に進むので、先端進みPは、-1に近い値を示す。
 図47に示すように、先端進みPについて、閾値a4´を、被検体910の伸展が生じ始めている旨の警告を出力すべき値とし、閾値b4´を、被検体910がこれ以上伸展したら危険がある旨の警告を出力すべき値とする等、閾値を適宜に設定することができる。閾値を適当に設定することで、先端進みPの値は、ユーザへの警告や、制御装置310への警告信号の出力など、内視鏡200の操作を支援する情報として利用され得る。
 このように、先端戻りとして特徴的に検出される先端進みPによっても挿入部203又は被検体910の状態が判別され得る。
 [第1乃至第4の状態判断方法について]
 上述の各状態判断方法は、いずれも自己追従性の程度を評価しているものといえる。2点以上の注目ポイントの移動量に差異がある状態は、当該2点の間で自己追従性が低い箇所が存在している状態であると言い換えることができる。また、ステッキ状態とは、横動きが生じている状態とも言い換えることができ、横動きとは、自己追従性が低い状態であると言い換えることができる。
 第1の状態判断方法では、2点以上の注目ポイントの移動量の差異を検出し、差異があるとき、例えば座屈が生じていると判定される。座屈が生じているとき、当該座屈が生じている箇所において自己追従性が低い状態となっている。
 第2の状態判断方法では、注目ポイントに着目して、湾曲部分について自己追従性がない状態、すなわち、湾曲部分において横動きして被検体910を押し上げている状態が検出されている。
 第3の状態判断方法では、注目ポイントに着目して、挿入部203における注目ポイントの位置に基づいて自己追従性が評価されている。自己追従性の評価にあたっては、自己追従性が高いとき、挿入部203における注目ポイントの位置は、挿入量と一致することが利用されている。
 第4の状態判断方法では、ある点における接線とその移動方向とに基づいて、自己追従性が評価されている。自己追従性の評価にあたっては、自己追従性が高いとき、所定の点は、その点における挿入部203の形状の接線方向に進行することが利用されている。一方、自己追従性が低いとき、例えば横動き等が生じることになる。
 また、自己追従性が低い状態とは、横動きが生じている状態と言い換えることができる。したがって、上記の状態判断方法の何れも、横動きの程度を評価しているものと言い換えても、同様に表現され得る。
 ここで、挿入部203又は被検体910において注目すべき箇所として、被検体が湾曲している部分がある。湾曲している部分においては、挿入部203の自己追従性が低くなりがちであり、湾曲部分において横動きが生じると被検体の壁を押圧することになるので、被検体の湾曲部分における挿入部203又は被検体910の状態は、評価する価値が高い。このことから、第2の状態判断方法、第3の状態判断方法、及び第4の状態判断方法では、湾曲部分について注目ポイントとして着目し、この湾曲部分について解析が行われている。
 しかしながらこれに限らず、同様の方法によって、種々の箇所が注目ポイントとして設定され得るし、種々の箇所の挿入部203又は被検体910の状態が解析され得る。
 このように、変位情報取得部141及び連動具合演算部142、変位取得部151,161及び変位情報算出部152,162、又は、接線方向取得部171及び移動方向取得部172は、挿入部203の挿入における自己追従性を評価する自己追従性評価部として機能する。また、座屈判断部143、又は、注目ポイント状態判断部153,163,173は、自己追従性に基づいて、挿入部203又は被検体910の状態を判断する判断部として機能する。
 挿入部203又は被検体910の状態は、挿入部203が被検体910に沿って挿入されているか否かの判断にのみ用いられるものではない。ユーザは、挿入部203を被検体910に挿入するとき、被検体の形状を意図的に変化させることがある。例えば、被検体910が湾曲している部分では、挿入部203が進行しやすいように当該被検体の形状を直線に近づけるように操作することがある。このような操作においても、挿入部203の形状、被検体910の形状、挿入部203が被検体910を押圧する力等の情報は、ユーザにとって有益な情報となる。
 [第1乃至第4の状態判断方法の組み合わせについて]
 第1乃至第4の状態判断方法は、組み合わせて用いられ得る。例えば、第1の状態判断方法とその他の状態判断方法とを組み合わせて用いることで、次のような効果が得られる。すなわち、第1の状態判断方法を利用することで、挿入部203に生じている座屈に係る情報を取得することができる。この座屈に由来する変位成分を差し引くことで第2乃至第4の状態判断方法による演算結果の精度が向上し、また、挿入部203で生じている現象がより正確に把握され得る。その他、第1乃至第4の状態判断方法が組み合わせて用いられれば、得られる情報量は何れか1つの方法が用いられる場合よりも増加する。このことは、作成される支援情報の精度を向上させることに効を奏する。
 [操作支援情報について]
 支援情報作成部180は、上述の第1乃至第4の状態判断方法を用いて取得された挿入部203又は被検体910の状態に係る情報を用いて、操作支援情報を作成する。操作支援情報は、ユーザが挿入部203を被検体910に挿入することを支援する情報である。
 操作支援情報は、第1乃至第4の状態判断方法を用いて取得された挿入部203又は被検体910の状態に係る情報に基づくのみならず、入力装置330から入力される情報や、制御装置310から入力される情報等、種々の情報を組み合わせて作成され得る。第1乃至第4の状態判断方法が適宜に用いられることで、必要な情報が適切に取得され得る。
 操作支援情報は、例えば表示装置320に表示され、ユーザはこの表示を参考にして内視鏡200の操作を行う。また、操作支援情報は、例えば制御装置310の制御にフィードバックされる。より適切な制御装置310による内視鏡200の動作の制御は、ユーザの内視鏡200の操作を支援する。操作支援情報が利用されることで、内視鏡200の操作が円滑に行われ得る。
 操作支援装置として機能する挿抜支援装置100による操作に係わる支援情報の作成についてさらに説明する。
 図48に挿抜支援装置100に含まれる操作支援情報作成装置700の構成例の概略を示す。この操作支援情報作成装置700は、上述の位置取得部110、形状取得部120、状態判断部130及び支援情報作成部180の機能を含む。図48に示すように、操作支援情報作成装置700は、操作支援情報作成部710と、使用環境設定部730と、1次情報取得部750と、データベース760とを含む。
 1次情報取得部750は、センサ201から出力された1次情報を取得する。データベース760は、操作支援情報作成装置700に設けられた記録媒体に記録されている。データベース760には、操作支援情報作成装置700の各種動作に必要な情報が含まれている。データベース760には、特に使用環境設定部730が決定する設定に係る情報を導出する際に必要な情報が含まれている。
 操作支援情報作成部710は、内視鏡200に設けられたセンサ201の出力情報を、1次情報取得部750を介して取得して、これらを加工しながら高次の情報を作成し、最終的に操作に係わる支援情報を作成する。ここで、センサ201から出力された生データを1次情報と称することにする。1次情報から直接的に導き出される情報を2次情報と称することにする。1次情報と2次情報とから導出される情報を3次情報と称することにする。以下、4次情報、5次情報と、低次の情報を用いて高次の情報が導き出される。このように、操作支援情報作成部710で取り扱われる情報は、階層をなす情報群をなす。また、異なる階層に含まれる情報は、加工度合が異なる。
 操作支援情報作成部710は、2次情報生成部712と、高次情報生成部714と、支援情報作成部716とを有する。
 上述のとおり、センサ201には、複数のセンサが含まれているので、ここでは、これらを第1のセンサ201-1、第2のセンサ201-2等と称することにする。なお、センサの数はもちろんいくつでもよい。1次情報取得部750は、第1のセンサ201-1、第2のセンサ201-2等のセンサ201の出力を、2次情報生成部712へと入力する。2次情報生成部712は、1次情報取得部750が取得した1次情報に基づいて、2次情報を作成する。上述の例において、例えば位置取得部110の検出ポイント取得部111は、2次情報生成部712として機能する。また、形状センサの出力に基づいて、挿入部203の形状を算出するとき、形状取得部120の一部は、2次情報生成部712として機能する。
 高次情報生成部714は、図示しない3次情報生成部や4次情報生成部等を含み、3次以上の高次の情報を生成する。高次情報は、当該情報よりも低い階層の低次の情報を用いて生成される。上述の例において、位置取得部110及び形状取得部120の一部や状態判断部130は、高次情報生成部714として機能する。
 ここでいう支援情報作成部716は、上述の支援情報作成部180に相当し、1次情報、2次情報生成部712が生成した2次情報、及び高次情報生成部714が生成した高次情報のうち少なくとも1つに基づいて、操作に係わる支援情報を作成する。作成された支援情報は、制御装置310や表示装置320へと出力される。
 このように、操作支援情報作成部710においては、情報は、センサ201から取得した生データからユーザが識別できる単位へと変換され、さらに、ユーザが識別できる単位等から挿入部203の各部の状態を表す情報へと変換され、さらに、挿入部203の各部の状態を表す情報等から挿入部203の挿入状況へと変換され、さらに、挿入部203の挿入状況等から操作に係わる支援情報へと変換される。
 このように、操作支援情報作成部710では、複数の階層に含まれる複数の情報が情報群として生成され、この情報群に含まれる情報を状態情報としたときに、複数の異なる状態情報に基づいて、操作に係わる支援情報が作成され得る。
 使用環境設定部730は、内視鏡200、入力装置330、記録装置196等から取得した情報に基づいて、使用環境を解析し、操作支援情報作成部710が操作に係わる支援情報を作成するにあたって必要な設定情報を決定する。決定された設定情報は、操作支援情報作成部710へと出力される。操作支援情報作成部710は、設定情報に基づいて、操作に係わる支援情報を作成する。ここでいう使用環境は、例えば内視鏡200の種類や性能、内視鏡200が用いられている環境や内視鏡200の状態、内視鏡200を操作するユーザやその熟練度、被検体、術式等を含む。
 使用環境設定部730は、環境判別部732と、情報作成設定部742と、設定基準記憶部744とを有する。
 環境判別部732は、挿入体情報判別部734と、ユーザ情報判別部736とを有する。挿入体情報判別部734は、内視鏡200のセンサ201から、1次情報取得部750を介してセンサ201の出力データを取得する。挿入体情報判別部734は、センサ201の出力データに基づいて、内視鏡200の状態を判別する。
 また、内視鏡200は、内視鏡200の識別情報を記憶している識別情報記憶部282を有する。この識別情報としては、内視鏡200の機種及びシリアル番号、内視鏡200が有する機能等の情報、センサ201の機種及びシリアル番号、センサ201の機能等の情報等を含む。挿入体情報判別部734は、この識別情報記憶部282から内視鏡200の識別情報を取得する。挿入体情報判別部734は、内視鏡200の識別情報に基づいて、内視鏡200の状態を判別する。また、挿入体情報判別部734は、識別情報記憶部282から取得した識別情報に基づいて、挿抜支援装置100と内視鏡200との組み合わせを特定する。挿入体情報判別部734は、この組み合わせに基づいて、挿抜支援装置100が提供できる支援情報を判別する。
 挿入体情報判別部734は、得られた内視鏡200の状態に係る情報や提供可能な支援情報に係る情報を、挿入体側情報として情報作成設定部742へと出力する。
 ユーザ情報判別部736は、入力装置330を用いてユーザが入力した情報を取得する。また、ユーザ情報判別部736は、記録装置196から操作者であるユーザ及び被検体等の情報や、内視鏡200を用いて行われる作業内容に係る情報や、内視鏡200や挿抜支援装置100に係る情報や、挿抜支援装置100の設定に係る情報等、各種情報を取得する。ユーザによって入力される情報を第1の操作者情報と称することにする。また、記録装置196から入力される情報を第2の操作者情報と称することにする。
 ユーザ情報判別部736は、取得した情報に基づいて、ユーザ側情報を判別する。ユーザ情報判別部736は、ユーザ側情報を情報作成設定部742へと出力する。また、ユーザ情報判別部736は、ユーザ側情報について、必要に応じて、設定基準記憶部744及びデータベース760に記憶されている情報を更新する。
 情報作成設定部742は、挿入体情報判別部734から取得した内視鏡200に係る挿入体側情報と、ユーザ情報判別部736から取得したユーザ等に係るユーザ側情報と、設定基準記憶部744から取得した設定基準情報と、データベース760から取得した情報とに基づいて、操作支援情報作成部710が高次情報や操作に係わる支援情報を作成するにあたって必要な設定を決定する。この設定は、例えば作成される操作に係わる支援情報の内容、作成する方法、作成するタイミング等の情報を含み得る。設定の決定には、挿入体側情報とユーザ側情報との両方が用いられてもよいし、何れか一方が用いられてもよい。
 設定基準記憶部744は、情報作成設定部742が行う設定に必要な基準情報を記憶している。
 ここで、使用環境設定部730で処理される情報について説明する。
 操作者が入力する第1の操作者情報は、例えば、操作者の要求、判断、指示等を含む。
 第1の操作者情報の一例としては、複数種類ある支援情報の中からユーザが欲する1つ以上の支援情報の選択結果や、選択された支援情報の提供の仕方の指定などがある。また、第1の操作者情報の他の例としては、内視鏡画像や提示された支援情報に基づいてユーザが行った判断の結果や判断理由、現状に対する対処方法や関係者への指示であって、操作者が入力するものがある。
 第1の操作者情報の入力は、例えば、表示装置320に表示されたプルダウンメニューを用いて行われ得る。プルダウンメニューには、提供可能な支援情報のみが選択肢として表示される。例えばプルダウンメニューを用いることで、提供可能な支援情報のみが選択されるように構成され得る。なお、選択不可能な支援情報が、それとわかるように明示されるように構成されてもよい。
 第1の操作者情報の一例について説明する。例えば、大腸内視鏡を挿入する方法としては、ループ法と軸保持短縮法とが挙げられる。ループ法は、腸が湾曲している部分において、内視鏡200の挿入部203でループを作りながら、押し込むようにして挿入部203を被検体に挿入する方法であり、古くから用いられている大腸内視鏡挿入方法の1つである。ループ法は、医師にとって操作が容易な挿入方法である。一方で、ループ法では、ループを作る際に患者に負担が掛かりやすく、鎮痛剤が用いられることが多い。一方、軸保持短縮法は、内視鏡200の挿入部203をループさせずに直線的に挿入する大腸内視鏡挿入方法である。すなわち、軸保持短縮法では、操作者は、腸をていねいにたたみこんで短縮しながら腸を直線状にして、挿入部203を挿入する。軸保持短縮法は、医師にとって技量が求められるが、患者への負担が少ない挿入方法である。
 第1の操作者情報として、例えば、ループ法と軸保持短縮法とのうち一方が選択される。この場合のメニュー項目の一例を図49に示す。図49において、薄墨が付されている項目が、例えば選択されている項目である。すなわち、操作に係わる支援情報を提示させるために「操作支援情報」が選択され、その中のメニューの1つである「挿入支援」が選択され、その中のメニューである「軸保持短縮法」と「ループ法」とのうち「軸保持短縮法」が選択されている。
 第1の操作者情報の別の例としては、操作者が特に得たいと考える情報の指定がある。指定される情報としては、例えば内視鏡200の挿入部203の形状や、挿入操作の指示等が挙げられる。指定された情報が表示装置320に表示されたりその表示が強調されたりする。例えば、表示装置320には、操作支援情報として、図50のような画像が表示される。この画像には、例えば、大腸の形状や、挿入部203の撓みや、挿入部203による大腸の押し込み量や、大腸にかかる力が示されている。また、例えば、表示装置320には、操作に係わる支援情報として、図51のような画像が表示される。この画像には、例えば挿入部203を挿入すべき方向や、挿入部203の捻じれを解除するための操作方法などが示されている。
 第1の操作者情報の別の例としては、操作者が行った被検体の状態や作業状況についての判断、他者への指示、今後の対応指針といったものがある。この場合のメニュー項目の一例を図52に示す。図52において、薄墨が付されている項目が、例えば選択されている項目である。ここでは、判断結果を入力するための「判断結果入力」が選択され、その中のメニューである「被検体状況」と「作業状況」とのうち「被検体状況」が選択され、その中のメニューである「特定部位の状況」及び「特定部位での作業・結果」が選択されている。なお、「作業状況」の中のメニューとしては、「挿入操作のスムーズさ」及び「挿入装置の動作状況」が存在する。入力された項目は、その一部又は全部が、操作支援情報作成装置700に自動的に保存されてもよい。また、自動的に保存される項目は、適宜に設定できるように構成されてもよい。
 記録装置196から入力される第2の操作者情報の例としては次のようなものが挙げられる。
 第2の操作者情報の一例として、ユーザ固有情報が挙げられる。すなわち、第2の操作者情報は、例えばユーザの経験、ユーザの知識レベル、ユーザがよく行う手法・術式等の情報を含み得る。また、第2の操作者情報は、ユーザの過去の作業時の操作データや、提供された支援情報等の情報を含み得る。
 これらの情報の一例を図53に示す。図53に示すように、第2の操作者情報は、例えば医師であるといったユーザの資格や、例えば症例数がいくつであるといった内視鏡挿入経験や、例えばループ法の習熟度、軸保持短縮法の習熟度、盲腸到達率といった挿入習熟度や、腫瘍確認の症例数、癒着確認の症例数、生検サンプル採取の症例数といった診断・治療習熟度を含む。
 これらの情報は、ユーザに対して操作指示を提示するにあたって、例えば、過去に警告・異常を出した項目に注目して操作に係わる支援情報を作成する際等に利用され得る。
 また、第2の操作者情報の例として、被検体情報が挙げられる。すなわち、第2の操作者情報は、例えば、被検体の年齢、性別、身体データ、バイタル情報、病歴、検査/治療歴等を含み得る。また、第2の操作者情報は、被検体が受けた過去の作業時の操作データや提供された支援情報等の情報を含み得る。
 これらの情報の一例を図54に示す。図54に示すように、第2の操作者情報は、年齢、性別、身長、体重、血液型等といった個人特定情報や、病歴や、治療歴や、血圧、心拍数、呼吸数、心電図といったバイタル情報等を含む。
 これらの情報は、ユーザに対して操作指示を提示するにあたって、例えば過去の検査と大きく異なる操作が行われた場合や、過去に警告や異常が報知された箇所に注目して操作支援情報を作成する際等に利用され得る。
 また、第2の操作者情報の例として、設定基準の情報が挙げられる。すなわち、第2の操作者情報は、検査や治療の目的に応じた操作に係わる支援情報生成のための測定器の設定、データ取込タイミング、判定項目と判定基準等を含み得る。これらの情報の一例を図55に示す。
 図55に示すように、第2の操作者情報は、例えば、形状センサの情報取得が毎秒何回行われるといった内視鏡挿入部の形状検出に係る設定情報を含む。また、第2の操作者情報は、例えば、力覚センサ、形状センサ、並びに、形状センサ及び操作量センサといったセンサの情報取得が毎秒何回行われるといった内視鏡挿入部が被検体に加える力の検出に係る設定情報を含む。
 また、第2の操作者情報は、例えば、挿入の順調さやスタック(先端の行き詰まり状態)の発生に係る情報を含む。すなわち、第2の操作者情報は、例えば、内視鏡挿入部上の複数点の変位量や、手元側の点の変位量に対する先端側の点の変位量や、判定基準を含む。これらの情報に基づいて、挿入の順調さやスタックの発生に係る情報が、操作支援情報として作成される。
 また、第2の操作者情報は、例えば操作指示に係る情報を含む。すなわち、第2の操作者情報は、スコープ形状、内視鏡挿入部が被検体に加える力、挿入状況、これらと操作内容との関連付け基準(数式や変換テーブル等)、情報提示方法等を含む。
 これらの情報に基づいて、内視鏡200の押し/引きの量、捻りの方向と量、湾曲部の操作、被検体の体位変換、送気/脱気、吸引等の操作指示が操作に係わる支援情報として作成される。また、これらの情報に基づいて、挿入部203のループ解除の方法、経路の短縮化/直線化のための方法が操作支援情報として作成される。
 また、第2の操作者情報の例として、装置情報が挙げられる。すなわち、第2の操作者情報は、使用する機器(内視鏡や測定器等)の仕様、例えば、内視鏡200の型番、シリアルナンバー、長さ、搭載された測定機器、装着されたオプション機器、測定機器の測定内容、測定範囲及び検出精度等を含む。これらの情報の一例を図56に示す。
 図56に示すように、第2の操作者情報は、内視鏡本体の型番やグレードやシリアルナンバーや、オプション装置の型番やグレードやシリアルナンバーといった内視鏡200の情報を含む。また、第2の操作者情報は、挿抜支援装置100の型番やグレードやシリアルナンバーといった情報を含む。
 以上のように、使用環境設定部730は、ユーザ情報判別部736に入力されるユーザ側情報に基づいて、ユーザが必要とする又は必要と推定される操作に係わる支援情報が作成されるように、操作支援情報の作成に係る設定を行う。
 第2の操作者情報は、ハードディスクや半導体メモリ等の記録媒体に記録され、読み出され、適宜更新されるように構成されてもよい。
 次に、操作支援情報作成部710で行われる操作に係わる支援情報の作成の一例について説明する。階層化された情報の例を図57に示す。図57に示すように、操作支援情報作成部710は、センサ201から挿入部に係る生データである検出データを取得する。操作支援情報作成部710は、取得した検出データと、情報作成設定部742から取得した設定情報とに基づいて、挿入部203に係る状態情報を取得する。操作支援情報作成部710は、取得した状態情報と、情報作成設定部742から取得した設定情報に基づいて、操作に係わる支援情報を作成する。操作支援情報作成部710は、作成した操作支援情報に基づいて、出力先に応じた適切な出力情報を作成する。
 この出力情報は、表示装置320や制御装置310へと出力される。表示装置320は、入力された情報に基づいて、画像を表示する。この画像には、操作に係わる支援情報が含まれている。また、制御装置310は、出力情報に基づいて、フィードバック制御を行う。制御装置310は、例えば内視鏡200に設けられた駆動部のアクチュエータ284の駆動を制御する。アクチュエータ284への駆動情報は、例えば挿入部203の状態量の情報を含む。この情報には、例えば挿入体の挿抜量、ひねり量、形状分布、湾曲操作量、振動分布、温度分布、硬さ分布等のアクチュエータ284の駆動に係る情報が含まれる。このような、フィードバック制御に用いられる操作支援情報は、挿入操作支援、危険回避、安全性向上等に関する情報である。
 操作支援情報作成部710と使用環境設定部730とを含む操作支援情報作成装置700の一部又は全部は、基板上に素子が配置されることで実装されてもよいし、集積化されて集積回路として実装されてもよい。このように、操作支援情報作成部710と使用環境設定部730とは、一体化されて実装され得る。さらに、不揮発性であり記憶内容が更新されるように構成された記憶部が、操作支援情報作成部710と使用環境設定部730と共に一体化されて実装されてもよい。また、操作支援情報作成装置700の一部又は全部は、挿抜支援装置100に対して着脱自在に搭載されていてもよい。操作支援情報作成装置700の一部又は全部を挿抜支援装置100に対して着脱自在とすることで、挿抜支援装置100の特性を容易に変更することができ、挿抜支援装置100の汎用性が向上する。
 なお、挿抜支援装置100に接続され、挿抜支援装置100によって操作に係わる支援情報が作成される挿入体は、内視鏡200に限らない。挿抜支援装置100に接続される挿入体は、医療用のマニピュレータ、カテーテル、医療用及び工業用の内視鏡等であってもよい。このような挿入体は、被検体の観察又は診断と、被検体の修理、改良又は治療と、被検体の観察又は診断と修理、改良又は治療との記録とに用いられるように構成され得る。
 また、図58に示すように、挿抜支援装置100は、複数の挿入体が用いられるシステムに適用されてもよい。すなわち、図58に示す例では、第1の挿入体291は、先端からレーザを射出するように構成されている。また、第2の挿入体292は、レーザ加工用の遮光版293を備えている。遮光版293を被検体294の後ろ側に配置した状態で、第1の挿入体291からレーザを射出することで、処置を行う。
 このように、第1の挿入体291と第2の挿入体292とは、協調して作業を行うように構成されている。また、第1の挿入体291と第2の挿入体292とは、図58に示す例のように、異なる機能又は性能を有するように構成されていてもよい。また、第1の挿入体291と第2の挿入体292とのうち少なくとも何れか一方は、観察又は撮像に用いられる。すなわち、第1の挿入体291又は第2の挿入体292は、観察光学系を有していてもよい。また、第1の挿入体291又は第2の挿入体292は、撮像素子を有しており、電子的な観察に用いられ得る。また、第1の挿入体291又は第2の挿入体292は、撮像素子を有しており、画像データを記録できるように構成されてもよい。
 また、第1の挿入体291と第2の挿入体292とは、同一又は同等の機能を有していてもよい。第1の挿入体291と第2の挿入体292とは、組み合わせられることで1つの作業機能を実現できるように構成されていてもよい。
 また、第1の挿入体291と第2の挿入体292とは、図58に示すように互いに寄り添って動作するように構成されていてもよいし、一方が他方に内蔵されるように構成されていてもよい。操作に係わる支援情報が作成されるのは、第1の挿入体291と第2の挿入体292とのうち何れか一方でもよいし、両方でもよい。また、第1の挿入体291と第2の挿入体292とのうち一方の検出データに基づいて、他方の操作に係わる支援情報が作成されてもよい。

Claims (27)

  1.  被検体に挿入される挿入体に設けられたセンサから前記挿入体の状態に係る1次情報である検出データを取得する1次情報取得部と、
     前記挿入体及び前記センサのうち少なくとも何れか1つに係る挿入体側情報と、前記挿入体を操作する操作者、前記被検体及び前記挿入体を用いた作業の内容のうち少なくとも何れか1つに係るユーザ側情報とのうち、少なくとも何れか一方に基づいて、支援情報の作成に係る設定を行う使用環境設定部と、
     前記設定に基づいて、高次情報であって前記1次情報を含めて当該高次情報よりも低い階層の情報を用いて前記高次情報を作成することで、前記1次情報を含めて少なくとも2つ以上の階層を有する情報群を作成し、前記情報群に基づいて前記挿入体の操作に係る前記支援情報を作成する操作支援情報作成部と
     を備える操作支援装置。
  2.  前記情報群は前記挿入体の、異なる部分の状態に関わる情報、または、少なくとも一部についての異なる種類の情報である、複数の異なる状態情報を含み、前記操作支援情報作成部は、前記複数の異なる状態情報に基づいて、前記支援情報を作成する、請求項1に記載の操作支援装置。
  3.  前記操作支援情報作成部は、前記高次情報として、前記挿入体の長手方向について異なる位置に係る前記複数の異なる状態情報を作成する、請求項2に記載の操作支援装置。
  4.  前記使用環境設定部は、前記操作支援情報作成部による前記支援情報の作成内容、作成方法及び作成タイミングのうち少なくとも何れか1つに係る設定を行う、請求項1に記載の操作支援装置。
  5.  前記支援情報の作成内容、作成方法及び作成タイミングのうち少なくとも何れか1つを記憶する記憶部をさらに備え、
     前記使用環境設定部は、前記記憶部に記憶された情報に基づいて、前記支援情報の作成内容、作成方法及び作成タイミングのうち少なくとも何れか1つに係る設定を行う、
     請求項4に記載の操作支援装置。
  6.  前記支援情報の作成内容、作成方法及び作成タイミングのうち少なくとも何れか1つの設定基準を記憶する記憶部をさらに備え、
     前記使用環境設定部は、前記設定基準に基づいて、前記支援情報の作成内容、作成方法及び作成タイミングのうち少なくとも何れか1つに係る設定を行う、
     請求項4に記載の操作支援装置。
  7.  前記使用環境設定部は、
      前記挿入体を用いる際の環境である使用環境を判別し、
      前記使用環境に応じた前記支援情報の作成に係る設定を行う、
     請求項1に記載の操作支援装置。
  8.  前記使用環境設定部は、
      前記挿入体側情報を取り扱う挿入体情報判別部、及び前記ユーザ側情報を取り扱うユーザ情報判別部のうち少なくとも何れか1つと、
      前記挿入体情報判別部によって処理された前記挿入体側情報、及び前記ユーザ情報判別部によって処理された前記ユーザ側情報のうち少なくとも何れか1つに基づいて、前記支援情報の作成に係る設定を行う情報作成設定部と
     を有する請求項7に記載の操作支援装置。
  9.  前記使用環境設定部は、当該操作支援装置と前記挿入体との組み合わせにより、提供可能な前記支援情報を判別し、前記支援情報の作成に係る設定を行う、請求項8に記載の操作支援装置。
  10.  操作者が要求する前記支援情報を特定する情報が入力されるように構成された入力部をさらに備え、
     前記使用環境設定部は、前記操作者に、前記提供可能な前記支援情報を提示する、
     請求項9に記載の操作支援装置。
  11.  前記使用環境設定部は、前記操作者に、前記提供可能な前記支援情報以外の前記支援情報を提示する、請求項10に記載の操作支援装置。
  12.  前記使用環境設定部は、前記ユーザ側情報に基づいて、操作者が必要とする前記支援情報、又は前記操作者が必要とすると推定される前記支援情報を前記操作支援情報作成部が作成するように、前記支援情報の作成に係る設定を行う、請求項8に記載の操作支援装置。
  13.  前記ユーザ側情報は、前記操作者が行う作業内容を示す情報であり、
     前記使用環境設定部は、前記作業内容に関連した前記支援情報を前記操作支援情報作成部が作成するように、前記支援情報の作成に係る設定を行う、
     請求項12に記載の操作支援装置。
  14.  前記階層は、前記検出データの加工度合に基づく、請求項1に記載の操作支援装置。
  15.  前記操作支援情報作成部と前記使用環境設定部とは、一体化されて実装されている、請求項1に記載の操作支援装置。
  16.  前記操作支援情報作成部と前記使用環境設定部とは、1つの集積回路に集積化されている、請求項15に記載の操作支援装置。
  17.  前記操作支援情報作成部と前記使用環境設定部と一体化されて実装される、不揮発性であり記憶内容が更新されるように構成された記憶部をさらに備える、請求項15に記載の操作支援装置。
  18.  請求項1に記載の操作支援装置と、
     前記挿入体と
     を備える挿入体システム。
  19.  前記操作支援情報作成部と前記使用環境設定部とは、一体化されて実装されており、
     前記操作支援情報作成部と前記使用環境設定部とは、前記操作支援装置に対して着脱自在に搭載されている、
     請求項18に記載の挿入体システム。
  20.  前記挿入体システムは、
      前記被検体の観察又は診断と、
      前記被検体の修理、改良又は治療と、
      前記被検体の前記観察又は前記診断と、前記修理、前記改良又は前記治療との記録と
     に用いられるように構成されている、
     請求項18に記載の挿入体システム。
  21.  請求項1に記載の操作支援装置と
     前記挿入体として機能する第1の挿入体と、
     前記第1の挿入体と協調して作業を行うように構成された第2の挿入体と
     を備える挿入体システム。
  22.  前記第2の挿入体は、前記第1の挿入体とは異なる機能又は性能を有する、請求項21に記載の挿入体システム。
  23.  前記第2の挿入体は、観察又は撮像に用いられる、請求項22に記載の挿入体システム。
  24.  前記第2の挿入体は、前記第1の挿入体と同一又は同等の機能を有する、請求項21に記載の挿入体システム。
  25.  前記第2の挿入体は、前記第1の挿入体と組み合わせることで1つの作業機能を実現可能である、請求項24に記載の挿入体システム。
  26.  前記第1の挿入体と前記第2の挿入体とは、互いに寄り添って、又は、一方が他方に内蔵されるように構成されており、
     前記操作支援装置は、前記第1の挿入体と前記第2の挿入体とのうち一方の前記検出データに基づいて、他方に用いられる前記支援情報を作成する、
     請求項21に記載の挿入体システム。
  27.  被検体に挿入される挿入体に設けられたセンサから前記挿入体の状態に係る1次情報である検出データを取得することと、
     前記挿入体及び前記センサのうち少なくとも何れか1つに係る挿入体側情報と、前記挿入体を操作する操作者、前記被検体及び前記挿入体を用いた作業の内容のうち少なくとも何れか1つに係るユーザ側情報とのうち、少なくとも何れか一方に基づいて、支援情報の作成に係る設定を行うことと、
     前記設定に基づいて、高次情報であって前記1次情報を含めて当該高次情報よりも低い階層の情報を用いて前記高次情報を作成することで、前記1次情報を含めて少なくとも2つ以上の階層を有する情報群を作成し、前記情報群に基づいて前記挿入体の操作に係る前記支援情報を作成することと
     を含む操作支援方法。
PCT/JP2015/055932 2015-02-27 2015-02-27 操作支援装置、挿入体システム及び操作支援方法 WO2016135966A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017501808A JP6492159B2 (ja) 2015-02-27 2015-02-27 操作支援装置、挿入体システム及び操作支援方法
PCT/JP2015/055932 WO2016135966A1 (ja) 2015-02-27 2015-02-27 操作支援装置、挿入体システム及び操作支援方法
DE112015006234.3T DE112015006234T5 (de) 2015-02-27 2015-02-27 Betätigungsunterstützungsvorrichtung, Einführungsteilsystem und Betätigungsunterstützungsverfahren
CN201580076882.2A CN107249423B (zh) 2015-02-27 2015-02-27 操作辅助装置、插入体系统以及操作辅助方法
US15/684,242 US20170347916A1 (en) 2015-02-27 2017-08-23 Manipulation Support Apparatus, Insert System, and Manipulation Support Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/055932 WO2016135966A1 (ja) 2015-02-27 2015-02-27 操作支援装置、挿入体システム及び操作支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/684,242 Continuation US20170347916A1 (en) 2015-02-27 2017-08-23 Manipulation Support Apparatus, Insert System, and Manipulation Support Method

Publications (1)

Publication Number Publication Date
WO2016135966A1 true WO2016135966A1 (ja) 2016-09-01

Family

ID=56789180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055932 WO2016135966A1 (ja) 2015-02-27 2015-02-27 操作支援装置、挿入体システム及び操作支援方法

Country Status (5)

Country Link
US (1) US20170347916A1 (ja)
JP (1) JP6492159B2 (ja)
CN (1) CN107249423B (ja)
DE (1) DE112015006234T5 (ja)
WO (1) WO2016135966A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
WO2018172237A1 (en) * 2017-03-21 2018-09-27 Koninklijke Philips N.V. Oss guiding and monitoring systems, controllers and methods
JP2019030387A (ja) * 2017-08-04 2019-02-28 Hoya株式会社 内視鏡形状表示装置、内視鏡システム
JPWO2021106140A1 (ja) * 2019-11-28 2021-06-03
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD842992S1 (en) * 2016-03-18 2019-03-12 Olympus Corporation Endoscope operating unit
CN113677251A (zh) * 2019-05-30 2021-11-19 奥林巴斯株式会社 监视系统和内窥镜的插入操作的评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325303A (ja) * 1999-05-17 2000-11-28 Olympus Optical Co Ltd 内視鏡治療装置
JP2014161374A (ja) * 2013-02-21 2014-09-08 Olympus Corp 被検体挿入システム
JP2015016366A (ja) * 2014-10-14 2015-01-29 オリンパス株式会社 管状挿入装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009507617A (ja) * 2005-09-14 2009-02-26 ネオガイド システムズ, インコーポレイテッド 経腔的及び他の操作を行うための方法及び装置
EP2033571B1 (en) * 2007-09-05 2017-02-08 Vision-Sciences Inc. Compact endoscope tip and method for assemblying the same
JP5766940B2 (ja) * 2010-12-01 2015-08-19 オリンパス株式会社 管状挿入システム
JP5851204B2 (ja) * 2011-10-31 2016-02-03 オリンパス株式会社 管状挿入装置
WO2013157006A1 (en) * 2012-04-17 2013-10-24 Roni Zvuloni Organ mapping system using an optical coherence tomography probe

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325303A (ja) * 1999-05-17 2000-11-28 Olympus Optical Co Ltd 内視鏡治療装置
JP2014161374A (ja) * 2013-02-21 2014-09-08 Olympus Corp 被検体挿入システム
JP2015016366A (ja) * 2014-10-14 2015-01-29 オリンパス株式会社 管状挿入装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
US11311176B2 (en) 2016-12-22 2022-04-26 Olympus Corporation Endoscope insertion observation apparatus capable of calculating duration of movement of insertion portion
WO2018172237A1 (en) * 2017-03-21 2018-09-27 Koninklijke Philips N.V. Oss guiding and monitoring systems, controllers and methods
CN110636814A (zh) * 2017-03-21 2019-12-31 皇家飞利浦有限公司 Oss引导和监测系统、控制器以及方法
JP2020511255A (ja) * 2017-03-21 2020-04-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Oss誘導及び監視システム、コントローラ、及び方法
JP7304814B2 (ja) 2017-03-21 2023-07-07 コーニンクレッカ フィリップス エヌ ヴェ Oss誘導及び監視システム、コントローラ、及び方法
JP2019030387A (ja) * 2017-08-04 2019-02-28 Hoya株式会社 内視鏡形状表示装置、内視鏡システム
JPWO2021106140A1 (ja) * 2019-11-28 2021-06-03
WO2021106140A1 (ja) * 2019-11-28 2021-06-03 オリンパス株式会社 内視鏡画像処理装置、内視鏡システム及び内視鏡画像処理装置の作動方法
JP7183449B2 (ja) 2019-11-28 2022-12-05 株式会社エビデント 工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラム
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム

Also Published As

Publication number Publication date
CN107249423A (zh) 2017-10-13
CN107249423B (zh) 2019-05-28
DE112015006234T5 (de) 2017-12-14
JP6492159B2 (ja) 2019-03-27
US20170347916A1 (en) 2017-12-07
JPWO2016135966A1 (ja) 2017-11-09

Similar Documents

Publication Publication Date Title
JP6492159B2 (ja) 操作支援装置、挿入体システム及び操作支援方法
JP6626837B2 (ja) 挿抜支援装置
WO2016098251A1 (ja) 挿抜支援装置及び挿抜支援方法
US11779400B2 (en) Combining strain-based shape sensing with catheter control
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
JP4656988B2 (ja) 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
US9933606B2 (en) Surgical microscope
EP2907445A1 (en) Insertion system having insertion unit and insertion member
JP5788623B2 (ja) 内視鏡システム
EP2738515B1 (en) Measuring system, method and computer program product
WO2014061566A1 (ja) 観察装置、観察支援装置、観察支援方法及びプログラム
EP3192053A1 (en) Quality metric for multi-beat echocardiographic acquisitions for immediate user feedback
WO2021014767A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP7323647B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム
WO2014061428A1 (ja) 観察装置、観察支援装置、観察支援方法及びプログラム
WO2016098255A1 (ja) 挿抜支援装置及び挿抜支援方法
CN116075902A (zh) 用于识别医疗程序期间未检查区域的设备、系统和方法
JP2013017870A (ja) 超音波画像診断システム、及びその制御方法
JP6400160B2 (ja) 情報処理装置
JP2019048211A (ja) 超音波画像診断システム、及びその制御方法
JP6626838B2 (ja) 挿抜支援装置
WO2016098254A1 (ja) 挿抜支援装置及び挿抜支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017501808

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006234

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883260

Country of ref document: EP

Kind code of ref document: A1