WO2021014991A1 - 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム - Google Patents

内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム Download PDF

Info

Publication number
WO2021014991A1
WO2021014991A1 PCT/JP2020/026919 JP2020026919W WO2021014991A1 WO 2021014991 A1 WO2021014991 A1 WO 2021014991A1 JP 2020026919 W JP2020026919 W JP 2020026919W WO 2021014991 A1 WO2021014991 A1 WO 2021014991A1
Authority
WO
WIPO (PCT)
Prior art keywords
magnetic field
shape
endoscope
shape display
insertion portion
Prior art date
Application number
PCT/JP2020/026919
Other languages
English (en)
French (fr)
Inventor
央奈 弓部
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202080051346.8A priority Critical patent/CN114126474A/zh
Priority to EP20844040.4A priority patent/EP4005463B1/en
Priority to JP2021533935A priority patent/JP7185046B2/ja
Publication of WO2021014991A1 publication Critical patent/WO2021014991A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00158—Holding or positioning arrangements using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part

Definitions

  • the present disclosure relates to an endoscope shape display control device, an operation method of the endoscope shape display control device, and an operation program of the endoscope shape display control device.
  • An endoscope for observing the lower gastrointestinal tract such as the large intestine is known.
  • the lower gastrointestinal tract is intricately curved, unlike the upper gastrointestinal tract, such as the esophagus, which extends relatively linearly. Therefore, when an endoscope is inserted into the lower gastrointestinal tract, which is a subject such as a patient, the insertion portion of the endoscope is also complicatedly curved.
  • an endoscope shape detecting device that detects the shape of the insertion portion of the endoscope in the subject (for example, Japanese Patent Application Laid-Open No. (See 2004-551) is known.
  • the endoscopic shape detection device described in JP-A-2004-551 is based on the acquired information by acquiring information for imaging the shape of the insertion portion in the subject by using magnetism. It has a function to image the shape of the insertion part. For example, a plurality of magnetic field generating elements are arranged at intervals in the insertion portion of the endoscope. The endoscope shape detecting device detects the magnetic field generated by each magnetic field generating element in the insertion portion by the magnetic field detecting element arranged outside the subject.
  • the endoscope shape detecting apparatus described in JP-A-2004-551 .
  • Information on the strength of the magnetic field of each magnetic field generating element is used as information for imaging the shape of the insertion portion, and an image showing the shape of the insertion portion is generated. Then, the generated image is displayed on the monitor and presented to a user such as an operator (for example, a doctor).
  • the procedure for imaging in the endoscope shape detection device of JP-A-2004-551 is, for example, as follows.
  • the endoscopic shape detecting device of JP-A-2004-551 has an insertion portion of each portion based on information for imaging the shape of the insertion portion (for example, the above-mentioned information on the strength of the magnetic field).
  • a three-dimensional model of the insertion part is generated.
  • a rendering process is performed on the three-dimensional model of the insertion portion to generate a two-dimensional image to be displayed on the monitor.
  • This two-dimensional image is an image showing the shape of the insertion portion as viewed from one viewpoint in which the three-dimensional model of the insertion portion can be arbitrarily set, and is hereinafter referred to as a shape display image.
  • Japanese Unexamined Patent Publication No. 2004-551 describes that hidden line processing or hidden surface processing is performed during the rendering process in order to express the front and back of the intersecting portions.
  • the insertion portion of the endoscope may be displayed as a thin line in the shape display image. Therefore, hidden line treatment or hidden surface treatment is performed on the intersecting portion. Even if it is applied, there is a problem that it is difficult for the user to instantly judge before and after the intersection.
  • the technique of the present disclosure can display a shape display image in which the overlapping state of the insertion parts is easily visible in a shape display image displaying the shape of the insertion portion of the endoscope in a state of being inserted into the subject. It is an object of the present invention to provide an operation method of an endoscope shape display control device, an endoscope shape display control device, and an operation program of the endoscope shape display control device.
  • the endoscope shape display control device includes at least one processor, and the processor provides information for imaging the shape of the insertion portion of the endoscope inserted in the subject.
  • the processor provides information for imaging the shape of the insertion portion of the endoscope inserted in the subject.
  • a shape display image for displaying the shape of the insertion portion is generated based on the acquired information, the insertion portion is displayed with a pattern on the surface of the shape display image.
  • the pattern may be attached to the entire area of the insertion portion displayed on the shape display image.
  • the pattern may be a gradation in which the color changes continuously or stepwise from one of the tip end side and the proximal end side of the insertion portion to the other.
  • the gradation may change from green to blue.
  • the pattern may be a striped pattern.
  • the pattern may be a wire frame pattern.
  • the processor may perform shading processing on the insertion portion in addition to the pattern.
  • information for imaging the shape of the insertion portion can be obtained by using a plurality of magnetic field generating elements or a plurality of magnetic field detecting elements provided in the insertion portion.
  • the information may be based on the magnetic field measurement data.
  • the method of operating the endoscope shape display control device includes an information acquisition step of acquiring information for imaging the shape of the insertion portion of the endoscope inserted in the subject. It is an image generation step of generating a shape display image showing the shape of the insertion portion based on the acquired information, and includes an image generation step of displaying the insertion portion with a pattern on the surface of the shape display image. ..
  • the operation program of the endoscope shape display control device includes an information acquisition unit that acquires information for imaging the shape of the insertion portion of the endoscope inserted in the subject.
  • An image generation unit that generates a shape display image showing the shape of the insertion portion based on the acquired information.
  • the computer is used as an image generation unit that displays the insertion portion with a pattern on the surface. Make it work.
  • the shape display image displaying the shape of the insertion portion of the endoscope in the state of being inserted into the subject the shape display image in which the overlapping condition of the insertion portion is easily visible is displayed. It is possible to provide an endoscope shape display control device, an operation method of the endoscope shape display control device, and an operation program of the endoscope shape display control device.
  • FIG. 1 is a schematic view showing an overall configuration of an endoscope system 9 provided with an endoscope shape display control device according to the technique of the present disclosure.
  • the endoscope system 9 includes an endoscope 10, a light source device 11, a navigation device 12, a magnetic field generator 13, a processor device 14, and a monitor 15.
  • the endoscopy system 9 is used for endoscopy in the body of a subject H such as a patient.
  • Subject H is an example of a subject.
  • the endoscope 10 is, for example, an endoscope inserted into the digestive tract such as the large intestine, and is a flexible endoscope having flexibility.
  • the endoscope 10 is connected to the insertion portion 17 to be inserted into the digestive tract, the operation portion 18 connected to the base end side of the insertion portion 17 and gripped by the operator to perform various operations, and the operation portion 18. It has a universal code 19 and.
  • the endoscopy is performed, for example, with the subject H lying on the top surface 16A of the bed 16.
  • the insertion portion 17 of the endoscope 10 is inserted into the digestive tract from the anus by the surgeon OP who is a doctor.
  • the light source device 11 supplies the endoscope 10 with illumination light that illuminates the inside of the large intestine, which is an observation site.
  • the processor device 14 generates the observation image 41 by processing the image captured by the endoscope 10.
  • the observation image 41 is displayed on the monitor 15.
  • the surgeon OP proceeds with the endoscopy while confirming the observation image 41.
  • the observation image 41 displayed on the monitor 15 is basically a moving image, but it is also possible to display a still image as the observation image 41 as needed.
  • the endoscope system 9 has a navigation function for navigating procedures such as insertion operation of the endoscope 10 performed by the operator OP.
  • the navigation means the endoscopy of the operator OP by presenting the insertion state including the position and shape of the insertion portion 17 of the endoscope 10 in the body of the subject H to the operator OP. It means to support the procedure of the mirror 10.
  • the navigation function detects the insertion state of the insertion unit 17 using the magnetic field MF and presents the detected insertion state.
  • the navigation function is realized by the navigation device 12, the magnetic field generator 13, and the magnetic field measuring device in the endoscope 10 described later.
  • the magnetic field generator 13 generates a magnetic field MF.
  • the magnetic field generator 13 is attached to, for example, a stand and is arranged beside the bed 16 on which the subject H lies. Further, the magnetic field generator 13 is arranged within a range in which the generated magnetic field MF reaches the body of the subject H.
  • the magnetic field measuring device in the endoscope 10 detects the magnetic field MF generated by the magnetic field generator 13 and measures the strength of the detected magnetic field MF.
  • the navigation device 12 detects the insertion state of the insertion unit 17 by deriving the relative position between the magnetic field generator 13 and the insertion unit 17 based on the result of the magnetic field measurement by the magnetic field measurement device.
  • the processor device 14 generates a shape display image 42 showing the insertion state detected by the navigation device 12.
  • the monitor 15 displays the observation image 41 and the shape display image 42.
  • a monitor 15 for displaying the observation image 41 and the shape display image 42 may be provided separately.
  • the insertion portion 17 is a tubular portion having a small diameter and a long length, and the soft portion 21, the curved portion 22, and the tip portion 23 are sequentially formed from the proximal end side to the distal end side. It is composed of being connected.
  • the flexible portion 21 has flexibility.
  • the curved portion 22 is a portion that can be bent by the operation of the operating portion 18.
  • An imaging device 48 (see FIG. 3) or the like is arranged at the tip portion 23.
  • an illumination window 46 (see FIG. 3) that illuminates the observation portion with illumination light and an observation window in which the subject light reflected by the illumination light is incident. 47 (see FIG. 3), a treatment tool outlet (not shown) for the treatment tool to protrude, and a cleaning nozzle for cleaning the observation window 47 by injecting gas and water into the observation window 47 (FIG. 3). Not shown) and are provided.
  • a light guide 33, a signal cable 32, an operation wire (not shown), and a pipeline for inserting a treatment tool (not shown) are provided in the insertion portion 17.
  • the light guide 33 extends from the universal cord 19 and guides the illumination light supplied from the light source device 11 to the illumination window 46 at the tip portion 23.
  • the signal cable 32 is used for power supply to the image pickup device 48 in addition to communication of the image signal from the image pickup device 48 and the control signal for controlling the image pickup device 48.
  • the signal cable 32 also extends from the universal cord 19 and is arranged up to the tip portion 23.
  • the operation wire is a wire for operating the curved portion 22, and is arranged between the operating portion 18 and the curved portion 22.
  • the pipe for inserting the treatment tool is a pipe for inserting a treatment tool (not shown) such as forceps, and is arranged from the operation portion 18 to the tip portion 23.
  • a fluid tube for supplying air and water is provided in the insertion portion 17. The fluid tube supplies the tip 23 with gas and water for cleaning the observation window 47.
  • each detection coil 25 corresponds to a magnetic field detection element that detects the magnetic field MF.
  • Each detection coil 25 is affected by the magnetic field MF generated from the magnetic field generator 13, so that an induced electromotive force is generated by the action of electromagnetic induction, and an induced current is generated by the induced electromotive force.
  • the value of the induced current generated from each detection coil 25 represents the strength of the magnetic field MF detected by each detection coil 25, and this is the magnetic field measurement result. That is, the magnetic field measurement result means a value corresponding to the magnitude of the induced current representing the strength of the magnetic field MF.
  • the operation unit 18 is provided with various operation members operated by the operator. Specifically, the operation unit 18 is provided with two types of curved operation knobs 27, an air supply / water supply button 28, and a suction button 29. Each of the two types of bending operation knobs 27 is connected to an operation wire, and is used for a left-right bending operation and a vertical bending operation of the bending portion 22. Further, the operation unit 18 is provided with a treatment tool introduction port 31 which is an entrance of a pipeline for inserting the treatment tool.
  • the universal cord 19 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 19 includes a signal cable 32, a light guide 33, and a fluid tube (not shown). Further, a connector 34 connected to the light source device 11 is provided at the end of the universal cord 19.
  • the light source device 11 supplies the endoscope 10 with electric power, a control signal, illumination light, gas, and water necessary for operating the endoscope 10. Further, the image signal of the observation portion acquired by the imaging device 48 (see FIG. 2) of the tip portion 23 and the magnetic field measurement result based on the detection signal of each detection coil 25 are transmitted from the endoscope 10 to the light source device 11. Will be done.
  • the connector 34 is not electrically connected to the light source device 11 by using a metal signal line or the like, and instead, the connector 34 and the light source device 11 are in optical communication (for example, non-contact). It is connected so that it can communicate by type communication).
  • the connector 34 transmits and receives a control signal exchanged between the endoscope 10 and the light source device 11 and transmits an image signal and a magnetic field measurement result from the endoscope 10 to the light source device 11 by optical communication.
  • the connector 34 is provided with a laser diode (Laser Diode: hereinafter referred to as LD) 36 connected to the signal cable 32.
  • LD laser diode
  • the LD36 is used for transmitting a large amount of data from the endoscope 10 to the light source device 11, specifically, transmitting an image signal and a magnetic field measurement result.
  • the LD36 transmits an image signal and a magnetic field measurement result, which were originally in the form of an electric signal, in the form of an optical signal to a photodiode (hereinafter referred to as PD) 37 provided in the light source device 11. ..
  • PD photodiode
  • a small-capacity control signal exchanged between the endoscope 10 and the light source device 11 is converted into an optical signal for both the connector 34 and the light source device 11 separately from the LD36 and PD37.
  • An optical transmission / reception unit for transmitting / receiving is provided.
  • the connector 34 is provided with a power receiving unit (not shown) that receives power by wireless power supply from the power feeding unit (not shown) of the light source device 11.
  • the light guide 33 in the connector 34 is inserted into the light source device 11. Further, the fluid tube (not shown) in the connector 34 is connected to the air supply / water supply device (not shown) via the light source device 11. As a result, the light source device 11 and the air supply / water supply device supply the illumination light, the gas, and the water to the endoscope 10, respectively.
  • the light source device 11 supplies illumination light to the light guide 33 of the endoscope 10 via the connector 34, and supplies gas and water supplied from the air supply / water supply device (not shown) to the fluid tube of the endoscope 10. Supply to (not shown). Further, the light source device 11 receives the light signal transmitted from the LD 36 by the PD 37, converts the received light signal into the original image signal which is an electric signal and the magnetic field measurement result, and then outputs the light signal to the navigation device 12.
  • the navigation device 12 outputs the image signal for generating the observation image 41 input from the light source device 11 to the processor device 14. Further, the navigation device 12 controls the drive of the magnetic field generator 13 described later, detects the shape of the insertion portion 17 in the body of the subject H, and generates the shape display image 42 from this detection result. It is output to the processor device 14 as information for the purpose.
  • the endoscope 10 in this example is a one-connector type having one connector 34 connected to the light source device 11.
  • the endoscope 10 is communicably connected to each of the processor device 14 and the navigation device 12 via the light source device 11 to which the connector 34 is connected.
  • the magnetic field generator 13 has a plurality of generating coils 39 corresponding to a plurality of magnetic field generating elements.
  • Each generating coil 39 is, for example, an X-axis coil, a Y-axis coil, and a Z-axis coil that generate an alternating magnetic field (in other words, an alternating magnetic field) in a direction corresponding to the XYZ coordinate axes of the Cartesian coordinate system XYZ by applying a driving current. And include.
  • Each generating coil 39 generates a magnetic field MF having the same frequency.
  • Each generating coil 39 generates a magnetic field MF at different timings from each other under the control of the navigation device 12, which will be described in detail later.
  • FIG. 3 is a block diagram showing an electrical configuration of the endoscope system 9.
  • the endoscope 10 includes a light guide 33, an irradiation lens 45, an illumination window 46, an observation window 47, an image pickup device 48, a magnetic field detection circuit 49, and a general control circuit 50. It has a signal cable 32, an LD36, and a fluid tube and a cleaning nozzle (not shown).
  • the light guide 33 is a large-diameter optical fiber, a bundle fiber, or the like.
  • the incident end of the light guide 33 is inserted into the light source device 11 via the connector 34.
  • the light guide 33 is inserted into the connector 34, the universal cord 19, and the operation portion 18, and the emission end faces the irradiation lens 45 provided in the tip portion 23 of the insertion portion 17.
  • the illumination light supplied from the light source device 11 to the incident end of the light guide 33 is irradiated to the observation portion from the irradiation lens 45 through the illumination window 46 provided on the tip surface of the tip portion 23.
  • the illumination light reflected by the observation portion is incident on the imaging surface of the imaging device 48 as the image light of the observation portion through the observation window 47 provided on the tip surface of the tip portion 23.
  • One end side of the above-mentioned fluid tube (not shown) is connected to an air supply / water supply device (not shown) through a connector 34 and a light source device 11, and the other end side of the fluid tube (not shown) is an insertion portion. It is connected to an air supply / water supply nozzle (not shown) provided on the tip surface of the tip portion 23 through the inside of the 17 and the like.
  • an air supply / water supply nozzle not shown
  • the image pickup device 48 has a condenser lens 52 and an image pickup element 53.
  • the condenser lens 52 collects the image light of the observation portion incident from the observation window 47, and forms the image light of the collected observation portion on the image pickup surface of the image pickup device 53.
  • the image pickup device 53 is a CMOS (complementary metal oxide semiconductor) type or CCD (charge coupled device) type image pickup device.
  • the image sensor 53 is, for example, a color image sensor to which any of R (Red), G (Green), and B (Blue) microfilters is assigned to each pixel.
  • the image sensor 53 images an observation site to be observed. More specifically, the image sensor 53 captures the image light of the observation portion imaged on the imaging surface (that is, converts it into an electric signal), and outputs the image signal of the observation portion to the integrated control circuit 50.
  • the image pickup device 53 is provided with an oscillation unit 53a that outputs a reference signal (for example, a clock signal) of, for example, a crystal oscillator, and the image pickup element 53 is based on the reference signal oscillated from the oscillation section 53a. 53 outputs an image signal constituting a moving image.
  • the reference signal interval defines the frame rate.
  • the frame rate is, for example, 30 fps (frames per second).
  • the magnetic field detection circuit 49 is electrically connected to each detection coil 25 in the insertion portion 17.
  • the magnetic field detection circuit 49 outputs magnetic field measurement data 55 including the magnetic field measurement results of each detection coil 25 according to the magnetic field MF generated from the generation coil 39 of the magnetic field generator 13 to the integrated control circuit 50.
  • the integrated control circuit 50 is configured to include various arithmetic circuits including a CPU (Central Processing Unit) and various memories, and comprehensively controls the operation of each part of the endoscope 10.
  • the integrated control circuit 50 functions as a signal processing unit 57, a magnetic field measurement control unit 58, and an image signal output unit 59 by executing a control program stored in a memory (not shown).
  • the magnetic field detection circuit 49 and the magnetic field measurement control unit 58 together form a magnetic field measurement unit.
  • the magnetic field measuring unit measures a plurality of magnetic field MFs originating from each of the generating coils 39 corresponding to the plurality of magnetic field generating elements based on the detection signal output by the detection coil 25, thereby measuring the magnetic field for each magnetic field MF. Output the measurement result.
  • the magnetic field measuring unit and the detection coil 25 are combined to form a magnetic field measuring device.
  • the signal processing unit 57 performs various signal processing on the image signals sequentially output from the image sensor 53.
  • the signal processing includes, for example, analog signal processing such as correlation double sampling processing and signal amplification processing, and A / D (Analog / Digital) conversion processing for converting an analog signal into a digital signal after analog signal processing. ..
  • the image signal after the signal processing is performed is called a frame image signal 61.
  • the signal processing unit 57 outputs the frame image signal 61 to the image signal output unit 59 according to the frame rate.
  • the frame image signal 61 is used as moving image data of the observation site.
  • the plurality of frame image signals 61 are image signals that are acquired by the image sensor 53 when the image pickup device 53 executes moving image shooting and are output at preset time intervals.
  • the magnetic field measurement control unit 58 acquires magnetic field measurement data 55 including a plurality of magnetic field measurement results of each detection coil 25 via the magnetic field detection circuit 49, and outputs the acquired magnetic field measurement data 55 to the image signal output unit 59. ..
  • the magnetic field measurement results of each detection coil 25 show, for example, each generation coil 39 that generates a magnetic field MF and each detection even if the strength of the magnetic field generated by each generation coil 39 is the same. It varies depending on the distance and orientation between each of the coils 25.
  • the first generating coil 39 shown in FIG. 4 has a different distance and direction from each of the first to third detection coils 25, as shown by a solid line. Therefore, with respect to the magnetic field MF generated by one first generating coil 39, the magnetic field measurement results of the first to third detection coils 25 are different.
  • the relationship between each of the second generation coil 39 and the third generation coil 39 and each of the first to third detection coils 25 is the same.
  • each of the first to third generation coils 39 is an X-axis coil, a Y-axis coil, and a Z-axis coil, respectively.
  • the third order of the first detection coil 25 corresponding to the XYZ coordinate axes is based on the magnetic field measurement result of one first detection coil 25 for each magnetic field MF of the X-axis, Y-axis, and Z-axis coils.
  • the original coordinate position can be detected.
  • the angle of each detection coil 25 is detected in addition to the three-dimensional coordinate position of each detection coil 25.
  • the shape of the insertion portion 17 is detected based on the information of the three-dimensional coordinate position and the angle. In the following, in order to avoid complication, the angle will be omitted and only the three-dimensional coordinate position will be described.
  • FIG. 5 is an explanatory diagram for explaining an example of the magnetic field measurement data 55 acquired by the magnetic field measurement control unit 58.
  • the magnetic field measurement control unit 58 includes a plurality of magnetic field measurement results in which each of the plurality of detection coils 25 detects each of the plurality of magnetic field MFs generated by the plurality of generation coils 39 and is output from each detection coil 25.
  • the magnetic field measurement data 55 is acquired.
  • (1) to (4) are data strings showing the magnetic field measurement results of the plurality of detection coils 25 for the magnetic field MF generated by each of the generating coils 39.
  • "D11” is a magnetic field measurement result in which the magnetic field MF generated by the first generating coil 39 is detected by the first detecting coil 25.
  • “D12” is a magnetic field measurement result obtained by detecting the magnetic field MF generated by the first generating coil 39 with the “second detection coil”.
  • “D42” is a magnetic field measurement result in which the magnetic field MF generated by the fourth generating coil 39 is detected by the second detecting coil 25.
  • “D43” is a magnetic field measurement result obtained by detecting the magnetic field MF generated by the fourth generating coil 39 with the third detecting coil 25.
  • the magnetic field measurement control unit 58 sequentially acquires the magnetic field measurement results of each detection coil 25 while synchronizing with the magnetic field generation timing of each generation coil 39 in the magnetic field generator 13. For example, the magnetic field measurement control unit 58 acquires the magnetic field measurement results of all the detection coils 25 for each magnetic field MF of all the generating coils 39 in one magnetic field measurement period defined by the synchronization signal described later. To do. As a result, the magnetic field measurement control unit 58 acquires the magnetic field measurement data 55 including a plurality of magnetic field measurement results relating to all combinations of each generation coil 39 and each detection coil 25 in one magnetic field measurement period.
  • the magnetic field measurement data 55 including a plurality of magnetic field measurement results related to all such combinations is referred to as total magnetic field measurement data.
  • the magnetic field measurement data 55 shall include the total magnetic field measurement data.
  • the image signal output unit 59 adds a frame start signal VD to each of the plurality of frame image signals 61 sequentially input from the signal processing unit 57, and outputs the frame image signal 61.
  • frame 1 “frame 2”, “frame 3” ...
  • frame start signal VD is, for example, a vertical synchronization signal.
  • the image signal output unit 59 adds the magnetic field measurement data 55 to the frame image signal 61 and outputs the frame image signal 61. That is, the frame start signal VD and the magnetic field measurement data 55 are included in all of the frame image signals 61 output by the image signal output unit 59. As shown in FIG. 6, the magnetic field measurement data 55 is added to the signal invalid region ND between the frame image signals 61 corresponding to the blanking time of the image sensor 53.
  • the blanking time is, for example, a vertical blanking period.
  • the frame start signal VD is also a signal included in the vertical blanking period of the plurality of frame image signals 61.
  • the image signal output unit 59 outputs the frame image signal 61 to the LD 36 described above via the signal cable 32.
  • the LD 36 transmits an optical signal obtained by converting the frame image signal 61 into an optical signal toward the PD 37 of the light source device 11.
  • the image signal output unit 59 outputs the frame image signal 61 acquired from the image pickup element 53 via the signal processing unit 57 to the outside of the endoscope 10. Further, by using the frame start signal VD included in the frame image signal 61 as a synchronization signal, the image signal output unit 59 functions as a synchronization signal generation unit.
  • the light source device 11 includes an illumination light source 63, a PD 37, a light source control unit 64, a signal relay unit 62, and a communication interface 65.
  • the illumination light source 63 is configured to include a semiconductor light source such as an LD (Laser Diode) or a light emitting diode (LED), and emits white light having a wavelength ranging from a red region to a blue region as illumination light. It is a light source.
  • a special light light source that emits special light such as purple light and infrared light may be used.
  • the illumination light emitted from the illumination light source 63 is incident on the incident end of the light guide 33 described above.
  • the light source control unit 64 is configured to include various arithmetic circuits including a CPU and various memories, and controls the operation of each part of the light source device 11 such as the illumination light source 63.
  • the PD37 receives the optical signal transmitted from LD36.
  • the PD 37 converts the frame image signal 61 received in the form of an optical signal into the form of the original electric signal, and inputs the converted frame image signal 61 to the signal relay unit 62.
  • the signal relay unit 62 is composed of, for example, an FPGA (Field Programmable Gate Array).
  • the FPGA is a processor whose circuit configuration can be changed after manufacturing, and the circuit configuration includes various arithmetic circuits and various memory circuits.
  • the navigation device 12 includes an image signal acquisition unit 68, an insertion state detection unit 70, a magnetic field generation control unit 71, a display output unit 74, and an image generation unit 77.
  • Each part of the navigation device 12 is composed of various arithmetic circuits (not shown) including one or a plurality of CPUs, and operates by executing a control program stored in a memory (not shown).
  • the image signal acquisition unit 68 acquires the frame image signal 61 from the signal relay unit 62 via the communication interface 65. Then, the image signal acquisition unit 68 outputs the acquired frame image signal 61 to the display output unit 74.
  • the image signal acquisition unit 68 extracts the frame start signal VD and the magnetic field measurement data 55 included in the frame image signal 61, and outputs the extracted frame start signal VD and the magnetic field measurement data 55 to the insertion state detection unit 70. Further, the image signal acquisition unit 68 extracts the frame start signal VD from the frame image signal 61, and outputs the extracted frame start signal VD to the magnetic field generation control unit 71.
  • the insertion state detection unit 70 determines the insertion state of the insertion unit 17 of the endoscope 10 inserted into the body of the subject H based on the frame start signal VD and the magnetic field measurement data 55 acquired from the image signal acquisition unit 68. To detect.
  • the insertion state detection unit 70 has a position detection unit 72 and an insertion unit shape detection unit 73.
  • the position detection unit 72 detects the position of each detection coil 25 based on the frame start signal VD and the magnetic field measurement data 55.
  • the position detection unit 72 is provided with a discrimination unit 72A.
  • the discriminating unit 72A discriminates a plurality of magnetic field measurement results included in the magnetic field measurement data 55 with reference to the correspondence relationship 75.
  • Correspondence relationship 75 is information representing the storage order of a plurality of magnetic field measurement results corresponding to a plurality of combinations of each generation coil 39 and each detection coil 25 included in the magnetic field measurement data 55. Based on the correspondence relationship 75, the determination unit 72A determines which combination of each generation coil 39 and each detection coil 25 corresponds to each magnetic field measurement result included in the magnetic field measurement data 55.
  • each detection coil is about the generation order in which each generating coil 39 generates the magnetic field MF and the magnetic field MF of one generating coil 39 with reference to the frame start signal VD.
  • the acquisition order of the 25 magnetic field measurement results is fixed.
  • a plurality of magnetic field measurement results corresponding to the combination of each generation coil 39 and each detection coil 25 are stored in the magnetic field measurement data 55 according to the generation order and the acquisition order. Therefore, the discriminating unit 72A refers to the correspondence relationship 75 that defines the storage order with the frame start signal VD as a reference, and which combination of the plurality of magnetic field measurement results included in the magnetic field measurement data 55 (for example, “D11”” , "D12", “D13” ...) Can be determined.
  • the position detection unit 72 detects the position of each detection coil 25, specifically, the three-dimensional coordinate position as coil position data, based on the plurality of magnetic field measurement results determined by the discrimination unit 72A.
  • the coil position data is a relative position with respect to the magnetic field generator 13.
  • P1 indicates a three-dimensional coordinate position (here, x1, y1, z1) of the first detection coil 25.
  • P2, P3, P4 and the like are the same applies to P2, P3, P4 and the like.
  • the position detection unit 72 outputs the coil position data 76 to the insertion unit shape detection unit 73.
  • the insertion portion shape detection unit 73 detects the shape of the insertion portion 17 in the body of the subject H based on the coil position data 76 input from the position detection unit 72.
  • FIG. 7 is an explanatory diagram for explaining an example of the shape detection process of the insertion portion 17 by the insertion portion shape detection unit 73.
  • the insertion portion shape detection unit 73 interpolates each position with a curve based on the position of each detection coil 25 (here, P1, P2, ...) indicated by the coil position data 76.
  • the processing is performed to derive the central axis C of the insertion portion 17, and the insertion portion shape data 78 indicating the shape of the insertion portion 17 is generated.
  • the interpolation process for interpolating with a curve is, for example, Bezier curve interpolation.
  • the insertion portion shape data 78 includes the tip position PT of the tip portion 23 of the insertion portion 17.
  • the insertion portion shape detection unit 73 outputs the insertion portion shape data 78 to the image generation unit 77.
  • the insertion state detection unit 70 includes discrimination processing by the discrimination unit 72A, position detection processing for detecting coil position data 76 of each detection coil 25, and insertion unit each time the image signal acquisition unit 68 acquires a new frame image signal 61. The shape detection process of 17 and the output of the insertion portion shape data 78 are repeated.
  • the image generation unit 77 generates the shape display image 42 based on the insertion unit shape data 78. As shown in FIG. 8, the image generation unit 77 is provided with a modeling unit 77A and a rendering unit 77B. As will be described in detail later, in the image generation unit 77, the modeling unit 77A generates a 3D (Dimension) model of the insertion unit 17 based on the insertion unit shape data 78, and the rendering unit 77B becomes the 3D model of the insertion unit 17. On the other hand, by performing rendering processing, a 2D (Dimension) shape display image 42 showing the shape of the insertion portion 17 is generated. The image generation unit 77 outputs the data of the generated shape display image 42 to the processor device 14.
  • the image generation unit 77 updates the shape display image 42 every time new insertion unit shape data 78 is input. Then, each time the shape display image 42 is updated, the image generation unit 77 outputs the updated data of the shape display image 42 to the processor device 14.
  • the navigation device 12 is an example of an endoscope shape display control device that controls the display of the shape display image 42 according to the technique of the present disclosure.
  • the magnetic field measurement data 55 was obtained by using a plurality of detection coils 25 which are an example of a plurality of magnetic field detection elements provided in the insertion portion 17 of the endoscope 10 according to the technique of the present disclosure. It is data.
  • the insertion portion shape data 78 is information based on the magnetic field measurement data 55, and is the shape of the insertion portion 17 of the endoscope 10 inserted in the subject H, which is an example of the subject, according to the technique of the present disclosure. This is an example of information for imaging.
  • the image generation unit 77 generates a shape display image 42 that images the shape of the insertion unit 17 based on the insertion unit shape data 78. That is, the image generation unit 77 is an example of an image generation unit according to the technique of the present disclosure, and is also an example of an information acquisition unit that acquires information for imaging the shape of the insertion unit.
  • the display output unit 74 connects the frame image signal 61 previously input from the image signal acquisition unit 68 and the data of the shape display image 42 input from the image generation unit 77 via the communication interfaces 80A and 80B. Output to the processor device 14. At this time, the display output unit 74 associates the frame image signal 61 with the data of the shape display image 42 that corresponds in time with the frame image signal 61, and outputs the data to the processor device 14.
  • the processor device 14 has a display input unit 82 and a display control unit 83.
  • the display input unit 82 sequentially outputs the data of the frame image signal 61 and the shape display image 42 sequentially input from the display output unit 74 via the communication interfaces 80A and 80B to the display control unit 83.
  • the display control unit 83 receives the input of the frame image signal 61 from the display input unit 82, and displays the observation image 41 (for example, a moving image) based on the frame image signal 61 on the monitor 15 (see FIGS. 1 and 2). .. Further, the display control unit 83 receives the data of the shape display image 42 from the display input unit 82 and displays the shape display image 42 (for example, a moving image) on the monitor 15 (see FIGS. 1 and 2).
  • FIG. 9 is a flowchart for explaining the flow of the generation process of the shape display image 42 by the image generation unit 77.
  • the image generation unit 77 acquires the insertion unit shape data (step S1).
  • the modeling unit 77A performs a modeling process to generate a 3D model of the insertion unit 17 based on the insertion unit shape data 78 (step S2).
  • the modeling process generates a cylindrical 3D model M having a diameter corresponding to the display scale of the insertion portion 17, with the central axis C of the insertion portion 17 in the insertion portion shape data 78 as the central axis. ..
  • the rendering unit 77B executes a light source position setting process for setting the light source position when rendering the 3D model M of the insertion unit 17 (step S3).
  • the light source position is set to a position where light is emitted from above with respect to the top surface 16A of the sleeper 16 in the virtual space for generating the 3D model M.
  • the horizontal direction of the magnetic field generator 13 and the top surface 16A of the sleeper 16 are in a parallel relationship. Therefore, in the virtual space, the plane parallel to the top surface 16A of the sleeper 16 is set as the XY plane, and the Z axis orthogonal to the XY plane is set. Then, in the virtual space, the light source position is set so that the light is emitted from the upper side to the lower side of the set Z axis.
  • the rendering unit 77B executes a camera position setting process for setting the camera position (also referred to as the viewpoint position) when rendering the 3D model M of the insertion unit 17 (step S4).
  • the camera position is set to a position in the virtual space where the 3D model M of the insertion portion 17 is observed from above the Z axis with respect to the top surface 16A of the sleeper 16 as in the light source position.
  • the rendering unit 77B executes a texture setting process for finishing the surface of the 3D model M when rendering the 3D model M of the insertion unit 17 (step S5).
  • a texture setting process a process of adding a pattern, which is the content of the texture, is performed on the surface of the insertion portion 17.
  • the pattern refers to a display mode other than a solid color of a single color.
  • the pattern of this example is a gradation that continuously changes from green to blue from the tip end side to the base end side of the insertion portion 17.
  • the definition of color will be described using the color wheel of the Munsell display system shown in FIG.
  • the color wheel represents the classification of chromatic hues. For example, it is a Munsell color wheel divided into 20 colors.
  • each symbol is R (red), YR (yellow-red), Y (yellow), GY (yellow-green), G (green), BG (blue-green), B (blue), PB (purple), respectively. It means blue), P (purple), R (reddish purple).
  • each of these 10 types of hues is further divided into two hues (for example, 5R and 10R for R) are displayed.
  • Green includes GY (yellow-green) and BG (blue-green) that are adjacent to the left and right with G (green) as the center in the color wheel.
  • colors from 5 GY to 10 BG correspond to green.
  • the blue color includes BG (blue-green) and PB (purple-blue) that are adjacent to each other on the left and right sides of B (blue) in the color wheel.
  • the colors from 5BG to 10PB correspond to blue.
  • green means a color containing a G element
  • blue means a color containing a B element. The same applies to the definitions of other colors such as red and yellow.
  • the rendering unit 77B adds a gradation pattern to the surface of the 3D model M based on the set light source position and camera position.
  • the surface of the 3D model M with the pattern is subjected to a shading process for shading corresponding to the light source.
  • the rendering unit 77B performs a rendering process for generating a 2D shape display image 42 showing the shape of the insertion unit 17 (step S6).
  • the shape display image 42 is generated.
  • the shape display image 42 includes an image showing the insertion portion 17 and an image serving as a background thereof.
  • the image of the insertion portion 17 in the shape display image 42, or more accurately, the insertion portion 17 in the shape display image 42 is simply referred to as an insertion portion for the sake of simplicity, and is to be distinguished from the actual insertion portion 17.
  • Reference numeral 17G is attached and is referred to as an insertion portion 17G.
  • the surface of the insertion portion 17G is displayed in a display mode in which a gradation that continuously changes from green to blue is added from the tip end side to the base end side of the insertion portion 17G.
  • the process of generating the shape display image 42 is repeated every time the insertion portion shape data 78 is updated.
  • the insertion portion 17 of the endoscope 10 may be curved in a loop shape in the body of the subject H.
  • different portions of the insertion portions 17G intersect with each other in the shape display image 42 depending on the camera position set in the rendering process.
  • the insertion portion 17G may be displayed as a thin line in the shape display image 42. Therefore, when the entire insertion portion 17G is displayed in a plain single color (for example, black), even if the intersection portion 17GX shown in FIG. 12 is subjected to hidden line treatment or hidden surface treatment, the user can instantly move before and after the intersection portion 17GX. There was a problem that it was difficult to judge.
  • the insertion portion 17G is continuously formed from green to blue from the tip end side to the base end side of the insertion portion 17G. It is displayed with a gradation pattern that changes in a targeted manner. As a result, the colors of the insertion portion 17G are different before and after the intersection portion 17GX, so that it is possible to easily determine the front and rear of the intersection portion 17GX. As described above, according to the technique of the present disclosure, it is easy to visually recognize the overlapping condition of the insertion portions 17G in the shape display image 42.
  • a gradation pattern is attached to the entire area of the insertion portion 17G displayed on the shape display image 42. Therefore, no matter where in the entire area of the displayed insertion portion 17G is the intersecting portion 17GX, it is possible to easily determine the front and back of the intersecting portion 17GX.
  • a gradation pattern is attached to the entire area of the displayed insertion portion 17G, but it is not always necessary to add a gradation pattern to the entire area. If the intersecting portion 17GX hardly occurs on the tip side and the base end side, it is not necessary to add a gradation pattern to a part of the tip side and the base end side. For example, of the total area of the insertion portion 17G displayed on the shape display image 42, a region having a length of 20% from the tip and a region having a length of 20% from the base end are designated as regions without a gradation pattern. May be good.
  • the pattern attached to the insertion portion 17G a gradation pattern in which the color changes continuously from the tip end side to the base end side of the insertion portion 17G, it is more natural than the case where the color is changed stepwise. It can be an image.
  • the insertion portion 17G in a display mode of a gradation that continuously changes from green to blue, which is a combination of cold colors, it is compared with the case of displaying in warm colors such as red, orange, and yellow. Therefore, the effect of suppressing irritation to the eyes can be expected.
  • the above embodiment is an example, and various modifications are possible as shown below.
  • the gradation changing from green to blue has been described as an example, but the combination of the plurality of changing colors may be other than the colors of the above example. For example, it may be a gradation that changes from red to orange. Further, the color of the gradation may be changed by the user's setting.
  • the pattern to be attached to the surface of the insertion portion 17G in the shape display image 42 a gradation pattern in which the color changes continuously has been described as an example, but the pattern may be other than the gradation.
  • the surface of the insertion portion 17G is displayed with a pattern, it is possible to easily determine the front and back of the intersection portion 17GX as compared with the case where the surface of the insertion portion 17G is displayed in a single color.
  • the gradation pattern does not have to be a mode in which the color changes continuously, but may be a mode in which the color changes stepwise.
  • the surface of the insertion portion 17G is provided with a gradation pattern that gradually changes to a different color from the tip end side to the base end side. Even if the colors do not change continuously, the colors of the insertion portion 17G are different before and after the intersection 17GX, so that it is possible to easily determine the front and back of the intersection 17GX. Of course, a gradation in which the color changes continuously is preferable because the color change is natural and the appearance is good.
  • the pattern may be a pattern other than the gradation, and may be a combination of a plurality of colors.
  • the plurality of colors means, for example, a combination of colors in which at least one of lightness, saturation, and hue is different from each other.
  • the pattern may be a vertical striped pattern of a plurality of colors extending in the longitudinal direction of the insertion portion 17G. Even in this case, since the vertical stripes intersect before and after the intersecting portion 17GX, it is possible to easily determine the front and back of the intersecting portion 17GX.
  • the pattern may be a horizontal stripe pattern attached in a ring shape around the axis of the insertion portion 17G. Even in this case, since the horizontal stripes intersect before and after the intersecting portion 17GX, it is possible to easily determine the front and back of the intersecting portion 17GX.
  • Such a vertical stripe pattern and a horizontal stripe pattern may be composed of pinstripes, or may be composed of a plurality of strip-shaped stripes having a width, and the plurality of stripes may be color-coded with different colors.
  • a wire frame pattern may be used as in the shape display image 42D shown in FIG.
  • the wire frame is a representation of a three-dimensional object by connecting a plurality of points having three-dimensional coordinates according to a certain rule.
  • the wire frame pattern is a display mode in which the wire frame is displayed as a pattern on the surface of the insertion portion 17G. Even with such a pattern, the same effect as in the above example can be obtained.
  • the light source position and the camera position when performing the rendering process, when the plane parallel to the top surface 16A of the bed 16 is an XY plane, the light irradiation direction and the viewpoint direction are from above the Z axis.
  • the case where the state is set to face downward has been described.
  • the light source position and the camera position are not limited to the above, and may be set in any direction based on the user's instruction input. There are, for example, the following two directions in which the viewpoint direction is from the upper side of the Z-axis of the sleeper 16 to the lower side. One is a viewpoint of observing the top surface 16A of the sleeper 16 from directly above the sleeper 16, that is, from the direction normal to the XY plane.
  • the other is a bird's-eye view of the top surface 16A of the sleeper 16 from an oblique direction of the sleeper 16.
  • each generating coil 39 generates the magnetic field MF having the same frequency
  • the frequency of the magnetic field MF generated by each generating coil 39 may be different.
  • the magnetic field measurement unit including the magnetic field measurement control unit 58 is arranged in the endoscope 10 and the magnetic field generation control unit 71 is arranged in the navigation device 12 has been described.
  • the magnetic field generation control unit 71 may be arranged on the endoscope 10, and the magnetic field measurement unit may be arranged on the navigation device 12.
  • a processor can be used.
  • the circuit configuration can be changed after the manufacture of FPGA (Field Programmable Gate Array), etc.
  • a dedicated electric circuit that is a processor having a circuit configuration designed exclusively for executing a specific process such as a programmable logic device (PLD) and / or an ASIC (Application Specific Integrated Circuit). Etc. are included.
  • One processor may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU and a CPU). It may be configured in combination with FPGA). As described above, the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • An endoscope display control device having an information acquisition unit and an image generation unit may be realized by a computer whose processor is a CPU.
  • a program for causing the CPU to function as an information acquisition unit and an image generation unit is an operation program of the endoscope display control device.
  • the technique of the present disclosure extends to a computer-readable storage medium that stores the operation program non-temporarily, in addition to the operation program of the endoscopic display control device.
  • Appendix 1 An information acquisition processor that acquires information for imaging the shape of the insertion part of the endoscope inserted in the subject, and An image generation unit that generates a shape display image that displays the shape of the insertion portion based on the acquired information, and an image generation processor that displays the insertion portion with a pattern on the surface of the shape display image. Equipped with an endoscope shape display control device.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, only B, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡形状表示制御装置は、少なくとも１つのプロセッサを備え、プロセッサは、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得し、取得した情報に基づいて、挿入部の形状を表示する形状表示画像を生成する際に、形状表示画像において、挿入部を、表面に模様を付して表示する。

Description

内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
　本開示は、内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムに関する。
　大腸などの下部消化管を観察するための内視鏡が知られている。下部消化管は、比較的直線的に伸びる食道などの上部消化管と異なり、複雑に湾曲している。そのため、患者などの被検体内である下部消化管内に挿入された内視鏡は、内視鏡の挿入部も複雑に湾曲する。このような被検体内に挿入される内視鏡の挿入部の形状を把握するために、被検体内の内視鏡の挿入部の形状を検出する内視鏡形状検出装置（例えば、特開２００４－５５１号公報参照）が知られている。
　特開２００４－５５１号公報に記載の内視鏡形状検出装置は、磁気を利用して、被検体内の挿入部の形状を画像化するための情報を取得することにより、取得した情報に基づいて挿入部の形状を画像化する機能を備えている。例えば、内視鏡の挿入部内には、複数の磁界発生素子が間隔を空けて配置されている。内視鏡形状検出装置は、挿入部内の各磁界発生素子が発生する磁界を、被検体の外側に配置された磁界検出素子で検出する。検出された各磁界発生素子の磁界の強さは、被検体の外側の磁界検出素子に対する挿入部の各部の位置を表すため、特開２００４－５５１号公報に記載の内視鏡形状検出装置は、各磁界発生素子の磁界の強さの情報を、挿入部の形状を画像化するための情報として用いて、挿入部の形状を示す画像を生成する。そして、生成された画像をモニタに表示し、術者（例えば、医師）などのユーザに提示する。
　特開２００４－５５１号公報の内視鏡形状検出装置における画像化の手順は、例えば次のように行われる。まず、特開２００４－５５１号公報の内視鏡形状検出装置は、挿入部の形状を画像化するための情報（例えば、上述の磁界の強さの情報）に基づいて、挿入部の各部の位置を特定することにより、挿入部の３次元モデルを生成する。次に、挿入部の３次元モデルに対してレンダリング処理を行い、モニタに表示するための２次元画像を生成する。この２次元画像は、挿入部の３次元モデルを、任意に設定することが可能な１つの視点から見た挿入部の形状を示す画像であり、以下において、形状表示画像という。
　内視鏡の挿入部が被検体内でループ状に湾曲した場合、設定した視点によっては、形状表示画像内において、挿入部の異なる部分同士が交差する。特開２００４－５５１号公報では、交差した部分同士の前後を表現するために、レンダリング処理の際に陰線処理あるいは隠れ面処理を施すことが記載されている。
　しかしながら、形状表示画像の表示倍率によっては、内視鏡の挿入部は、形状表示画像中において細い線状に表示されてしまう場合があるため、交差部分に対して、陰線処理あるいは隠れ面処理を施したとしても、ユーザが交差部分の前後を瞬時に判断することが難しいという問題があった。
　本開示の技術は、被検体内に挿入されている状態の内視鏡の挿入部の形状を表示する形状表示画像において、挿入部の重なり具合が視認し易い形状表示画像を表示することが可能な内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムを提供することを目的とする。
　本開示の一態様に係る内視鏡形状表示制御装置は、少なくとも１つのプロセッサを備え、プロセッサは、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得し、取得した情報に基づいて、挿入部の形状を表示する形状表示画像を生成する際に、形状表示画像において、挿入部を、表面に模様を付して表示する。
　上記態様の内視鏡形状表示制御装置においては、模様は、形状表示画像に表示される挿入部の全領域に対して付されてもよい。
　また、上記態様の内視鏡形状表示制御装置においては、模様は、挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションであってもよい。この場合、グラデーションは、緑色から青色に変化するものとしてもよい。
　また、上記態様の内視鏡形状表示制御装置においては、模様は、縞模様としてもよい。
　また、上記態様の内視鏡形状表示制御装置においては、模様は、ワイヤーフレーム模様としてもよい。
　また、上記態様の内視鏡形状表示制御装置においては、プロセッサは、模様に加えて、挿入部に陰影処理を施してもよい。
　また、上記態様の内視鏡形状表示制御装置においては、挿入部の形状を画像化するための情報は、挿入部内に設けられた複数の磁界発生素子または複数の磁界検出素子を利用して得た磁界測定データに基づく情報としてもよい。
　本開示の一態様に係る内視鏡形状表示制御装置の作動方法は、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得ステップと、取得した情報に基づいて、挿入部の形状を示す形状表示画像を生成する画像生成ステップであって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成ステップとを備える。
　本開示の一態様に係る内視鏡形状表示制御装置の作動プログラムは、被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得部と、取得した情報に基づいて、挿入部の形状を示す形状表示画像を生成する画像生成部であって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成部としてコンピュータを機能させる。
　本開示の技術によれば、被検体内に挿入されている状態の内視鏡の挿入部の形状を表示する形状表示画像において、挿入部の重なり具合が視認し易い形状表示画像を表示することが可能な内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラムを提供することができる。
内視鏡システムを用いた内視鏡検査の様子を示す説明図である。 内視鏡システムの全体構成を示す概略図である。 内視鏡システムの電気的構成を示すブロック図である。 複数の発生コイルが発生する磁界を、複数の検出コイルが検出する様子を示す説明図である。 磁界測定データの一例を示す説明図である。 判別部による判別処理と、位置検出部による各検出コイルの位置検出処理とを説明するための説明図である。 挿入部の形状検出処理の一例を示す説明図である。 画像生成部の機能ブロック図である。 表示制御部による形状表示画像の生成処理の流れを説明するためのフローチャートである。 挿入部の３Ｄモデル生成処理の一例を示す説明図である。 色相環の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。 形状表示画像の一例を示す図である。
［内視鏡システムの全体構成］
　図１は、本開示の技術に係る内視鏡形状表示制御装置を備えた内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、内視鏡１０と、光源装置１１と、ナビゲーション装置１２と、磁界発生器１３と、プロセッサ装置１４と、モニタ１５と、を備える。内視鏡システム９は、患者などの被検者Ｈの体内の内視鏡検査に用いられる。被検者Ｈは、被検体の一例である。この内視鏡１０は、例えば、大腸などの消化管内に挿入される内視鏡であり、可撓性を有する軟性内視鏡である。内視鏡１０は、消化管内に挿入される挿入部１７と、挿入部１７の基端側に連設され且つ術者が把持して各種操作を行う操作部１８と、操作部１８に連設されたユニバーサルコード１９と、を有する。
　内視鏡検査は、例えば、被検者Ｈを寝台１６の天面１６Ａに寝かせた状態で行う。大腸検査の場合は、医師である術者ＯＰによって、内視鏡１０の挿入部１７が肛門から消化管内に挿入される。光源装置１１は、観察部位である大腸内を照明する照明光を内視鏡１０に供給する。プロセッサ装置１４は、内視鏡１０で撮像された画像を処理することにより、観察画像４１を生成する。観察画像４１は、モニタ１５に表示される。術者ＯＰは、観察画像４１を確認しながら内視鏡検査を進める。モニタ１５に表示される観察画像４１は、基本的には動画であるが、観察画像４１として、必要に応じて静止画を表示することも可能である。
　また、内視鏡システム９は、術者ＯＰが行う内視鏡１０の挿入操作などの手技をナビゲーションするナビゲーション機能を備えている。ここで、ナビゲーションとは、被検者Ｈの体内での内視鏡１０の挿入部１７の位置および形状を含む挿入状態を、術者ＯＰに対して提示することにより、術者ＯＰの内視鏡１０の手技を支援することをいう。ナビゲーション機能は、磁界ＭＦを利用して挿入部１７の挿入状態を検出して、検出した挿入状態を提示する。
　ナビゲーション機能は、ナビゲーション装置１２と、磁界発生器１３と、後述する内視鏡１０内の磁界測定装置とによって実現される。磁界発生器１３は、磁界ＭＦを発生する。磁界発生器１３は、例えば、スタンドに取り付けられており、被検者Ｈが横たわる寝台１６の傍らに配置される。また、磁界発生器１３は、発生する磁界ＭＦが被検者Ｈの体内に届く範囲内に配置される。
　内視鏡１０内の磁界測定装置は、磁界発生器１３が発生する磁界ＭＦを検出し、検出した磁界ＭＦの強さを測定する。ナビゲーション装置１２は、磁界測定装置による磁界測定結果に基づいて、磁界発生器１３と挿入部１７との相対的な位置を導出することにより、挿入部１７の挿入状態を検出する。プロセッサ装置１４は、ナビゲーション装置１２が検出した挿入状態を表す形状表示画像４２を生成する。
　モニタ１５は、観察画像４１と形状表示画像４２とを表示する。なお、観察画像４１と形状表示画像４２とを表示するモニタ１５がそれぞれ別に設けられていてもよい。
　図２に示すように、挿入部１７は、細径でかつ長尺の管状部分であり、基端側から先端側に向けて順に、軟性部２１と、湾曲部２２と、先端部２３とが連接されて構成される。軟性部２１は、可撓性を有する。湾曲部２２は、操作部１８の操作により湾曲可能な部位である。先端部２３は、撮像装置４８（図３参照）等が配置される。また、図２では図示しないが、先端部２３の先端面には、観察部位に照明光を照明する照明窓４６（図３参照）と、照明光が被写体で反射した被写体光が入射する観察窓４７（図３参照）と、処置具が突出させるための処置具出口（図示せず）と、観察窓４７に気体および水を噴射することにより、観察窓４７を洗浄するための洗浄ノズル（図示せず）とが設けられている。
　挿入部１７内には、ライトガイド３３と、信号ケーブル３２と、操作ワイヤ（図示せず）と、処置具挿通用の管路（図示せず）とが設けられている。ライトガイド３３は、ユニバーサルコード１９から延設され、光源装置１１から供給される照明光を、先端部２３の照明窓４６に導光する。信号ケーブル３２は、撮像装置４８からの画像信号および撮像装置４８を制御する制御信号の通信に加えて、撮像装置４８に対する電力供給に用いられる。信号ケーブル３２も、ライトガイド３３と同様に、ユニバーサルコード１９から延設され、先端部２３まで配設されている。
　操作ワイヤは、湾曲部２２を操作するためのワイヤであり、操作部１８から湾曲部２２までの間に配設される。処置具挿通用の管路は、鉗子などの処置具（図示せず）を挿通するための管路であり、操作部１８から先端部２３まで配設される。挿入部１７内には、この他、送気送水用の流体チューブが設けられる。流体チューブは、先端部２３に、観察窓４７の洗浄用の気体および水を供給する。
　また、挿入部１７内には、軟性部２１から先端部２３にかけて複数の検出コイル２５が予め設定された間隔で設けられている。各検出コイル２５は、磁界ＭＦを検出する磁界検出素子に相当する。各検出コイル２５は、それぞれ磁界発生器１３から発生した磁界ＭＦの影響を受けることにより、電磁誘導の作用により誘導起電力を生じ、誘導起電力によって誘導電流を発生する。各検出コイル２５から発生した誘導電流の値は、各検出コイル２５でそれぞれ検出した磁界ＭＦの強さを表し、これが磁界測定結果となる。すなわち、磁界測定結果とは、磁界ＭＦの強さを表す誘導電流の大きさに応じた値をいう。
　操作部１８には、術者によって操作される各種操作部材が設けられている。具体的には、操作部１８には、２種類の湾曲操作ノブ２７と、送気送水ボタン２８と、吸引ボタン２９と、が設けられている。２種類の湾曲操作ノブ２７は、それぞれが操作ワイヤに連結されており、湾曲部２２の左右湾曲操作および上下湾曲操作に用いられる。また、操作部１８には、処置具挿通用の管路の入口である処置具導入口３１が設けられている。
　ユニバーサルコード１９は、内視鏡１０を光源装置１１に接続するための接続コードである。ユニバーサルコード１９は、信号ケーブル３２と、ライトガイド３３と、流体チューブ（不図示）とを内包している。また、ユニバーサルコード１９の端部には、光源装置１１に接続されるコネクタ３４が設けられている。
　コネクタ３４を光源装置１１に接続することで、光源装置１１から内視鏡１０に対して、内視鏡１０の運用に必要な電力と制御信号と照明光と気体と水とが供給される。また、先端部２３の撮像装置４８（図２参照）により取得される観察部位の画像信号と、各検出コイル２５の検出信号に基づく磁界測定結果とが、内視鏡１０から光源装置１１へ送信される。
　コネクタ３４は、光源装置１１との間で、金属製の信号線等を用いた電気的な有線接続はされず、その代わりに、コネクタ３４と光源装置１１とは、光通信（例えば、非接触型通信）により通信可能に接続される。コネクタ３４は、内視鏡１０と光源装置１１の間で遣り取りされる制御信号の送受信と、内視鏡１０から光源装置１１への画像信号および磁界測定結果の送信と、を光通信により行う。コネクタ３４には、信号ケーブル３２に接続されたレーザダイオード（Laser Diode：以下、ＬＤという）３６が設けられている。
　ＬＤ３６は、内視鏡１０から光源装置１１への大容量データの送信、具体的には画像信号および磁界測定結果の送信に用いられる。ＬＤ３６は、元々は電気信号の形態であった、画像信号および磁界測定結果を光信号の形態で、光源装置１１に設けられているフォトダイオード（Photodiode：以下、ＰＤという）３７に向けて送信する。
　なお、図示は省略するが、ＬＤ３６およびＰＤ３７とは別に、コネクタ３４および光源装置１１の双方には、内視鏡１０と光源装置１１との間で遣り取りされる小容量の制御信号を光信号化して送受信する光送受信部が設けられている。さらに、コネクタ３４には、光源装置１１の給電部（不図示）からワイヤレス給電により給電を受ける受電部（不図示）が設けられている。
　コネクタ３４内のライトガイド３３は光源装置１１内に挿入される。また、コネクタ３４内の流体チューブ（不図示）は光源装置１１を介して送気送水装置（不図示）に接続される。これにより、光源装置１１および送気送水装置から内視鏡１０に対して、照明光と気体および水とがそれぞれ供給される。
　光源装置１１は、コネクタ３４を介して、内視鏡１０のライトガイド３３へ照明光を供給すると共に、送気送水装置（不図示）から供給された気体および水を内視鏡１０の流体チューブ（不図示）へ供給する。また、光源装置１１は、ＬＤ３６から送信される光信号をＰＤ３７で受光し、受光した光信号を電気信号である元の画像信号および磁界測定結果に変換した後、ナビゲーション装置１２へ出力する。
　ナビゲーション装置１２は、光源装置１１から入力された、観察画像４１生成用の画像信号をプロセッサ装置１４へ出力する。また、ナビゲーション装置１２は、後述の磁界発生器１３の駆動を制御すると共に、被検者Ｈの体内の挿入部１７の形状等を検出して、この検出結果を、形状表示画像４２を生成するための情報として、プロセッサ装置１４へ出力する。
　このように、本例における内視鏡１０は、光源装置１１と接続する１つのコネクタ３４を持つワンコネクタタイプである。内視鏡１０は、コネクタ３４が接続される光源装置１１を介して、プロセッサ装置１４およびナビゲーション装置１２のそれぞれと通信可能に接続される。
　磁界発生器１３は、複数の磁界発生素子に相当する複数の発生コイル３９を有している。各発生コイル３９は、例えば、駆動電流の印加により、直交座標系ＸＹＺのＸＹＺ座標軸にそれぞれ対応した方向に交流磁界（言い換えれば、交流磁場）を発生するＸ軸コイルとＹ軸コイルとＺ軸コイルとを含む。各発生コイル３９は、同じ周波数の磁界ＭＦを発生する。各発生コイル３９は、ナビゲーション装置１２の制御の下、詳しくは後述するが、互いに異なるタイミングで磁界ＭＦを発生する。
＜内視鏡＞
　図３は、内視鏡システム９の電気的構成を示すブロック図である。図３に示すように、内視鏡１０は、ライトガイド３３と、照射レンズ４５と、照明窓４６と、観察窓４７と、撮像装置４８と、磁界検出回路４９と、統括制御回路５０と、信号ケーブル３２と、ＬＤ３６と、不図示の流体チューブおよび洗浄ノズルと、を有する。
　ライトガイド３３は、大口径光ファイバまたはバンドルファイバなどである。ライトガイド３３の入射端は、コネクタ３４を介して光源装置１１内に挿入される。ライトガイド３３は、コネクタ３４内とユニバーサルコード１９内と操作部１８内とに挿通されており、挿入部１７の先端部２３内に設けられた照射レンズ４５に、出射端が対向している。これにより、光源装置１１からライトガイド３３の入射端に供給された照明光は、照射レンズ４５から先端部２３の先端面に設けられた照明窓４６を通して、観察部位に照射される。そして、観察部位で反射した照明光は、観察部位の像光として、先端部２３の先端面に設けられた観察窓４７を通して撮像装置４８の撮像面に入射する。
　なお、前述の流体チューブ（不図示）の一端側は、コネクタ３４および光源装置１１を通して送気送水装置（不図示）に接続されると共に、流体チューブ（不図示）の他端側は、挿入部１７内等を通って先端部２３の先端面に設けられた送気送水ノズル（不図示）に接続している。これにより、送気送水装置（不図示）から供給された気体または水が、送気送水ノズル（不図示）から観察窓４７に噴射されて、観察窓４７が洗浄される。
　撮像装置４８は、集光レンズ５２と撮像素子５３とを有する。集光レンズ５２は、観察窓４７から入射した観察部位の像光を集光し、かつ、集光した観察部位の像光を撮像素子５３の撮像面に結像させる。撮像素子５３は、ＣＭＯＳ（complementary metal oxide semiconductor）型またはＣＣＤ（charge coupled device）型の撮像素子である。撮像素子５３は、例えば、各画素にＲ（Red）、Ｇ（Green）、Ｂ（Blue）のいずれかのマイクロフィルタが割り当てられたカラー撮像素子である。撮像素子５３は、観察対象である観察部位を撮像する。より具体的には、撮像素子５３は、撮像面に結像した観察部位の像光を撮像（すなわち、電気信号に変換）して、観察部位の画像信号を統括制御回路５０へ出力する。
　また、撮像素子５３には、例えば水晶振動子等の基準信号（例えば、クロック信号）を出力する発振部５３ａが設けられており、この発振部５３ａから発振される基準信号を基準として、撮像素子５３が動画を構成する画像信号を出力する。基準信号の間隔はフレームレートを規定する。フレームレートは例えば３０ｆｐｓ（frames per second）である。
　磁界検出回路４９は、挿入部１７内の各検出コイル２５に電気的に接続している。磁界検出回路４９は、磁界発生器１３の発生コイル３９から発生した磁界ＭＦに応じた、各検出コイル２５のそれぞれの磁界測定結果を含む磁界測定データ５５を、統括制御回路５０へ出力する。
　統括制御回路５０は、ＣＰＵ（Central Processing Unit）を含む各種の演算回路と、各種のメモリとを含んで構成されており、内視鏡１０の各部の動作を統括的に制御する。この統括制御回路５０は、不図示のメモリに記憶された制御用のプログラムを実行することで、信号処理部５７と、磁界測定制御部５８と、画像信号出力部５９として機能する。磁界検出回路４９と、磁界測定制御部５８とを合わせて磁界測定部を構成する。磁界測定部は、検出コイル２５が出力する検出信号に基づいて、複数の磁界発生素子に相当する発生コイル３９のそれぞれを発生元とする複数の磁界ＭＦを測定することにより、磁界ＭＦ毎の磁界測定結果を出力する。磁界測定部と、検出コイル２５とを合わせて磁界測定装置を構成する。
　信号処理部５７は、撮像素子５３から順次出力される画像信号に対して各種信号処理を施す。信号処理としては、例えば、相関二重サンプリング処理、および信号増幅処理などのアナログ信号処理と、アナログ信号処理後にアナログ信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital)変換処理などが含まれる。信号処理が施された後の画像信号をフレーム画像信号６１と呼ぶ。信号処理部５７は、フレームレートに従ってフレーム画像信号６１を、画像信号出力部５９へ出力する。フレーム画像信号６１は、観察部位の動画像データとして使用される。このように、複数のフレーム画像信号６１は、撮像素子５３が動画撮影を実行することにより取得され、予め設定された時間間隔で出力される画像信号である。
　磁界測定制御部５８は、磁界検出回路４９を介して各検出コイル２５の複数の磁界測定結果を含む磁界測定データ５５を取得し、取得した磁界測定データ５５を、画像信号出力部５９へ出力する。
　図４に示すように、各検出コイル２５の磁界測定結果は、各発生コイル３９が発生する磁界の強さが同じであっても、例えば、磁界ＭＦを発生する各発生コイル３９と、各検出コイル２５のそれぞれとの間の距離および向きに応じて変化する。例えば、図４に示す第１発生コイル３９は、実線で示すように、第１～第３の各検出コイル２５との距離および向きが異なる。そのため、１つの第１発生コイル３９が発生する磁界ＭＦについて、第１～第３の各検出コイル２５のそれぞれの磁界測定結果は異なる。第２発生コイル３９および第３発生コイル３９のそれぞれと、第１～第３の各検出コイル２５との関係も同様である。
　また、反対に、第１～第３の各発生コイル３９が発生する磁界ＭＦの強さが同じであっても、各発生コイル３９のそれぞれの磁界ＭＦについての１つの第１検出コイル２５の磁界測定結果は異なる。ここで、例えば、第１～第３の各発生コイル３９がそれぞれＸ軸コイル、Ｙ軸コイルおよびＺ軸コイルである場合を考える。この場合は、Ｘ軸、Ｙ軸およびＺ軸の各コイルのそれぞれの磁界ＭＦについての１つの第１検出コイル２５の磁界測定結果に基づいて、ＸＹＺ座標軸に対応する、第１検出コイル２５の三次元座標位置を検出することができる。第２検出コイル２５および第３検出コイル２５についても同様である。挿入部１７に予め設定された間隔で設けられる各検出コイル２５の三次元座標位置を検出することができれば、挿入部１７の形状を検出することが可能である。
　なお、実際には、磁界測定結果に基づいて、各検出コイル２５の三次元座標位置に加えて、各検出コイル２５の角度も検出される。三次元座標位置と角度の情報に基づいて挿入部１７の形状が検出される。以下においては、煩雑化を避けるため、角度については省略して、三次元座標位置のみで説明する。
　図５は、磁界測定制御部５８が取得する磁界測定データ５５の一例を説明するための説明図である。磁界測定制御部５８は、複数の発生コイル３９が発生する複数の磁界ＭＦのそれぞれを、複数の各検出コイル２５がそれぞれ検出し、各検出コイル２５からそれぞれ出力される複数の磁界測定結果を含む磁界測定データ５５を取得する。
　図５において、（１）～（４）は、それぞれ１つの発生コイル３９が発生する磁界ＭＦについての、複数の検出コイル２５のそれぞれの磁界測定結果を示すデータ列である。例えば、「Ｄ１１」は第１番目の発生コイル３９で発生した磁界ＭＦを第１検出コイル２５で検出した磁界測定結果である。「Ｄ１２」は第１番目の発生コイル３９で発生した磁界ＭＦを「第２検出コイル」で検出した磁界測定結果である。同様に、「Ｄ４２」は第４番目の発生コイル３９で発生した磁界ＭＦを第２検出コイル２５で検出した磁界測定結果である。「Ｄ４３」は第４番目の発生コイル３９で発生した磁界ＭＦを第３検出コイル２５で検出した磁界測定結果である。
　磁界測定制御部５８は、磁界発生器１３における各発生コイル３９のそれぞれの磁界発生タイミングと同期を取りながら、各検出コイル２５の磁界測定結果を順番に取得する。磁界測定制御部５８は、例えば、後述する同期信号で規定される１回の磁界測定期間において、すべての発生コイル３９のそれぞれの磁界ＭＦについて、すべての検出コイル２５のそれぞれの磁界測定結果を取得する。これにより、磁界測定制御部５８は、１回の磁界測定期間において、各発生コイル３９と各検出コイル２５とのすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ５５を取得する。
　例えば、磁界発生器１３内に９個の発生コイル３９が設けられており、挿入部１７内に１７個の検出コイル２５が設けられている場合は、各発生コイル３９について１７個の磁界測定結果が得られる。そのため、磁界測定制御部５８は、１回の磁界測定期間内に、合計で、９×１７＝１５３個の磁界測定結果を含む磁界測定データ５５を取得する。こうしたすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ５５を、全磁界測定データと呼ぶ。本例においては、特に断りの無い限り、磁界測定データ５５には、全磁界測定データが含まれるものとする。
　画像信号出力部５９は、図６に示すように、信号処理部５７から順次入力される複数のフレーム画像信号６１のそれぞれに対して、フレーム開始信号ＶＤを付加して、フレーム画像信号６１を出力する。図６において、「フレーム１」、「フレーム２」、「フレーム３」・・・は、便宜上示した、複数のフレーム画像信号６１の出力順序を示すフレーム番号である。フレーム開始信号ＶＤは、例えば、垂直同期信号である。
　さらに、画像信号出力部５９は、フレーム画像信号６１に、磁界測定データ５５を付加して、フレーム画像信号６１を出力する。すなわち、画像信号出力部５９が出力するフレーム画像信号６１のすべてに対して、フレーム開始信号ＶＤおよび磁界測定データ５５が含まれる。磁界測定データ５５は、図６に示すように、撮像素子５３のブランキングタイムに対応する、各フレーム画像信号６１の間の信号無効領域ＮＤに付加される。ブランキングタイムは、例えば垂直ブランキング期間である。上述したとおり、フレーム開始信号ＶＤも、複数のフレーム画像信号６１の垂直ブランキング期間に含まれる信号である。
　図３において、画像信号出力部５９は、フレーム画像信号６１を、信号ケーブル３２を介して既述のＬＤ３６へ出力する。ＬＤ３６は、フレーム画像信号６１を光信号化した光信号を、光源装置１１のＰＤ３７に向けて送信する。
　このように、画像信号出力部５９は、撮像素子５３から、信号処理部５７を介して取得したフレーム画像信号６１を、内視鏡１０の外部に出力する。また、フレーム画像信号６１に含まれるフレーム開始信号ＶＤを同期信号として利用することにより、画像信号出力部５９を同期信号生成部として機能させている。
＜光源装置＞
　光源装置１１は、照明光源６３と、ＰＤ３７と、光源制御部６４と、信号中継部６２と、通信インタフェース６５とを有している。照明光源６３は、例えばＬＤ（Laser Diode）または発光ダイオード（Light Emitting Diode：ＬＥＤ）などの半導体光源を含んで構成されており、波長が赤色領域から青色領域にわたる白色光を照明光として出射する白色光源である。なお、照明光源６３としては、白色光源に加えて、紫色光および赤外光などの特殊光を出射する特殊光光源を用いてもよい。照明光源６３から出射された照明光は、前述のライトガイド３３の入射端に入射される。
　光源制御部６４は、ＣＰＵを含む各種の演算回路と、各種のメモリとを含んで構成されており、照明光源６３などの光源装置１１の各部の動作を制御する。
　ＰＤ３７は、ＬＤ３６から送信された光信号を受信する。ＰＤ３７は、光信号の形態で受信したフレーム画像信号６１を、元の電気信号の形態に変換して、変換後のフレーム画像信号６１を信号中継部６２に入力する。信号中継部６２は、例えばＦＰＧＡ（Field Programmable Gate Array）で構成される。ＦＰＧＡは、製造後に回路構成を変更可能なプロセッサであり、回路構成には、各種の演算回路および各種のメモリ回路などが含まれる。
＜ナビゲーション装置＞
　ナビゲーション装置１２は、画像信号取得部６８と、挿入状態検出部７０と、磁界発生制御部７１と、表示出力部７４と、画像生成部７７と、を有する。ナビゲーション装置１２の各部は、１または複数のＣＰＵを含む各種演算回路（不図示）により構成され、不図示のメモリに記憶されている制御用のプログラムを実行することで動作する。
　画像信号取得部６８は、通信インタフェース６５を介して信号中継部６２からフレーム画像信号６１を取得する。そして、画像信号取得部６８は、取得したフレーム画像信号６１を表示出力部７４へ出力する。
　また、画像信号取得部６８は、フレーム画像信号６１に含まれるフレーム開始信号ＶＤおよび磁界測定データ５５を抽出し、抽出したフレーム開始信号ＶＤおよび磁界測定データ５５を挿入状態検出部７０に出力する。また、画像信号取得部６８は、フレーム画像信号６１からフレーム開始信号ＶＤを抽出し、抽出したフレーム開始信号ＶＤを磁界発生制御部７１に出力する。
　挿入状態検出部７０は、画像信号取得部６８から取得したフレーム開始信号ＶＤおよび磁界測定データ５５に基づいて、被検者Ｈの体内に挿入される内視鏡１０の挿入部１７の挿入状態を検出する。挿入状態検出部７０は、位置検出部７２と、挿入部形状検出部７３とを有する。
　位置検出部７２は、フレーム開始信号ＶＤおよび磁界測定データ５５に基づき各検出コイル２５の位置を検出する。位置検出部７２には、判別部７２Ａが設けられている。
　図６に示すように、判別部７２Ａは、対応関係７５を参照して、磁界測定データ５５に含まれる複数の磁界測定結果を判別する。対応関係７５は、磁界測定データ５５に含まれる、各発生コイル３９と各検出コイル２５との複数の組み合わせに対応する複数の磁界測定結果の格納順序を表す情報である。判別部７２Ａは、対応関係７５に基づいて、磁界測定データ５５に含まれる各磁界測定結果が、各発生コイル３９と各検出コイル２５とのどの組み合わせに対応するデータであるかを判別する。
　具体的には、後述するように、磁界測定においては、フレーム開始信号ＶＤを基準として、各発生コイル３９が磁界ＭＦを発生する発生順序と、１つの発生コイル３９の磁界ＭＦについて、各検出コイル２５の磁界測定結果の取得順序とが決まっている。各発生コイル３９と各検出コイル２５の組み合わせに応じた複数の磁界測定結果は、発生順序と取得順序に従って、磁界測定データ５５内に格納される。そのため、判別部７２Ａは、フレーム開始信号ＶＤを基準として、格納順序を規定した対応関係７５を参照することで、磁界測定データ５５に含まれる複数の磁界測定結果がどの組み合わせ（例えば、「Ｄ１１」、「Ｄ１２」、「Ｄ１３」・・・）に対応するかを判別することができる。
　位置検出部７２は、判別部７２Ａが判別した複数の磁界測定結果に基づき、各検出コイル２５の位置、具体的には三次元座標位置をコイル位置データとして検出する。コイル位置データは、磁界発生器１３を基準とした相対位置である。図６において、例えば、Ｐ１は第１検出コイル２５の三次元座標位置（ここでは、ｘ１，ｙ１，ｚ１）を示す。Ｐ２、Ｐ３、Ｐ４などについても同様である。
　図３において、位置検出部７２は、コイル位置データ７６を挿入部形状検出部７３へ出力する。挿入部形状検出部７３は、位置検出部７２から入力されたコイル位置データ７６に基づき、被検者Ｈの体内での挿入部１７の形状を検出する。
　図７は、挿入部形状検出部７３による挿入部１７の形状検出処理の一例を説明するための説明図である。図７に示すように、挿入部形状検出部７３は、コイル位置データ７６が示す各検出コイル２５の位置（ここでは、Ｐ１、Ｐ２、・・・）に基づき、各位置を曲線で補間する補間処理を行って挿入部１７の中心軸Ｃを導出し、挿入部１７の形状を示す挿入部形状データ７８を生成する。曲線で補間する補間処理は、例えば、ベジェ曲線補間である。挿入部形状データ７８には、挿入部１７の先端部２３の先端位置ＰＴが含まれる。
　図３において、挿入部形状検出部７３は、挿入部形状データ７８を画像生成部７７に出力する。挿入状態検出部７０は、画像信号取得部６８が新たなフレーム画像信号６１を取得するごとに、判別部７２Ａによる判別処理、各検出コイル２５のコイル位置データ７６を検出する位置検出処理、挿入部１７の形状検出処理、および挿入部形状データ７８の出力を繰り返し行う。
　画像生成部７７は、挿入部形状データ７８に基づいて、形状表示画像４２を生成する。図８に示すように、画像生成部７７には、モデリング部７７Ａおよびレンダリング部７７Ｂが設けられている。詳しくは後述するが、画像生成部７７において、モデリング部７７Ａは、挿入部形状データ７８に基づいて挿入部１７の３Ｄ（Dimension）モデルを生成し、レンダリング部７７Ｂは、挿入部１７の３Ｄモデルに対してレンダリング処理を行うことにより、挿入部１７の形状を示す２Ｄ（Dimension）の形状表示画像４２を生成する。画像生成部７７は、生成した形状表示画像４２のデータをプロセッサ装置１４に出力する。
　画像生成部７７は、新たな挿入部形状データ７８が入力される毎に、形状表示画像４２を更新する。そして、画像生成部７７は、形状表示画像４２が更新される毎に、更新された形状表示画像４２のデータをプロセッサ装置１４に出力する。
　ナビゲーション装置１２は、本開示の技術に係る、形状表示画像４２に関する表示制御を行う内視鏡形状表示制御装置の一例である。上述のとおり、磁界測定データ５５は、本開示の技術に係る、内視鏡１０の挿入部１７内に設けられた複数の磁界検出素子の一例である複数の検出コイル２５を利用して得たデータである。挿入部形状データ７８は、磁界測定データ５５に基づく情報であり、本開示の技術に係る、被検体の一例である被検者Ｈ内に挿入されている内視鏡１０の挿入部１７の形状を画像化するための情報の一例である。画像生成部７７は、挿入部形状データ７８に基づいて、挿入部１７の形状を画像化した形状表示画像４２を生成する。すなわち、画像生成部７７は、本開示の技術に係る画像生成部の一例であり、かつ、挿入部の形状を画像化するための情報を取得する情報取得部の一例でもある。
　表示出力部７４は、前述の画像信号取得部６８から先に入力されたフレーム画像信号６１と、画像生成部７７から入力された形状表示画像４２のデータと、を通信インタフェース８０Ａ，８０Ｂを介してプロセッサ装置１４へ出力する。この際に、表示出力部７４は、フレーム画像信号６１と、そのフレーム画像信号６１と時間的に対応する形状表示画像４２のデータとを対応付けて、プロセッサ装置１４へ出力する。
＜プロセッサ装置＞
　プロセッサ装置１４は、表示入力部８２と表示制御部８３とを有している。表示入力部８２は、表示出力部７４から通信インタフェース８０Ａ，８０Ｂを介して逐次入力されたフレーム画像信号６１および形状表示画像４２のデータを、表示制御部８３へ逐次出力する。
　表示制御部８３は、表示入力部８２からフレーム画像信号６１の入力を受けて、フレーム画像信号６１に基づく観察画像４１（例えば、動画像）をモニタ１５に表示させる（図１および図２参照）。また、表示制御部８３は、表示入力部８２から形状表示画像４２のデータの入力を受けて、形状表示画像４２（例えば、動画像）をモニタ１５に表示させる（図１および図２参照）。
［形状表示画像生成処理の流れ］
　図９は、画像生成部７７による形状表示画像４２の生成処理の流れを説明するためのフローチャートである。
　画像生成部７７は、挿入部形状データを取得する（ステップＳ１）。画像生成部７７において、モデリング部７７Ａは、挿入部形状データ７８に基づいて挿入部１７の３Ｄモデルを生成するモデリング処理を行う（ステップＳ２）。
　モデリング処理は、図１０に示すように、挿入部形状データ７８における挿入部１７の中心軸Ｃを中心軸とする、挿入部１７の表示スケールに対応した直径の円筒形状の３ＤモデルＭを生成する。
　次に、レンダリング部７７Ｂは、挿入部１７の３ＤモデルＭをレンダリングする際の光源位置を設定する光源位置設定処理を実行する（ステップＳ３）。光源位置は、３ＤモデルＭを生成する仮想空間内において、寝台１６の天面１６Ａに対して上方から光が照射される位置に設定される。具体的には、現実空間においては、磁界発生器１３と寝台１６とを同じ床面に設置した場合、磁界発生器１３の水平方向と寝台１６の天面１６Ａは平行関係となる。そのため、仮想空間内において、寝台１６の天面１６Ａと平行な面をＸ-Ｙ平面とし、Ｘ－Ｙ平面に対して直交するＺ軸が設定される。そして、仮想空間内において、設定されたＺ軸の上方から下方に向けて光が照射されるように、光源位置が設定される。
　次に、レンダリング部７７Ｂは、挿入部１７の３ＤモデルＭをレンダリングする際のカメラ位置（視点位置ともいう）を設定するカメラ位置設定処理を実行する（ステップＳ４）。カメラ位置は、光源位置と同じく、仮想空間内において、寝台１６の天面１６Ａに対してＺ軸の上方から、挿入部１７の３ＤモデルＭを観察する位置に設定される。
　次に、レンダリング部７７Ｂは、挿入部１７の３ＤモデルＭをレンダリングする際の３ＤモデルＭの表面の仕上げを行うテクスチャ設定処理を実行する（ステップＳ５）。テクスチャ設定処理において、挿入部１７の表面に、テクスチャの内容である模様を付す処理が行われる。ここで、模様とは、単色の無地以外の表示態様をいう。本例の模様は、挿入部１７の先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションである。
　色の定義について、図１１に示すマンセル表示系の色相環を用いて説明する。色相環は有彩色の色味の分類を表す。例えば、２０色に分割されたマンセル色相環である。図１１において、各記号は、それぞれＲ（赤）、ＹＲ（黄赤）、Ｙ（黄）、ＧＹ（黄緑）、Ｇ（緑）、ＢＧ（青緑）、Ｂ（青）、ＰＢ（紫青）、Ｐ（紫）、Ｒ（赤紫）を意味する。図１１に示す色相環では、これらの１０通りの各色相をさらに２つに分けた色相（例えば、Ｒについては５Ｒと１０Ｒ）が表示されている。
　緑色とは、色相環において、Ｇ（緑）を中心として左右に隣接するＧＹ（黄緑）およびＢＧ（青緑）を含む。図１１の色相環では、５ＧＹ～１０ＢＧまでの色が緑色に該当する。青色とは、色相環において、Ｂ（青）を中心として左右に隣接するＢＧ（青緑）およびＰＢ（紫青）を含む。図１１の色相環では、５ＢＧ～１０ＰＢまでの色が青色に該当する。このように、色相環において、緑色は、Ｇの要素が入っている色味をいい、青色は、Ｂの要素が入っている色味をいう。赤色及び黄色などの他の色の定義についても同様である。
　最後に、レンダリング部７７Ｂは、設定した光源位置、カメラ位置に基づいて、３ＤモデルＭの表面にグラデーションの模様を付す。加えて、模様を付した３ＤモデルＭの表面に光源に対応した陰影を付ける陰影処理を施す。レンダリング部７７Ｂは、このように、挿入部１７の形状を示す２Ｄの形状表示画像４２を生成するレンダリング処理を行う（ステップＳ６）。
　これにより、図１２に示すように、形状表示画像４２が生成される。形状表示画像４２は、挿入部１７を示す画像とその背景になる画像とを含んで構成される。以下において、形状表示画像４２内の挿入部１７、より正確には形状表示画像４２における挿入部１７の画像を、簡単化のために単に挿入部と呼び、実際の挿入部１７と区別するために、符号１７Ｇを付して挿入部１７Ｇという。形状表示画像４２において、挿入部１７Ｇの表面には、挿入部１７Ｇの先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションが付された表示態様で表示される。
　形状表示画像４２の生成処理は、挿入部形状データ７８が更新される毎に繰り返される。
［作用効果］
　大腸検査においては、大腸の経路が複雑であるため、内視鏡１０の挿入部１７が被検者Ｈの体内でループ状に湾曲する場合がある。この場合、レンダリング処理において設定したカメラ位置によっては、形状表示画像４２内において、挿入部１７Ｇの異なる部分同士が交差する。
　また、形状表示画像４２の表示倍率によっては、挿入部１７Ｇは、形状表示画像４２中において細い線状に表示されてしまう。そのため、挿入部１７Ｇ全体を無地の単色（例えば、黒色）で表示すると、図１２に示す交差部分１７ＧＸに対して陰線処理あるいは隠れ面処理を施したとしても、ユーザが交差部分１７ＧＸの前後を瞬時に判断することが難しいという問題があった。
　これに対し、本開示の内視鏡システム９においては、以上で説明したように、形状表示画像４２において、挿入部１７Ｇを、挿入部１７Ｇの先端側から基端側にかけて、緑色から青色に連続的に変化するグラデーションの模様を付して表示する。これにより、交差部分１７ＧＸの前後で挿入部１７Ｇの色が異なることになるため、交差部分１７ＧＸの前後を容易に判断することが可能である。このように、本開示の技術によれば、形状表示画像４２において、挿入部１７Ｇの重なり具合が視認し易い。
　本例においては、形状表示画像４２に表示される挿入部１７Ｇの全領域に対してグラデーションの模様を付している。そのため、表示される挿入部１７Ｇの全領域のどこが交差部分１７ＧＸとなっても、交差部分１７ＧＸの前後を容易に判断することが可能である。
　なお、本例においては、表示される挿入部１７Ｇの全領域にグラデーションの模様を付しているが、必ずしも全領域にグラデーションの模様を付さなくてもよい。先端側及び基端側において、交差部分１７ＧＸがほとんど生じないという場合は、先端側及び基端側の一部の領域についてはグラデーションの模様を付さなくてもよい。例えば、形状表示画像４２に表示される挿入部１７Ｇの全領域のうち、先端から２０％の長さの領域、および基端から２０％の長さの領域をグラデーションの模様を付さない領域としてもよい。
　また、挿入部１７Ｇに付す模様を、挿入部１７Ｇの先端側から基端側にかけて連続的に色が変化するグラデーションの模様とすることにより、段階的に色を変化させる場合と比較して、自然な画像とすることができる。
　また、挿入部１７Ｇを、寒色の組合せである、緑色から青色に連続的に変化するグラデーションの表示態様で表示することにより、赤、橙、および黄色等の暖色系の色で表示する場合と比較して、眼に対する刺激を抑える効果も期待できる。
［変形例］
　上記実施形態は、一例であり、以下に示すように種々の変形が可能である。
　上記実施形態では、グラデーションの例として、緑色から青色に変化するグラデーションを例に説明したが、変化する複数の色の組み合わせは上記例の色以外でもよい。例えば、赤色から橙色に変化するグラデーションでもよい。また、ユーザの設定によってグラデーションの色を変えられるようにしてもよい。
　上記実施形態では、形状表示画像４２において、挿入部１７Ｇの表面に付す模様として、色が連続的に変化するグラデーションの模様を例に挙げて説明したが、模様はグラデーション以外でもよい。
　挿入部１７Ｇの表面に模様を付して表示すれば、挿入部１７Ｇの表面を単色無地で表示する場合と比較して、交差部分１７ＧＸの前後を容易に判断することが可能となる。
　例えば、図１３に示すように、グラデーションの模様としては、色が連続的に変化する態様でなくてもよく、段階的に変化する態様でもよい。
　図１３に示す形状表示画像４２Ａにおいて、挿入部１７Ｇの表面には、先端側から基端側にかけて、異なる色に段階的に変化するグラデーションの模様が付される。色が連続的に変化していなくても、交差部分１７ＧＸの前後で挿入部１７Ｇの色が異なる配色となるため、交差部分１７ＧＸの前後を容易に判断することが可能となる。もちろん、色が連続的に変化するグラデーションの方が色の変化が自然であるため、見栄えがよいので好ましい。
　また、模様は、グラデーション以外でもよく、複数の色の組み合わせた模様でもよい。ここで、複数の色とは、例えば、明度、彩度、および色相の少なくとも一つが互いに異なる色の組合せを意味する。
　また、図１４に示す形状表示画像４２Ｂのように、模様は、挿入部１７Ｇの長手方向に延びる複数色の縦縞模様でもよい。この場合でも、交差部分１７ＧＸの前後で縦縞同士が交差するため、交差部分１７ＧＸの前後を容易に判断することが可能となる。
　また、図１５に示す形状表示画像４２Ｃのように、模様は、挿入部１７Ｇの軸回りにリング状に付した横縞模様でもよい。この場合でも、交差部分１７ＧＸの前後で横縞同士が交差するため、交差部分１７ＧＸの前後を容易に判断することが可能となる。
　こうした縦縞模様及び横縞模様は、ピンストライプで構成されていてもよいし、幅を持った帯状の複数の縞で構成され、かつ、それらの複数の縞が異なる色で色分けされた態様でもよい。
　また、図１６に示す形状表示画像４２Ｄのように、ワイヤーフレーム模様でもよい。なお、ワイヤーフレームとは、３次元座標を持つ複数の点を一定の規則に従って接続することにより立体物を表現したものである。ワイヤーフレーム模様とは、上記ワイヤーフレームを挿入部１７Ｇの表面に模様として表示した表示態様である。このような模様でも、上記例と同様の効果が得られる。
　上記実施形態では、レンダリング処理を行う際の、光源位置およびカメラ位置について、寝台１６の天面１６Ａと平行な面をＸ-Ｙ平面としたとき、光の照射方向および視点方向がＺ軸上方から下方に向かう状態に設定した場合について説明した。しかしながら、光源位置およびカメラ位置については上記に限定されるものではなく、ユーザの指示入力に基づいて任意の方向に設定してもよい。視点方向が寝台１６のＺ軸上方から下方に向かう方向には、例えば次の２つの方向がある。１つは、寝台１６の直上から、すなわち、Ｘ－Ｙ平面に対する法線方向から、寝台１６の天面１６Ａを観察する視点である。もう１つは、寝台１６の斜め方向から、寝台１６の天面１６Ａを鳥瞰する視点である。また、これらの他、寝台１６の側方、すなわち、Ｘ－Ｙ平面と平行な観察する視点があってもよい。また、複数の視点を切り替えたり、並列的な視点を設定できるようにしてもよい。
　また、上記実施形態では、各発生コイル３９が同じ周波数の磁界ＭＦを発生する例で説明したが、各発生コイル３９が発生する磁界ＭＦの周波数が異なっていてもよい。
　また、上記各実施形態では、内視鏡１０に、磁界測定制御部５８を含む磁界測定部を配置し、ナビゲーション装置１２に磁界発生制御部７１を配置した例で説明したが、反対に、内視鏡１０に磁界発生制御部７１を配置して、ナビゲーション装置１２に磁界測定部を配置してもよい。
　上記実施形態において、例えば、情報取得部および画像生成部の一例である画像生成部７７などの各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、および／またはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　情報取得部および画像生成部を有する内視鏡表示制御装置を、プロセッサがＣＰＵで構成されるコンピュータによって実現してもよい。ＣＰＵを情報取得部および画像生成部として機能させるためのプログラムが、内視鏡表示制御装置の作動プログラムである。本開示の技術は、内視鏡表示制御装置の作動プログラムに加えて、この作動プログラムを非一時的に記憶するコンピュータが読み取り可能な記憶媒体にも及ぶ。
　上記の記載により、以下の付記項に記載の発明を把握することができる。
　「付記項１」
　被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得プロセッサと、
　取得した情報に基づいて、挿入部の形状を表示する形状表示画像を生成する画像生成部であって、形状表示画像において、挿入部を、表面に模様を付して表示する画像生成プロセッサとを備える
　内視鏡形状表示制御装置。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　２０１９年７月２２日に出願された日本出願特願２０１９－１３４８６５の開示はその全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得し、
    　取得した前記情報に基づいて、前記挿入部の形状を表示する形状表示画像を生成する際に、前記形状表示画像において、前記挿入部を、表面に模様を付して表示する
    　内視鏡形状表示制御装置。
  2. 　前記模様は、前記形状表示画像に表示される前記挿入部の全領域に対して付される請求項１に記載の内視鏡形状表示制御装置。
  3. 　前記模様は、前記挿入部の先端側および基端側の一方から他方にかけて色が連続的または段階的に変化するグラデーションである
    　請求項１または２に記載の内視鏡形状表示制御装置。
  4. 　前記グラデーションは、緑色から青色に変化する
    　請求項３に記載の内視鏡形状表示制御装置。
  5. 　前記模様は、縞模様である
    　請求項１から４のいずれか１項に記載の内視鏡形状表示制御装置。
  6. 　前記模様は、ワイヤーフレーム模様である
    　請求項１から４のいずれか１項に記載の内視鏡形状表示制御装置。
  7. 　前記プロセッサは、前記模様に加えて、前記挿入部に陰影処理を施す
    　請求項１から６のいずれか１項に記載の内視鏡形状表示制御装置。
  8. 　前記挿入部の形状を画像化するための情報は、前記挿入部内に設けられた複数の磁界発生素子または複数の磁界検出素子を利用して得た磁界測定データに基づく情報である
    　請求項１から７のいずれか１項に記載の内視鏡形状表示制御装置。
  9. 　被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得ステップと、
    　取得した前記情報に基づいて、前記挿入部の形状を示す形状表示画像を生成する画像生成ステップであって、前記形状表示画像において、前記挿入部を、表面に模様を付して表示する画像生成ステップとを備える
    　内視鏡形状表示制御装置の作動方法。
  10. 　被検体内に挿入されている内視鏡の挿入部の形状を画像化するための情報を取得する情報取得部と、
    　取得した前記情報に基づいて、前記挿入部の形状を示す形状表示画像を生成する画像生成部であって、前記形状表示画像において、前記挿入部を、表面に模様を付して表示する画像生成部として、
    　コンピュータを機能させる内視鏡形状表示制御装置の作動プログラム。
PCT/JP2020/026919 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム WO2021014991A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080051346.8A CN114126474A (zh) 2019-07-22 2020-07-09 内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序
EP20844040.4A EP4005463B1 (en) 2019-07-22 2020-07-09 Endoscope shape display control device, operation method for endoscope shape display control device, and operation program for endoscope shape display control device
JP2021533935A JP7185046B2 (ja) 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-134865 2019-07-22
JP2019134865 2019-07-22

Publications (1)

Publication Number Publication Date
WO2021014991A1 true WO2021014991A1 (ja) 2021-01-28

Family

ID=74193439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026919 WO2021014991A1 (ja) 2019-07-22 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム

Country Status (4)

Country Link
EP (1) EP4005463B1 (ja)
JP (1) JP7185046B2 (ja)
CN (1) CN114126474A (ja)
WO (1) WO2021014991A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2000175862A (ja) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡挿入形状検出装置
JP2004000551A (ja) 1994-08-18 2004-01-08 Olympus Corp 内視鏡形状検出装置
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
WO2009044580A1 (ja) * 2007-10-02 2009-04-09 Olympus Medical Systems Corp. 内視鏡形状解析装置
JP2019134865A (ja) 2018-02-05 2019-08-15 株式会社大一商会 遊技機

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU675077B2 (en) * 1992-08-14 1997-01-23 British Telecommunications Public Limited Company Position location system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2004000551A (ja) 1994-08-18 2004-01-08 Olympus Corp 内視鏡形状検出装置
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2000175862A (ja) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡挿入形状検出装置
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
WO2009044580A1 (ja) * 2007-10-02 2009-04-09 Olympus Medical Systems Corp. 内視鏡形状解析装置
JP2019134865A (ja) 2018-02-05 2019-08-15 株式会社大一商会 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4005463A4

Also Published As

Publication number Publication date
JPWO2021014991A1 (ja) 2021-01-28
EP4005463A1 (en) 2022-06-01
JP7185046B2 (ja) 2022-12-06
CN114126474A (zh) 2022-03-01
EP4005463A4 (en) 2022-08-24
EP4005463B1 (en) 2024-10-16

Similar Documents

Publication Publication Date Title
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US7794388B2 (en) Method and apparatus for generating at least one section of a virtual 3D model of a body interior
JP6633751B2 (ja) ナビゲーション装置及びナビゲーション方法、並びに内視鏡システム
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
JPWO2015151973A1 (ja) 内視鏡システム
CN112055555A (zh) 医疗图像处理装置、医疗图像处理方法及内窥镜系统
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
WO2021014991A1 (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
WO2021020067A1 (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
JP7234461B2 (ja) 内視鏡システム
JP6995793B2 (ja) 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
CN107438390B (zh) 内窥镜形状把握系统
JP2021016631A (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
CN112438694A (zh) 线圈组件
JP7155436B2 (ja) 内視鏡システム及びその作動方法
JP7098583B2 (ja) 内視鏡システム及びその作動方法
JP7084364B2 (ja) 内視鏡システム及びその作動方法
JP2022132940A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844040

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2021533935

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020844040

Country of ref document: EP

Effective date: 20220222