WO2018179991A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2018179991A1
WO2018179991A1 PCT/JP2018/005690 JP2018005690W WO2018179991A1 WO 2018179991 A1 WO2018179991 A1 WO 2018179991A1 JP 2018005690 W JP2018005690 W JP 2018005690W WO 2018179991 A1 WO2018179991 A1 WO 2018179991A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
region
unit
endoscope
image
Prior art date
Application number
PCT/JP2018/005690
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18778215.6A priority Critical patent/EP3603483A4/en
Priority to JP2019508755A priority patent/JP6749473B2/ja
Priority to CN201880020745.0A priority patent/CN110461210A/zh
Publication of WO2018179991A1 publication Critical patent/WO2018179991A1/ja
Priority to US16/575,924 priority patent/US11272830B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an endoscope system and an operation method thereof.
  • an endoscope system including a light source device, an endoscope, and a processor device is widely performed.
  • the illumination light emitted from the light source device is emitted from the distal end of the endoscope, and the endoscope images the inside of the illuminated subject to obtain an image signal.
  • the processor device generates an endoscopic image using the image signal and displays the endoscopic image on the display unit. Thereby, the doctor can make a diagnosis by looking at the endoscopic image.
  • Patent Document 1 describes that a virtual endoscopic image is generated using a CT image generated by an image diagnostic apparatus such as a CT (Computed Tomography) apparatus, and a region of interest is detected from the virtual endoscopic image. ing.
  • an unpresented region that has not been provided to a user such as a doctor is detected as a region of interest.
  • a contour image of a lumen is generated using a CT image, and a region of interest is displayed superimposed on a corresponding position on the contour image.
  • Patent Document 2 describes that a region of interest such as a lesion is automatically detected using a virtual endoscopic image generated using a CT image.
  • a region of interest may be detected on the outbound path, and the region of interest may be examined or treated on the return path.
  • the position information of the detected region of interest can be used for re-searching, but such a system does not exist at present.
  • patients referred from other clinics and other facilities may be diagnosed, and in such cases, another doctor may make a diagnosis. Useful for exploration.
  • Patent Documents 1 and 2 a region of interest is detected using a CT image. However, even when a region of interest that has already been detected is re-searched in endoscopic diagnosis, the position information of the region of interest that has been detected is Useful.
  • An object of the present invention is to provide an endoscope system capable of easily re-searching a detected region of interest and an operation method thereof.
  • the endoscope system of the present invention includes an endoscope, an endoscope image acquisition unit, a region of interest detection unit, a position information acquisition unit, and a display unit.
  • the endoscopic image acquisition unit acquires an endoscopic image obtained by imaging the inside of a lumen with an endoscope.
  • the region of interest detection unit detects the region of interest in the lumen using the endoscopic image.
  • the position information acquisition unit acquires position information of the region of interest.
  • the display unit displays position information of the region of interest.
  • the lumen is divided into a plurality of lumen parts
  • the position information of the region of interest is the lumen part information of the lumen part in which the region of interest is detected among the plurality of lumen parts
  • the display unit Lumen part information may be displayed as position information of the region of interest.
  • the position information of the region of interest is distance information from the reference structure in the lumen, and the display unit may display the distance information as the position information of the region of interest.
  • An insertion length acquisition unit that acquires the insertion length of the insertion portion of the endoscope into the lumen is provided, and the display unit displays the insertion length in which the region of interest is detected among the insertion lengths as position information of the region of interest. May be.
  • a first marking image generation unit that generates a first marking image that is marked at a location corresponding to the position information of the region of interest may be provided, and the display unit may display the first marking image.
  • an insertion state acquisition unit that acquires the insertion state of the endoscope being inserted into the lumen is provided, and the display unit displays the insertion state of the endoscope at a corresponding position in the schematic diagram.
  • the discrimination unit preferably outputs a discrimination result including at least discrimination as to whether the region of interest is a lesioned part or a normal part. It is preferable that the discrimination result further includes the type of lesion. It is preferable that the discrimination result further includes a certainty factor for the discrimination result.
  • the display unit changes the display mode of the marking according to the discrimination result of the discrimination unit.
  • warning unit that issues a warning based on the position information of the region of interest and the insertion state of the endoscope.
  • the warning unit preferably changes the warning mode according to the discrimination result of the discrimination unit.
  • a biometric feature amount calculation unit that calculates a biometric feature amount of the region of interest is provided, and the display unit changes the display mode of the marking using the biometric feature amount in addition to the discrimination result of the discrimination unit.
  • An endoscope insertion shape information acquisition unit that acquires shape information of an insertion portion of an endoscope inserted in a lumen, and an endoscope insertion shape image by performing image processing using the shape information of the insertion portion
  • a second marking image generation unit that generates a second marking image obtained by marking a portion corresponding to the position information of the region of interest in the endoscope insertion shape image, and the display unit includes the second marking An image may be displayed.
  • the endoscope image acquisition unit acquires the endoscope image obtained by imaging the inside of the lumen with the endoscope, and the region of interest detection unit A step of detecting a region of interest in the lumen using an endoscopic image; a step of acquiring a position information of the region of interest by a position information acquisition unit; and a step of displaying the position information of the region of interest by a display unit.
  • the detected region of interest can be easily searched again.
  • FIG. 1 is an external view of an endoscope system according to a first embodiment. It is a block diagram which shows the function of an endoscope system. It is a graph which shows the spectrum of purple light V, blue light B, blue light Bx, green light G, and red light R. It is a graph which shows the spectrum of normal light. It is a graph which shows the spectrum of special light. It is explanatory drawing which shows the acquisition method of insertion length. It is explanatory drawing explaining the method to acquire the insertion state of the insertion part of an endoscope. It is a block diagram which shows the function of the image processing part for region of interest search. It is explanatory drawing explaining the detection of a region of interest. It is explanatory drawing explaining the detection of another region of interest.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display unit 18, and an operation input unit 19.
  • the endoscope 12 images a living body lumen as a subject.
  • the light source device 14 supplies illumination light for illuminating the inside of the lumen to the endoscope 12.
  • the processor device 16 generates a display image by performing predetermined image processing on the endoscopic image obtained by imaging with the endoscope 12.
  • the display unit 18 is a monitor that displays a display image and information attached to the display image.
  • the operation input unit 19 is a console such as a keyboard and a mouse, and functions as a user interface that receives input operations such as function settings.
  • the display unit 18 and the operation input unit 19 are electrically connected to the processor device 16.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion part 12a and an operation part 12b.
  • the insertion portion 12a is a portion that is inserted into the lumen.
  • the insertion part 12a has the front-end
  • the distal end portion 21 has an illumination window, an observation window, an air / water feeding nozzle, and a forceps outlet (all not shown) on the distal end surface.
  • the illumination window is for irradiating the observation site with illumination light.
  • the observation window is for capturing light from the observation site.
  • the air / water supply nozzle is for cleaning the illumination window and the observation window.
  • the forceps outlet is for performing various treatments using a forceps and a treatment tool such as an electric knife.
  • the bending portion 22 is configured by connecting a plurality of bending pieces, and is bent in the vertical and horizontal directions.
  • the flexible tube portion 23 has flexibility and can be inserted into a tortuous duct such as an esophagus or an intestine.
  • the operation unit 12b includes an angle knob 25, an image storage operation unit 26, a mode switching unit 27, and a zoom operation unit 28.
  • the angle knob 25 is used for an operation in which the bending portion 22 is bent and the distal end portion 21 is directed in a desired direction.
  • the image storage operation unit 26 is used for an operation of storing a still image and / or a moving image in a storage (not shown).
  • the mode switching unit 27 is used for an operation of switching the observation mode.
  • the zoom operation unit 28 is used for an operation of changing the zoom magnification.
  • the endoscope system 10 has a normal mode, a special mode, and a region of interest search mode as observation modes.
  • a normal mode an image obtained by copying the inside of the lumen with a natural color (hereinafter referred to as a normal image) is acquired.
  • a special mode an image in which blood vessels in the lumen are at least emphasized (hereinafter referred to as a special image) is acquired.
  • the region of interest search mode will be described in detail later, the region of interest in the lumen is detected, and the position information of the detected region of interest is displayed on the display unit 18.
  • the light source device 14 includes a light source unit 30 that emits illumination light and a light source control unit 32 that controls the light source unit 30.
  • the light source unit 30 is a semiconductor light source of a plurality of colors having different wavelength ranges in the present embodiment.
  • As the semiconductor light source there is an LED (Light-Emitting-Diode).
  • the light source unit 30 includes a V-LED (Violet Light Emitting Diode) 30a, a B-LED (Blue Light Emitting Diode) 30b, a G-LED (Green Light Emitting Diode) 30c, and an R-LED (Red Light). (Emitting Diode) 30d and four-color LEDs and an optical filter 30e.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R-LED Red Light
  • the V-LED 30a emits violet light V having a wavelength band of 380 nm to 420 nm.
  • the B-LED 30b emits blue light B having a wavelength band of 420 nm to 500 nm.
  • the G-LED 30c emits green light G having a wavelength band of 480 nm to 600 nm.
  • the R-LED 30d emits red light R having a wavelength band of 600 nm to 650 nm.
  • the light of each color may have the same center wavelength and peak wavelength, or may be different.
  • the optical filter 30e adjusts the wavelength band of the light emitted from the LED.
  • the optical filter 30e is arranged on the optical path of the B-LED 30b and transmits a short wavelength component in the wavelength band of the B-LED 30b. Since the long wavelength component in the wavelength band of the B-LED 30b is a factor that lowers the contrast between the mucous membrane and the blood vessel, the short wavelength component in the wavelength band of the B-LED 30b is supplied to the light guide 34 described later. It is preferable.
  • the optical filter 30e generates blue light Bx having a wavelength band of 420 nm to 450 nm by transmitting light of 450 nm or less in the wavelength band of the B-LED 30b.
  • the arrangement of the optical filter 30e is on the optical path of the B-LED 30b in this embodiment, but is not limited to this.
  • the optical filter 30e may be arranged on the optical path of the G-LED 30c.
  • the wavelength component transmitted by the optical filter 30e can be set as appropriate.
  • the optical filter 30e transmits a part of the wavelength band of the G-LED 30c.
  • the light source control unit 32 independently controls the lighting and extinguishing of the LEDs 30a to 30d, the balance of the emitted light amounts of the LEDs 30a to 30d (hereinafter referred to as the light amount ratio), etc. Adjust the light intensity and spectral spectrum. Further, the light source control unit 32 controls the wavelength band of the illumination light by changing the optical filter 30e or the like. In the present embodiment, the light source control unit 32 controls the light amount ratio of each LED 30a to 30d for each observation mode by adjusting the current and voltage for driving each LED 30a to 30d.
  • the light source controller 32 turns on all the LEDs 30a to 30d in the normal mode.
  • the light quantity ratio of the violet light V, the blue light B, the green light G, and the red light R is set so that the light intensity peak of the blue light Bx is larger than any light intensity peak of each of the other color lights. ing.
  • multicolor light including purple light V, blue light Bx, green light G, and red light R is generated as normal light from the light source device 14. Since normal light has a certain intensity or more from the blue band to the red band, it is almost white.
  • the light source control unit 32 lights all the LEDs 30a to 30d in the special mode.
  • the light quantity ratio of the violet light V, the blue light B, the green light G, and the red light R is set so that the light intensity peak of the violet light V is larger than any light intensity peak of each of the other color lights. ing.
  • the peak of each light intensity of the green light G, the red light R, and each light intensity is set so that it may become smaller than the peak of each light intensity of the purple light V and the blue light Bx.
  • multicolor light including violet light V, blue light Bx, green light G, and red light R and having a light amount ratio different from that in the normal mode is generated as special light.
  • the special light is a bluish light because the ratio of the purple light V is large. Note that the special light may not include all four colors of light, and only needs to include light from at least one of the four colors of LEDs 30a to 30d.
  • the light source control unit 32 controls the light emission of each of the LEDs 30a to 30d according to the light amount ratio input by the operation input unit 19 in the region of interest search mode. For example, the light amount ratio in the normal mode and the light amount ratio in the special mode are input. Thus, normal light or special light is generated in the region of interest search mode. In the region-of-interest search mode, normal light and special light can be generated alternately. In this case, normal images and special images are alternately acquired as endoscopic images. .
  • the light source control unit 32 switches the illumination light for each imaging frame. Specifically, the B-LED 30b is turned on in the first imaging frame, and the B-LED 30b, the G-LED 30c, and the R-LED 30d are turned on in the second imaging frame.
  • the light source control unit 32 controls the transmission wavelength of the optical filter 30e and changes the wavelength band of the blue light to be generated every time the imaging frame is switched. In the first imaging frame, narrow-band blue light having a center wavelength and a wavelength band of 470 ⁇ 10 nm is generated.
  • the center wavelength and wavelength band of the blue light generated in the first imaging frame are the center wavelength and wavelength band where the difference in the extinction coefficient between oxyhemoglobin and reduced hemoglobin is generally maximized in the blue wavelength band.
  • broadband blue light having a center wavelength of about 450 ⁇ 10 nm and a wavelength band of about 400 nm to 500 nm is generated.
  • the oxygen saturation in the lumen is calculated based on the correlation between the endoscopic image obtained by illuminating the inside of the lumen using each illumination light and capturing the image, and the oxygen saturation. Thereby, the image showing oxygen saturation is acquired.
  • the illumination light emitted from the light source unit 30 enters the light guide 34 inserted into the insertion unit 12a.
  • the light guide 34 is incorporated in the endoscope 12 and the universal cord, and propagates illumination light to the distal end portion 21 of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
  • a multimode fiber can be used as the light guide 34.
  • the light guide 34 may be a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 to 0.5 mm including the outer protective layer.
  • the front end 21 has an illumination optical system 36 and an imaging optical system 38.
  • the illumination optical system 36 has an illumination lens 40.
  • the illumination light propagated through the light guide 34 illuminates the inside of the lumen via the illumination lens 40.
  • the imaging optical system 38 includes an objective lens 42, a zoom lens 44, and an image sensor 46.
  • Various light such as reflected light, scattered light, and fluorescence from the mucous membrane in the lumen enters the image sensor 46 through the objective lens 42 and the zoom lens 44.
  • the zoom lens 44 freely moves between the tele end and the wide end by the operation of the zoom operation unit 28.
  • the image sensor 46 is a primary color sensor, and is provided with a B pixel (blue pixel) provided with a blue color filter, a G pixel (green pixel) provided with a green color filter, and a red color filter. It has three types of R pixels (red pixels). By imaging the inside of the lumen with this image sensor 46, three types of endoscopic images of B image (blue image), G image (green image), and R image (red image) are obtained.
  • a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like can be used.
  • the image sensor 46 is a primary color sensor, but a complementary color sensor can also be used.
  • Complementary color sensors include, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter. Have.
  • Each color image obtained when the complementary color sensor is used can be converted into a B image, a G image, and an R image similar to those when the primary color sensor is used.
  • a monochrome sensor without a color filter may be used.
  • the processor device 16 includes a controller 52, an endoscope image acquisition unit 54, an image processing unit 60, a display control unit 68, and an insertion state acquisition unit 70.
  • the controller 52 includes a CPU (Central processing unit), a ROM (Read only memory) that stores a control program and setting data necessary for control, a RAM (Random access memory) as a working memory for loading the control program, and the like.
  • the controller 52 controls the light source control unit 32 and the image sensor 46 in addition to controlling each unit of the processor device 16 by the CPU executing a control program.
  • the endoscopic image acquisition unit 54 acquires endoscopic images of the B image, the G image, and the R image from the image sensor 46.
  • the endoscopic image acquisition unit 54 includes a DSP (Digital Signal Processor) 56 and a noise reduction unit 58, and performs various processes on the endoscopic image by these.
  • DSP Digital Signal Processor
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, and demosaicing processing on the endoscopic image.
  • defect correction process the pixel value of the defective pixel of the image sensor 46 is corrected.
  • offset process the dark current component is removed from the defect-corrected image and an accurate zero level is set.
  • gain correction process the signal level of each image is adjusted by multiplying the offset-processed image by a specific gain.
  • Linear matrix processing improves the color reproducibility of gain-corrected images.
  • the gamma conversion process adjusts the brightness and saturation of the image subjected to the linear matrix process.
  • demosaic processing also referred to as isotropic processing or synchronization processing
  • pixel values of missing pixels are interpolated in an image subjected to gamma conversion processing.
  • the missing pixel is a pixel having no pixel value because pixels of other colors are arranged in the image sensor 46.
  • the noise reduction unit 58 performs noise reduction processing by, for example, a moving average method or a median filter method on an image that has been demosaiced by the DSP 56 to reduce noise.
  • the image processing unit 60 acquires an endoscopic image from the endoscopic image acquisition unit 54, performs predetermined image processing on the acquired endoscopic image, and generates a display image that shows the inside of the lumen.
  • the image processing unit 60 includes a normal image processing unit 62, a special image processing unit 64, and a region-of-interest search image processing unit 66.
  • the normal image processing unit 62 operates in the normal mode, and performs image processing such as color conversion processing, color enhancement processing, and structure enhancement processing on an image of each color of BGR to generate a normal image.
  • image processing such as color conversion processing, color enhancement processing, and structure enhancement processing on an image of each color of BGR to generate a normal image.
  • a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (look-up table) process, and the like are performed on an image of each BGR color.
  • the color enhancement process is a process for enhancing the color of the image
  • the structure enhancement process is a process for enhancing the structure of the observation target such as a blood vessel or a pit pattern.
  • the special image processing unit 64 operates in the special mode and generates a special image by performing the above-described various image processings for emphasizing blood vessels.
  • the special mode since the amount of light emitted from the V-LED 30a is large, the superficial blood vessels are emphasized in the special image.
  • the region-of-interest search image processing unit 66 operates in the region-of-interest search mode, detects a region of interest from an endoscopic image, and displays position information of the detected region of interest. In the present embodiment, the position information of the region of interest is displayed on the display unit 18 together with the endoscopic image. Details of the region-of-interest search image processing unit 66 will be described later with reference to another drawing.
  • the display control unit 68 controls the display unit 18 to display the display image generated by the image processing unit 60. Thereby, a normal image is displayed in the normal mode, a special image is displayed in the special mode, and an endoscopic image and position information of the region of interest are displayed in the region of interest search mode.
  • the insertion state acquisition unit 70 acquires the insertion state of the endoscope 12 being inserted into the lumen.
  • the insertion state acquisition unit 70 inputs the acquired insertion state of the endoscope 12 to the region-of-interest search image processing unit 66.
  • the insertion state acquisition unit 70 acquires the insertion state of the insertion unit 12a based on the insertion length of the insertion unit 12a into the lumen.
  • a measurement scale 71 for measuring the insertion length of the insertion portion 12a into the lumen is provided on the outer peripheral surface of the insertion portion 12a of the endoscope 12.
  • the measurement scale 71 is constituted by points provided at a predetermined pitch (for example, in increments of 1 cm) along the longitudinal direction of the insertion portion 12a.
  • the patient's mouth (in the case of the upper endoscope) and the anus (in the case of the lower endoscope) are provided with a scale detection sensor 72 for detecting the measurement scale 71.
  • FIG. 6 shows that the scale detection sensor 72 is provided on the mouthpiece MP that the patient is holding in the mouth.
  • the scale detection sensor 72 detects the measurement scale 71 to obtain the insertion length of the insertion portion 12a.
  • the measurement scale 71 and the scale detection sensor 72 constitute an insertion length acquisition unit.
  • the scale detection sensor 72 is connected to the processor device 16 by wire or wirelessly, and transmits the insertion length of the insertion unit 12 a to the insertion state acquisition unit 70 of the processor device 16.
  • the insertion state acquisition unit 70 detects the position of the distal end portion 21 corresponding to the insertion length of the insertion portion 12a in the diagnostic path Q in which the insertion portion 12a reciprocates in the lumen, and thereby the distal end portion 21 detection positions are acquired. Acquisition of the detection position of this front-end
  • tip part 21 is performed whenever the insertion length of the insertion part 12a is measured.
  • symbols P ⁇ b> 1 and P ⁇ b> 2 indicate detection positions of the tip portion 21.
  • the detection position P2 of the distal end portion 21 is set to the back side in the lumen with respect to the detection position P1 of the distal end portion 21. That is, the insertion length of the detection position P2 is longer than the insertion length of the detection position P1.
  • the detection position of the distal end portion 21 is acquired using the insertion length of the insertion portion 12a.
  • a magnetic sensor (not shown) is provided in the insertion portion 12a. You may acquire the detection position of the front-end
  • the region-of-interest search image processing unit 66 includes a region-of-interest detection unit 80, a position information acquisition unit 81, a discrimination unit 82, a warning unit 83, a first marking image generation unit 84, And a storage unit 85.
  • the region-of-interest detection unit 80 detects the region of interest in the lumen using the endoscopic image acquired from the endoscopic image acquisition unit 54.
  • the region of interest is a region including at least one of a lesioned part and a normal part in the lumen.
  • the region-of-interest detection unit 80 automatically performs processing for detecting a region of interest from an endoscopic image.
  • the region-of-interest detection unit 80 stores a plurality of template images of the region of interest in advance, and detects a region that matches the template image in the endoscopic image as the region of interest.
  • “matching” includes not only that the similarities of the areas to be compared match, but also that the difference in the similarity of the areas to be compared is within a certain range.
  • the region-of-interest detection unit 80 detects the region of interest by template matching.
  • the present invention is not limited to this.
  • the region of interest may be detected by deep learning, edge detection, texture analysis, or the like.
  • FIG. 9 is a specific example in which the region of interest is detected from the endoscopic image 86 obtained at the detection position P1 of the distal end portion 21 in the lumen.
  • FIG. 10 is a specific example in which a region of interest is detected from an endoscopic image 87 obtained at a detection position P2 of the distal end portion 21 in the lumen.
  • the region of interest detection unit 80 detects the region of interest R1 from the endoscopic image 86 shown in FIG. 9, and detects the region of interest R2 from the endoscopic image 87 shown in FIG.
  • the position information acquisition unit 81 acquires the position information of the region of interest detected by the region of interest detection unit 80. Specifically, the position information acquisition unit 81 acquires the detection position of the distal end portion 21 from which the endoscopic image in which the region of interest is detected is obtained as the position information of the region of interest.
  • the detection position P1 of the tip 21 is acquired as position information of the region of interest R1
  • the detection position P2 of the tip 21 is acquired as position information of the region of interest R2.
  • the discrimination unit 82 performs discrimination on the region of interest detected by the region of interest detection unit 80. Specifically, the discrimination unit 82 at least discriminates whether the region of interest is a lesioned part or a normal part, and outputs a discrimination result of this discrimination. In the present embodiment, the discrimination unit 82 discriminates adenomas (also referred to as benign polyps) in addition to discrimination between a lesioned part and a normal part. For example, for the region of interest R1 of the endoscopic image 86 shown in FIG. 9, a result of differentiation from an adenoma is obtained. Further, for the region of interest R2 of the endoscopic image 87 shown in FIG. As a discrimination method, it is preferable to use artificial intelligence (AI (Artificial Intelligence)). As a discrimination method, in addition to AI, deep learning, template matching, texture analysis, frequency analysis, or the like may be used.
  • AI Artificial Intelligence
  • the discrimination unit 82 may discriminate the type of the lesioned part. That is, the discrimination result output by the discrimination unit 82 may further include the type of the lesioned part.
  • the type of lesion depends on the site to be diagnosed. For example, in the diagnosis of the large intestine, the distinguishing unit 82 includes normal, hyperplastic polyp (HP), SSA / P (Sessile Serrated Adenoma / Polyp), adenoma (TSA), laterally developed tumor (TSA). LST: Laterally Spreading Tumor) and any type of cancer.
  • the type of lesioned part to be identified may be set, for example, by input from the operation input unit 19.
  • the discrimination part 82 may further discriminate
  • the first marking image generation unit 84 generates a first marking image in which a portion corresponding to the position information of the region of interest is marked in the schematic diagram of the lumen.
  • the position information of the region of interest is displayed by displaying the first marking image on the display unit 18.
  • the first marking image generation unit 84 stores in advance a schematic diagram for each part such as the stomach, esophagus, and large intestine as a schematic diagram of the lumen. Which part of the schematic diagram is used is set by, for example, input from the operation input unit 19. In the present embodiment, a schematic diagram of the large intestine is set.
  • the region of interest R ⁇ b> 1 is detected at a location corresponding to the detection position P ⁇ b> 1 of the distal end portion 21 as position information of the region of interest R ⁇ b> 1 in the schematic diagram 92.
  • a mark M1 is displayed in an overlapping manner.
  • a mark M2 indicating that the region of interest R2 has been detected is overlaid at a position corresponding to the detection position P2 of the tip 21 as the position information of the region of interest R2 in the schematic diagram 92. Displayed. Thereby, the user can recognize the position of the region of interest.
  • the marks M1 and M2 indicating that the region of interest has been detected are circular. However, the present invention is not limited to this, and a polygon or the like may be used.
  • the first marking image generation unit 84 displays the insertion state of the endoscope 12 acquired by the insertion state acquisition unit 70 at a corresponding location in the schematic diagram 92.
  • symbol L indicates the insertion state of the endoscope 12.
  • the insertion state L of the endoscope 12 is represented by a length corresponding to the insertion length of the insertion portion 12a.
  • FIG. 11 shows an insertion state L of the endoscope 12 when the distal end portion 21 reaches the end of the forward path.
  • the first marking image generation unit 84 changes the marking display mode according to the discrimination result of the discrimination unit 82.
  • a method of changing the marking display mode there is a method of changing the color, size, thickness, shape, shading, etc. of the marking.
  • the difference in the discrimination result is expressed by making the thickness of the line of the mark M1 indicating the adenoma and the mark M2 indicating the lesioned portion different from each other.
  • the thickness of the line of the mark M2 is thicker than the thickness of the line of the mark M1. In order to make the user aware that the lesion is extremely important, it is preferable to display it in yellow or red.
  • the warning unit 83 issues a warning based on the position information of the region of interest and the insertion state of the endoscope 12. Specifically, the warning unit 83 obtains the distance between the detected position of the tip 21 as the position information of the region of interest and the current detected position of the tip 21 and outputs a warning signal when the distance is equal to or less than a threshold value. Is generated. In the present embodiment, the warning unit 83 inputs the generated warning signal to the display control unit 68, and causes a warning display to warn that the distal end portion 21 is close to the region of interest. As a warning display method, there is a method of expressing by letters, numbers, symbols and the like. The warning is not limited to the warning display. For example, the warning unit 83 may input the generated warning signal to a speaker (not shown) and output a warning sound from this speaker. Further, vibration, flash light, or the like may be used.
  • the warning unit 83 changes the warning mode according to the discrimination result of the discrimination unit 82.
  • the display mode of the warning display is changed. For example, when a discrimination result with an adenoma is obtained, “!” Is displayed on the display unit 18, and when a discrimination result with a lesioned part is obtained, “!” is displayed on the display unit 18. Even when a warning sound is output as a warning, the warning mode may be changed according to the discrimination result.
  • a method of changing the warning mode of the warning sound for example, there are a method of changing the volume of the warning sound, a method of changing the pitch of the warning sound, and the like.
  • the storage unit 85 stores position information of the region of interest.
  • the storage unit 85 stores the position information of the region of interest and the discrimination result. That is, the storage unit 85 has a function as a region of interest position information storage unit and a function as a region of interest position information storage unit.
  • storage part 85 matches and memorize
  • the storage unit 85 may store only one of the position information of the region of interest and the discrimination result, or may store the position information of the region of interest and the first marking image 90 in association with each other. Good.
  • the region of interest search mode illumination light is generated in accordance with the light amount ratio input by the operation input unit 19.
  • An endoscope image is obtained by imaging the inside of the lumen illuminated with the illumination light by the endoscope 12. This endoscopic image is transmitted to the processor device 16.
  • the endoscopic image acquisition part 54 in the processor apparatus 16 acquires an endoscopic image (step S11).
  • the endoscope image acquired by the endoscope image acquisition unit 54 is subjected to various types of processing and is input to the region-of-interest search image processing unit 66.
  • the insertion state acquisition unit 70 acquires the insertion state of the endoscope 12.
  • the insertion state of the endoscope 12 is acquired based on the insertion length of the insertion portion 12a into the lumen.
  • the insertion length of the insertion unit 12a is measured by the insertion length acquisition unit.
  • the insertion length acquisition unit includes a measurement scale 71 and a scale detection sensor 72, and when the scale detection sensor 72 detects the measurement scale 71, the insertion length of the insertion unit 12 a is acquired.
  • the insertion state acquisition part 70 acquires the detection position of the front-end
  • the insertion state of the endoscope 12 acquired by the insertion state acquisition unit 70 is input to the region-of-interest search image processing unit 66.
  • the region-of-interest detection unit 80 detects the region of interest in the lumen using the endoscopic image (step S12). The region of interest is automatically detected each time an endoscopic image is obtained.
  • the position information acquisition unit 81 acquires the position information of the region of interest detected by the region of interest detection unit 80 (step S13). In this example, the position information acquisition unit 81 acquires the detection position of the distal end portion 21 from which the region of interest is detected and the endoscopic image is obtained as the position information of the region of interest.
  • the position information of the region of interest acquired by the position information acquisition unit 81 is displayed on the display unit 18 (step S14).
  • a user such as a doctor can operate the endoscope 12 while looking at the position information of the region of interest displayed on the display unit 18, and therefore can easily re-search the detected region of interest.
  • the diagnosis time required for re-searching the detected regions of interest R1 and R2 is shortened.
  • the present invention is particularly effective when performing a re-search of a region of interest in a diagnosis return path or other facilities.
  • the position information of the region of interest is displayed by causing the display unit 18 to display a first marking image 90 in which a portion corresponding to the position information of the region of interest is marked in the schematic diagram 92 of the lumen.
  • the first marking image 90 is generated by the first marking image generation unit 84.
  • the first marking image 90 is displayed on the display screen of the display unit 18.
  • an endoscopic image 86 is displayed.
  • a mark M1 indicating that the region of interest R1 has been detected and a mark M2 indicating that the region of interest R2 has been detected are displayed.
  • the insertion state L of the endoscope 12 is displayed at a corresponding position in the schematic diagram 92.
  • the distal end of the insertion state L of the endoscope 12 is at the position of the mark M1. That is, it shows that the distal end portion 21 of the endoscope 12 in the lumen is at the detection position P1 where the region of interest R1 is detected.
  • the display mode of the mark M1 and the mark M2 differs depending on the discrimination result of the discrimination unit 82.
  • the thickness of the line of the mark M2 is thicker than the mark M1. Thereby, the user can easily recognize the discrimination result.
  • a warning display 95 is issued to warn that the tip 21 is close to the region of interest (see FIG. 13). This prevents oversight of the region of interest.
  • the display mode of the warning display 95 is changed according to the discrimination result of the discrimination unit 82.
  • “!” Is shown as a warning display 95 when a discrimination result from the adenoma is obtained by the discrimination unit 82.
  • the distal end of the insertion state L of the endoscope 12 when the distal end of the insertion state L of the endoscope 12 is at the position of the mark M2, that is, the distal end portion 21 of the endoscope 12 in the lumen detects the region of interest R2.
  • the warning display 95 is changed to “!!!”.
  • the region of interest R2 is a region in which the discrimination result from the lesioned part is obtained by the discrimination unit 82, it is preferable to make the warning display 95 more emphasized. As a result, the user can be made aware that the lesion is extremely cautionary, so that the region of interest that requires close examination or treatment is more reliably prevented.
  • the position information of the region of interest acquired by the position information acquisition unit 81 is stored in the storage unit 85 as the region of interest position information storage unit.
  • the position information of the region of interest stored in the storage unit 85 is used at the time of endoscopic diagnosis in another facility, for example. As a result, the diagnosis time required for re-searching the region of interest in another facility is more reliably reduced.
  • the discrimination result output by the discrimination unit 82 is stored in the storage unit 85 as a discrimination result storage unit. Thereby, for example, the discrimination result can be used in another facility.
  • the method of displaying the position information of the region of interest is not limited to the method of displaying the first marking image 90 as in the present embodiment.
  • the lumen part information of a plurality of lumen parts into which the lumen is divided may be displayed.
  • the luminal region is divided into the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, and the rectum.
  • the lumen part information is, for example, the name of the lumen part.
  • the position information acquisition unit 81 specifies the lumen part in which the region of interest is detected in the lumen, and acquires the lumen part information of the specified lumen part as the position information of the region of interest.
  • the position information acquisition unit 81 specifies a luminal part by template matching, deep learning, edge detection, texture analysis, frequency analysis, and the like using, for example, an endoscopic image. Note that the method for specifying the lumen part is not limited to the method using the endoscopic image as described above. For example, the lumen part is specified based on the magnetic sensor, the X-ray image, the insertion length of the insertion unit 12a, and the like. May be.
  • the lumen part information acquired by the position information acquisition unit 81 is displayed on the display unit 18 as position information of the region of interest.
  • FIG. 15 shows that when the region of interest R1 and the region of interest R2 are detected, the display screen of the display unit 18 displays the lumen part information of the lumen part where the region of interest R1 is detected and the tube where the region of interest R2 is detected. It is the example which displayed the luminal region information of the luminal region. In this example, the name of the luminal region is displayed as text as the luminal region information, indicating that the region of interest R1 has been detected in the descending colon, and that the region of interest R2 has been detected in the transverse colon. Yes.
  • FIG. 15 a schematic diagram 94 of the lumen is displayed.
  • the schematic diagram 94 is divided into six parts corresponding to the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectum.
  • the area corresponding to the descending colon and the area corresponding to the transverse colon are displayed in a display mode different from the other areas.
  • the difference between the area corresponding to the descending colon and the area corresponding to the transverse colon is represented by a difference in hatching interval.
  • the schematic diagram 94 is also displayed on the display screen of the display unit 18, but the display method of the lumen part information is not limited to this. Note that the display mode of the area in which the region of interest is detected may be changed according to the discrimination result.
  • the reference structure is a characteristic structure such as a Bauhin valve (an ileocecal valve), an anus, or “the number of folds counted from the anus”. Which reference structure is used is set, for example, by an input from the operation input unit 19. It can be set for each detected region of interest.
  • the reference structure is detected from the endoscopic image by the region-of-interest detection unit 80, for example.
  • the Bauhin valve is detected from an endoscopic image obtained when the tip 21 reaches the end of the forward path.
  • the detection method of the reference structure is not limited to the above method, and may be detected from, for example, a magnetic sensor and an X-ray image.
  • the position information acquisition unit 81 acquires distance information from the reference structure of the region of interest using the detection position of the region of interest and the detection position of the reference structure.
  • the distance information acquired by the position information acquisition unit 81 is displayed on the display unit 18 as position information of the region of interest.
  • the position of the region of interest R1 is displayed as a distance from the anus on the display screen of the display unit 18, and the position of the region of interest R2 is displayed from the Bauhin valve. It is the specific example displayed with the distance.
  • the distance information is displayed as text and numerical values.
  • the region of interest R1 is displayed as “Acm from the anus”, and the region of interest R2 is displayed as “Bcm from the Bauhin valve”.
  • distance information is displayed by text and numerical values and a schematic diagram 96 of the lumen is displayed.
  • the display method of the distance information from the reference structure is not limited to this.
  • the insertion length in which the region of interest is detected among the insertion lengths of the insertion unit 12a acquired by the insertion length acquisition unit may be displayed on the display unit 18.
  • FIG. 17 shows a specific example in which the insertion length in which the region of interest R1 is detected and the insertion length in which the region of interest R2 is detected are displayed on the display screen of the display unit 18 when the region of interest R1 and the region of interest R2 are detected.
  • the insertion length is displayed as a numerical value
  • the insertion length in which the region of interest R1 is detected is Xcm
  • the insertion length in which the region of interest R2 is detected is Ycm.
  • the insertion length is displayed numerically and a schematic diagram 98 of the lumen is displayed.
  • the insertion length display method is not limited to this.
  • the marking display mode is changed according to the discrimination result of the discrimination unit 82.
  • the biometric feature amount of the region of interest is calculated from the endoscopic image.
  • the marking display mode may be changed using this biometric feature.
  • a region-of-interest search image processing unit 100 is provided instead of the region-of-interest search image processing unit 66.
  • the region-of-interest search image processing unit 100 further includes a biometric feature amount calculation unit 102 in addition to the members of the region-of-interest search image processing unit 66. Description of the same members as those of the region-of-interest search image processing unit 66 is omitted.
  • the biometric feature amount calculation unit 102 calculates a biometric feature amount from the endoscopic image.
  • the endoscopic image in which the region of interest is detected by the region-of-interest detection unit 80 is used to calculate the biometric feature amount.
  • the biometric feature amount is information representing the nature of the blood vessel. For example, the number of blood vessels, the number of blood vessel branches, the blood vessel branch angle, the distance between branch points, the number of blood vessel intersections, the blood vessel thickness, and the blood vessel thickness.
  • the biometric feature amount calculation unit 102 calculates one of these biometric feature amounts. Note that the types of biometric features are not limited to the above examples.
  • the display mode changing method using the biometric feature amount for example, a changing method different from the display mode changing method using the discrimination result is used.
  • the difference in the discrimination result is represented by the thickness of the marking as in the above embodiment
  • the biometric feature amount is represented by the color of the marking, for example. Note that, as described above, the display mode change method is not different between the discrimination result and the biometric feature amount, but the thickness of the marking is changed, for example, using both the discrimination result and the biometric feature amount. Also good.
  • biometric feature amount calculated by the biometric feature amount calculation unit 102 may be displayed on the display unit 18.
  • the biometric feature amount may be stored in the storage unit 85 in association with the position information of the region of interest.
  • the first marking image 90 marked on the portion corresponding to the position information of the region of interest in the schematic diagram 92 of the lumen is displayed on the display unit 18.
  • An endoscope insertion shape image obtained by imaging the insertion shape of the insertion portion 12a inserted into the endoscope is acquired, and a second marking image marked at a position corresponding to the position information of the region of interest in the endoscope insertion shape image is obtained.
  • a second marking image generation unit 108 is provided instead of the first marking image generation unit 84 as shown in FIG.
  • the insertion state acquisition part 70 acquires the shape information of the insertion part 12a using the information obtained with the magnetic sensor (not shown) provided in the insertion part 12a. That is, the insertion state acquisition unit 70 functions as an endoscope insertion shape information acquisition unit that acquires shape information of the insertion unit 12a of the endoscope 12 inserted into the lumen.
  • the second marking image generation unit 108 performs an image process using the shape information of the insertion unit 12a acquired by the insertion state acquisition unit 70 as an endoscope insertion shape information acquisition unit, thereby obtaining an endoscope insertion shape image. get.
  • the shape of the insertion portion 12 a is three-dimensionally represented on the display screen of the display portion 18.
  • the second marking image generation unit 108 generates a second marking image in which a portion corresponding to the position information of the region of interest in the endoscope insertion shape image is marked.
  • FIG. 20 shows that when the region of interest R1 and the region of interest R2 are detected, the mark M1 indicating that the region of interest R1 is detected and the region of interest R2 are detected on the endoscope insertion shape image 110.
  • the 2nd marking image 112 on which the mark M2 which shows that was displayed is shown.
  • the endoscope insertion shape image 110 has a shape close to the shape of the inserted lumen. For this reason, the user can recognize the position of the region of interest based on the endoscope insertion shape image 110 and the marks M1 and M2. As a result, the diagnosis time required for re-searching the detected regions of interest R1 and R2 is shortened.
  • the second marking image generation unit 108 may change the marking display mode according to the discrimination result of the discrimination unit 82. Further, the second marking image generation unit 108 may change the display mode of the marking using the biometric feature amount in addition to the discrimination result of the discrimination unit 82.
  • the storage unit 85 may store the position information of the region of interest and the second marking image 112 in association with each other.
  • the discrimination result of the discrimination unit 82 may be displayed on the display unit 18.
  • the discrimination using the artificial intelligence described above does not always guarantee the lesion discrimination with 100% accuracy. Therefore, the discrimination unit 82 may further calculate the certainty factor of the discrimination result and display it on the display unit 18. That is, the discrimination result output by the discrimination unit 82 may further include a certainty factor for the discrimination result.
  • a method for calculating the certainty factor a case will be described in which the certainty factor for the discrimination result as a lesion is calculated.
  • a plurality of template images are stored in advance in the discrimination unit 82 as image information peculiar to the lesioned part, a part matching the template image is detected in the endoscopic image, and the number of matched template images A ratio with the total number of template images is calculated as a certainty factor.
  • the certainty calculation method is not limited to this.
  • an “agreement button” for confirming whether or not the doctor agrees with the discrimination result may be displayed on the display unit 18, and final approval for the discrimination result may be left to the doctor. In this case, it is preferable to perform an operation on the “agreement button” by the operation input unit 19.
  • the observation target is illuminated using a laser light source and a phosphor instead of the four-color LEDs 30a to 30d shown in the first embodiment.
  • a laser light source and a phosphor instead of the four-color LEDs 30a to 30d shown in the first embodiment.
  • a blue laser beam that emits blue laser light having a central wavelength of 445 ⁇ 10 nm is used instead of the four color LEDs 30a to 30d.
  • a laser light source (denoted as “445LD”; LD represents “Laser Diode”) 204 and a blue-violet laser light source (denoted as “405LD”) 206 that emits a blue-violet laser beam having a center wavelength of 405 ⁇ 10 nm are provided. Yes.
  • Light emission from the semiconductor light emitting elements of these light sources 204 and 206 is individually controlled by the light source control unit 208, and the light quantity ratio between the emitted light of the blue laser light source 204 and the emitted light of the blue-violet laser light source 206 is freely changeable. It has become.
  • the light source control unit 208 turns on the blue laser light source 204 in the normal mode.
  • both the blue laser light source 204 and the blue violet laser light source 206 are turned on, and the emission ratio of the blue laser light is controlled to be larger than the emission ratio of the blue violet laser light. is doing.
  • the region of interest search mode light is emitted according to the light amount ratio input by the operation input unit 19.
  • the half width of the blue laser beam or the blue-violet laser beam is preferably about ⁇ 10 nm.
  • a broad area type InGaN laser diode can be used, and an InGaNAs laser diode or a GaNAs laser diode can also be used.
  • a light-emitting body such as a light-emitting diode may be used as the light source.
  • the illumination optical system 36 is provided with a phosphor 210 on which blue laser light or blue-violet laser light from the light guide 34 is incident.
  • the phosphor 210 is excited by blue laser light and emits fluorescence. Further, part of the blue laser light is transmitted without exciting the phosphor 210.
  • the blue-violet laser light is transmitted without exciting the phosphor 210.
  • the light emitted from the phosphor 210 illuminates the inside of the lumen via the illumination lens 40.
  • normal mode mainly blue laser light is incident on the phosphor 210.
  • normal mode broadband light combining blue laser light and fluorescence excited and emitted from the phosphor 210 by the blue laser light becomes normal light.
  • a normal image is obtained by imaging the inside of the lumen illuminated with the normal light by the image sensor 46.
  • both the blue-violet laser beam and the blue laser beam are incident on the phosphor 210.
  • the blue-violet laser light, the blue laser light, and the broadband light for the special mode obtained by combining the fluorescence excited and emitted from the phosphor 210 by the blue laser light become the special light.
  • a special image is obtained by imaging the inside of the lumen illuminated with the special light by the image sensor 46.
  • the inside of the lumen is illuminated with illumination light emitted according to the light amount ratio input by the operation input unit 19.
  • An endoscopic image is obtained by imaging the inside of the lumen illuminated with illumination light with the image sensor 46.
  • the region of interest detection unit 80 detects the region of interest in the lumen from the endoscopic image, and the position information acquisition unit 81 acquires the position information of the region of interest.
  • the acquired position information of the region of interest is displayed on the display unit 18.
  • the phosphor 210 absorbs a part of the blue laser light and emits a plurality of kinds of phosphors that excite and emit green to yellow (for example, YKG phosphor or phosphor such as BAM (BaMgAl 10 O 17 )). It is preferable to use what is comprised including. If a semiconductor light emitting device is used as an excitation light source for the phosphor 210 as in this configuration example, high intensity white light can be obtained with high luminous efficiency, and the intensity of white light can be easily adjusted. Changes in temperature and chromaticity can be kept small.
  • the observation target is illuminated using a white light source such as a xenon lamp and a rotary filter instead of the four-color LEDs 30a to 30d. Further, instead of the color image sensor 46, the observation target may be imaged by a monochrome imaging sensor. In the following, only portions different from the first embodiment will be described, and description of portions that are substantially the same as those of the first embodiment will be omitted.
  • a white light source unit 302 In the endoscope system 300 shown in FIG. 24, in the light source device 14, a white light source unit 302, a rotary filter 304, and a filter switching unit 306 are provided in place of the LEDs 30a to 30d of the endoscope system 10. ing.
  • the imaging optical system 38 is provided with a monochrome image sensor 308 that is not provided with a color filter, instead of the color image sensor 46.
  • a diaphragm 303 is provided between the white light source unit 302 and the rotary filter 304, and the area of the opening of the diaphragm 303 is adjusted by the diaphragm control unit 305.
  • the white light source unit 302 is a xenon lamp, a white LED, or the like, and emits white light having a wavelength range from blue to red.
  • the rotation filter 304 includes a normal mode filter 310 provided on the inner side closest to the rotation axis, a special mode filter 312 provided on the outer side of the normal mode filter 310, and a region of interest search mode filter 314. (See FIG. 25).
  • the filter switching unit 306 moves the rotary filter 304 in the radial direction. Specifically, when the mode switching unit 27 sets the normal mode, the filter switching unit 306 inserts the normal mode filter 310 into the white light optical path. When the special mode is set, the filter switching unit 306 inserts the special mode filter 312 into the white light path. When the region of interest search mode is set, the filter switching unit 306 inserts the region of interest search mode filter 314 into the optical path of white light.
  • the normal mode filter 310 is provided with a Bb filter 310a, a G filter 310b, and an R filter 310c along the circumferential direction.
  • the Bb filter 310a transmits broadband blue light Bb having a wavelength range of 400 to 500 nm out of white light.
  • the G filter 310b transmits green light G out of white light.
  • the R filter 310c transmits red light R out of white light. Therefore, in the normal mode, the rotation filter 304 is rotated, so that the broadband blue light Bb, the green light G, and the red light R are sequentially emitted toward the observation target as the normal light.
  • the special mode filter 312 is provided with a Bn filter 312a and a Gn filter 312b along the circumferential direction.
  • the Bn filter 312a transmits blue narrow band light Bn of 400 to 450 nm out of white light.
  • the Gn filter 312b transmits green narrowband light Gn of 530 to 570 nm out of white light. Therefore, in the special mode, the rotation filter 304 is rotated, so that the blue narrow band light and the green narrow band light are sequentially emitted toward the observation target as the special light.
  • the region-of-interest search mode filter 314 is provided with a Bb filter 314a, a G filter 314b, an R filter 314c, a Bn filter 314d, and a Gn filter 314e along the circumferential direction.
  • the Bb filter 314a transmits broadband blue light Bb of white light.
  • the G filter 314b transmits green light G out of white light.
  • the R filter 314c transmits red light R out of white light.
  • the Bn filter 314d transmits blue narrow-band light Bn out of white light.
  • the Gn filter 314e transmits green narrowband light Gn out of white light.
  • the rotation filter 304 rotates to irradiate the observation target with broadband blue light Bb, green light G, and red light R sequentially as normal light, and as narrow light as special light.
  • the observation target is sequentially irradiated with the band light and the green narrow band light.
  • the endoscope system 300 images the inside of the lumen with the monochrome image sensor 308 every time the inside of the lumen is illuminated with broadband blue light Bb, green light G, and red light R.
  • a Bc image signal is obtained when the broadband blue light Bb is illuminated
  • a Gc image signal is obtained when the green light G is illuminated
  • an Rc image signal is obtained when the red light R is illuminated.
  • the inside of the lumen is imaged by the monochrome image sensor 308 every time the inside of the lumen is illuminated with the blue narrow band light Bn and the green narrow band light Gn.
  • a Bn image signal is obtained when the blue narrow-band light Bn is illuminated
  • a Gn image signal is obtained when the green narrow-band light Gn is irradiated.
  • the region of interest search mode based on the Bc image signal obtained when the broadband blue light Bb is illuminated, the Gc image signal obtained when the green light G is illuminated, and the Rc image signal obtained when the red light R is illuminated, An endoscopic image is obtained. Also, an endoscopic image is obtained based on the Bn image signal obtained when the blue narrow band light Bn is illuminated and the Gn image signal obtained when the green narrow band light Gn is irradiated. Each time an endoscopic image is obtained, a region of interest is detected and position information of the region of interest is acquired. Then, the acquired position information of the region of interest is displayed on the display unit 18.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

検出済みの関心領域を容易に再探索することができる内視鏡システム及びその作動方法を提供する。内視鏡システム１０は、内視鏡画像取得部５４と、関心領域検出部８０と、位置情報取得部８１と、表示部１８と、を備える。内視鏡画像取得部５４は、内視鏡１２により管腔内を撮像して得た内視鏡画像を取得する。関心領域検出部８０は、内視鏡画像を用いて、管腔内の関心領域を検出する。位置情報取得部８１は、関心領域検出部８０により検出された関心領域の位置情報を取得する。表示部１８は、関心領域の位置情報を表示する。

Description

内視鏡システム及びその作動方法
　本発明は、内視鏡システム及びその作動方法に関する。
　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、内視鏡を被検体内に挿入した状態で、光源装置が発する照明光を内視鏡の先端から出し、照明中の被検体内を内視鏡が撮像して画像信号を出力し、画像信号を用いてプロセッサ装置が内視鏡画像を生成し、この内視鏡画像を表示部に表示する。これにより、医師は内視鏡画像を見て診断を行うことができる。
　内視鏡診断において、医師は、臓器内の病変や良性腫瘍など注意して観察すべき所定の関心領域の全てを、コンスタントに検出することに努めているが、それら関心領域を検出する精度は、医師の経験や技量によって影響を受け、また、医師の疲労度によっても影響を受ける。そのため、このような医師による診断精度のばらつきを抑えるため、日々の診療で取得される膨大な内視鏡データをコンピュータによって解析して診断に役立つ情報を抽出する技術が開発されつつある。例えば、内視鏡診断時にコンピュータが医師に代わって関心領域を自動で検出する自動検出機能は、医師による関心領域の見落としを防ぐことができるため、内視鏡診断の確度を上げるものとして期待されている。
　特許文献１には、ＣＴ（Computed Tomography）装置などの画像診断装置によって生成したＣＴ画像を用いて仮想内視鏡画像を生成し、この仮想内視鏡画像から関心領域を検出することが記載されている。特許文献１では、医師などのユーザに未だ提供していない未提示領域を関心領域として検出している。また、特許文献１では、ＣＴ画像を用いて管腔の外形像を生成し、関心領域を外形像上の対応する位置に重ねて表示させている。
　特許文献２には、ＣＴ画像を用いて生成した仮想内視鏡画像を用いて、病変部などの関心領域を自動検出することが記載されている。
特開２０１１－０３６６００号 特開２０１２－０２４５１８号
　内視鏡診断では、往路にて関心領域を検出し、復路にて関心領域を精査または処置する場合がある。このような診断の復路において、検出済みの関心領域の位置情報を再探索に利用可能であるが、そうしたシステムは現在のところ存在しない。また、別のクリニック等の他施設から紹介された患者を診断する場合もあり、このような場合には別の医師が診断を行うことがあるため、検出済みの関心領域の位置情報は、再探索に有用である。なお、特許文献１，２ではＣＴ画像を利用して関心領域を検出するものの、これにより検出済みの関心領域を内視鏡診断において再探索する場合にも、検出済みの関心領域の位置情報は有用である。
　本発明は、検出済みの関心領域を容易に再探索することができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、内視鏡と、内視鏡画像取得部と、関心領域検出部と、位置情報取得部と、表示部と、を備える。内視鏡画像取得部は、内視鏡により管腔内を撮像して得た内視鏡画像を取得する。関心領域検出部は、内視鏡画像を用いて、管腔内の関心領域を検出する。位置情報取得部は、関心領域の位置情報を取得する。表示部は、関心領域の位置情報を表示する。
　管腔は、複数の管腔部位に区分けされており、関心領域の位置情報は、複数の管腔部位のうち、関心領域を検出した管腔部位の管腔部位情報であり、表示部は、管腔部位情報を関心領域の位置情報として表示してもよい。
　関心領域の位置情報は、管腔内の基準構造からの距離情報であり、表示部は、距離情報を関心領域の位置情報として表示してもよい。
　管腔内への内視鏡の挿入部の挿入長を取得する挿入長取得部を備え、表示部は、挿入長のうち、関心領域を検出した挿入長を、関心領域の位置情報として表示してもよい。
　管腔の模式図において関心領域の位置情報に対応する箇所にマーキングをした第１マーキング画像を生成する第１マーキング画像生成部を備え、表示部は、第１マーキング画像を表示してもよい。
　管腔内に挿入中の内視鏡の挿入状態を取得する挿入状態取得部を備え、表示部は、内視鏡の挿入状態を模式図の対応する箇所に表示することが好ましい。
　関心領域に対して鑑別を行う鑑別部を備えることが好ましい。鑑別部は、関心領域が病変部と正常部とのいずれであるかの鑑別を少なくとも含む鑑別結果を出力することが好ましい。鑑別結果は、病変部の種類をさらに含むことが好ましい。鑑別結果は、鑑別結果に対する確信度をさらに含むことが好ましい。
　鑑別結果を記憶する鑑別結果記憶部を備えることが好ましい。
　表示部は、鑑別部の鑑別結果に応じてマーキングの表示態様を変更することが好ましい。
　関心領域の位置情報と内視鏡の挿入状態とに基づき警告を行う警告部を備えることが好ましい。警告部は、鑑別部の鑑別結果に応じて警告態様を変更することが好ましい。
　関心領域の生体特徴量を算出する生体特徴量算出部を備え、表示部は、鑑別部の鑑別結果に加え生体特徴量を用いてマーキングの表示態様を変更することが好ましい。
　関心領域の位置情報を記憶する関心領域位置情報記憶部を備えることが好ましい。
　管腔内に挿入されている内視鏡の挿入部の形状情報を取得する内視鏡挿入形状情報取得部と、挿入部の形状情報を用いて画像処理することにより内視鏡挿入形状画像を取得し、かつ、内視鏡挿入形状画像において関心領域の位置情報に対応する箇所にマーキングをした第２マーキング画像を生成する第２マーキング画像生成部と、を備え、表示部は、第２マーキング画像を表示してもよい。
　本発明の内視鏡システムの作動方法は、内視鏡画像取得部が、内視鏡により管腔内を撮像して得た内視鏡画像を取得するステップと、関心領域検出部が、内視鏡画像を用いて、管腔内の関心領域を検出するステップと、位置情報取得部が、関心領域の位置情報を取得するステップと、表示部が、関心領域の位置情報を表示するステップと、を有する。
　本発明の内視鏡システム及びその作動方法によれば、検出済みの関心領域を容易に再探索することができる。
第１実施形態の内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 通常光の分光スペクトルを示すグラフである。 特殊光の分光スペクトルを示すグラフである。 挿入長の取得方法を示す説明図である。 内視鏡の挿入部の挿入状態を取得する方法を説明する説明図である。 関心領域探索用画像処理部の機能を示すブロック図である。 関心領域の検出について説明する説明図である。 別の関心領域の検出について説明する説明図である。 第１マーキング画像を説明する説明図である。 関心領域探索モードの一連の流れを説明するフローチャートである。 第１マーキング画像を表示した表示部の表示画面を示す図である。 鑑別結果に応じて警告表示が変更された表示画面を示す図である。 関心領域の位置情報として管腔部位情報を表示した表示画面を示す図である。 関心領域の位置情報として基準構造からの距離情報を表示した表示画面を示す図である。 関心領域の位置情報として挿入長を表示した表示画面を示す図である。 生体特徴量算出部を有する関心領域探索用画像処理部の機能を示すブロック図である。 第２マーキング画像生成部を有する関心領域探索用画像処理部の機能を示すブロック図である。 第２マーキング画像を説明する説明図である。 第２実施形態の内視鏡システムの機能を示すブロック図である。 第２実施形態の通常光の分光スペクトルを示すグラフである。 第２実施形態の特殊光の分光スペクトルを示すグラフである。 第３実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示部１８と、操作入力部１９とを有する。内視鏡１２は、被検体として生体の管腔内を撮像する。光源装置１４は管腔内を照明する照明光を内視鏡１２に供給する。プロセッサ装置１６は、内視鏡１２により撮像して得た内視鏡画像に対し所定の画像処理を行うことにより表示画像を生成する。表示部１８は、表示画像と表示画像に付帯する情報等を表示するモニタである。操作入力部１９は、キーボードとマウス等のコンソールであり、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。表示部１８及び操作入力部１９は、プロセッサ装置１６と電気的に接続している。
　内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続している。内視鏡１２は、挿入部１２ａと、操作部１２ｂとを有する。
　挿入部１２ａは、管腔内に挿入する部分である。挿入部１２ａは、先端部２１と、湾曲部２２と、可撓管部２３とを有しており、先端側からこの順番に連結している。先端部２１は、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。湾曲部２２は、複数の湾曲駒を連結して構成したものであり、上下左右方向に湾曲する。可撓管部２３は、可撓性を有しており、食道や腸等の曲がりくねった管道に挿入可能である。
　操作部１２ｂは、アングルノブ２５と、画像記憶操作部２６と、モード切替部２７と、ズーム操作部２８とを有する。アングルノブ２５は、湾曲部２２を湾曲させ、先端部２１が所望の方向に向ける操作に用いる。画像記憶操作部２６は、静止画像及び又は動画像をストレージ（図示無し）に記憶させる操作に用いる。モード切替部２７は、観察モードを切り替える操作に用いる。ズーム操作部２８は、ズーム倍率を変更する操作に用いる。
　内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、関心領域探索モードとを有している。通常モードでは、管腔内を自然な色合いで写した画像（以下、通常画像という）を取得する。特殊モードでは、管腔内の血管を少なくとも強調した画像（以下、特殊画像という）を取得する。関心領域探索モードは、詳しくは後述するが、管腔内の関心領域を検出し、検出した関心領域の位置情報を表示部１８に表示する。
　図２に示すように、光源装置１４は、照明光を発する光源部３０と、光源部３０を制御する光源制御部３２とを備えている。光源部３０は、本実施形態では波長域が異なる複数色の半導体光源である。半導体光源としてはＬＥＤ（Light Emitting Diode）等がある。
　本実施形態では、光源部３０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）３０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）３０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）３０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）３０ｄの４色のＬＥＤと、光学フィルタ３０ｅとを有している。
　図３に示すように、Ｖ－ＬＥＤ３０ａは、波長帯域が３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。Ｂ－ＬＥＤ３０ｂは、波長帯域が４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｇ－ＬＥＤ３０ｃは、波長帯域が４８０ｎｍ～６００ｎｍの緑色光Ｇを発する。Ｒ－ＬＥＤ３０ｄは、波長帯域が６００ｎｍ～６５０ｎｍの赤色光Ｒを発する。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
　光学フィルタ３０ｅは、ＬＥＤが発光した光の波長帯域を調整する。本実施形態では、光学フィルタ３０ｅは、Ｂ－ＬＥＤ３０ｂの光路上に配されており、Ｂ－ＬＥＤ３０ｂの波長帯域のうちの短波長成分を透過させる。Ｂ－ＬＥＤ３０ｂの波長帯域のうちの長波長成分は粘膜と血管とのコントラストを低下させる要因とされているため、Ｂ－ＬＥＤ３０ｂの波長帯域のうちの短波長成分を後述するライトガイド３４に供給することが好ましい。本実施形態では、光学フィルタ３０ｅは、Ｂ－ＬＥＤ３０ｂの波長帯域のうち、４５０ｎｍ以下の光を透過させることにより、波長帯域が４２０ｎｍ～４５０ｎｍの青色光Ｂｘを生成する。なお、光学フィルタ３０ｅの配置は、本実施形態ではＢ－ＬＥＤ３０ｂの光路上としているが、これに限るものではない。例えば光学フィルタ３０ｅをＧ－ＬＥＤ３０ｃの光路上に配する等しても良い。また、光学フィルタ３０ｅにより透過させる波長成分は、適宜設定可能である。例えば光学フィルタ３０ｅをＧ－ＬＥＤ３０ｃの光路上に配した場合は、光学フィルタ３０ｅは、Ｇ－ＬＥＤ３０ｃの波長帯域の一部を透過させる。
　光源制御部３２は、各ＬＥＤ３０ａ～３０ｄの点灯及び消灯、各ＬＥＤ３０ａ～３０ｄの各射出光量のバランス（以下、光量比という）等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。また、光源制御部３２は、光学フィルタ３０ｅの変更等によって、照明光の波長帯域を制御する。本実施形態では、光源制御部３２は、各ＬＥＤ３０ａ～３０ｄを駆動する電流と電圧とを調整することによって、各ＬＥＤ３０ａ～３０ｄの光量比を観察モードごとに制御する。
　図４に示すように、光源制御部３２は、通常モードでは、各ＬＥＤ３０ａ～３０ｄの全てを点灯させる。紫色光Ｖと青色光Ｂと緑色光Ｇと赤色光Ｒとの光量比は、青色光Ｂｘの光強度のピークが、他の各色光のいずれの光強度のピークよりも大きくなるように設定されている。これにより、通常モードでは、光源装置１４から、紫色光Ｖと青色光Ｂｘと緑色光Ｇと赤色光Ｒとを含む多色光が通常光として発生する。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
　図５に示すように、光源制御部３２は、特殊モードでは、各ＬＥＤ３０ａ～３０ｄの全てを点灯させる。紫色光Ｖと青色光Ｂと緑色光Ｇと赤色光Ｒとの光量比は、紫色光Ｖの光強度のピークが、他の各色光のいずれの光強度のピークよりも大きくなるように設定されている。また、緑色光Ｇと赤色光Ｒと各光強度のピークは、紫色光Ｖと青色光Ｂｘとの各光強度のピークよりも小さくなるように設定されている。これにより、特殊モードでは、紫色光Ｖと青色光Ｂｘと緑色光Ｇと赤色光Ｒとを含み、かつ、通常モードとは光量比が異なる多色光が、特殊光として発生する。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ３０ａ～３０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。
　光源制御部３２は、関心領域探索モードでは、操作入力部１９により入力された光量比に従って、各ＬＥＤ３０ａ～３０ｄの発光を制御する。例えば、通常モードの光量比と特殊モードの光量比等が入力される。これにより、関心領域探索モードでは、通常光または特殊光が発生される。また、関心領域探索モードでは、通常光と特殊光とを交互に発生することも可能とされており、この場合には、内視鏡画像として、通常画像と特殊画像とが交互に取得される。
　また、関心領域探索モードでは、ヘモグロビンの酸素飽和度を取得するための光量比も入力可能とされている。ヘモグロビンの酸素飽和度を取得する場合は、光源制御部３２は、撮像フレームごとに照明光を切り替える。具体的には、第１の撮像フレームではＢ－ＬＥＤ３０ｂを点灯し、その次の第２の撮像フレームではＢ－ＬＥＤ３０ｂとＧ－ＬＥＤ３０ｃとＲ－ＬＥＤ３０ｄとを点灯する。また、光源制御部３２は、光学フィルタ３０ｅの透過波長を制御し、撮像フレームを切り替える毎に、発生させる青色光の波長帯域を変える。第１の撮像フレームでは、中心波長及び波長帯域が４７０±１０ｎｍの狭帯域な青色光を発生させる。この第１の撮像フレームで発生する青色光の中心波長及び波長帯域は、青色波長帯域の中で酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が概ね極大になる中心波長及び波長帯域である。第２の撮像フレームでは、中心波長が約４５０±１０ｎｍであり、波長帯域が約４００ｎｍ～５００ｎｍの広帯域な青色光を発生させる。そして、各照明光を用いて管腔内をそれぞれ照明し、撮像して得た内視鏡画像と酸素飽和度との相関関係に基づき管腔内の酸素飽和度が算出される。これにより、酸素飽和度を表す画像が取得される。
　光源部３０が発した照明光は、挿入部１２ａ内に挿通したライトガイド３４に入射する。ライトガイド３４は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部２１まで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド３４としては、マルチモードファイバを使用することができる。一例として、ライトガイド３４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。
　先端部２１は、照明光学系３６と撮像光学系３８とを有している。照明光学系３６は、照明レンズ４０を有している。ライトガイド３４を伝搬した照明光は、照明レンズ４０を介して管腔内を照明する。撮像光学系３８は、対物レンズ４２と、ズームレンズ４４と、イメージセンサ４６とを有している。これら対物レンズ４２及びズームレンズ４４を介して、管腔内の粘膜等からの反射光、散乱光、及び蛍光等の各種の光がイメージセンサ４６に入射する。ズームレンズ４４は、ズーム操作部２８の操作によりテレ端とワイド端の間で自在に移動する。
　イメージセンサ４６は、原色系のカラーセンサであり、青色カラーフィルタが設けられたＢ画素（青色画素）、緑色カラーフィルタが設けられたＧ画素（緑色画素）、及び、赤色カラーフィルタが設けられたＲ画素（赤色画素）の３種類の画素を有する。このイメージセンサ４６で管腔内を撮像することにより、Ｂ画像（青色画像）、Ｇ画像（緑色画像）、Ｒ画像（赤色画像）の３種類の内視鏡画像が得られる。
　イメージセンサ４６としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等を利用可能である。なお、イメージセンサ４６は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及びグリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に得られる各色の画像は、原色系のカラーセンサを用いる場合と同様のＢ画像、Ｇ画像、Ｒ画像に変換することができる。また、イメージセンサ４６の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　プロセッサ装置１６は、コントローラ５２と、内視鏡画像取得部５４と、画像処理部６０と、表示制御部６８と、挿入状態取得部７０とを備えている。
　コントローラ５２は、ＣＰＵ（Central processing unit）、制御プログラムや制御に必要な設定データを記憶するＲＯＭ（Read only memory）、制御プログラムをロードする作業メモリとしてのＲＡＭ（Random access memory）等を有する。コントローラ５２は、ＣＰＵが制御プログラムを実行することにより、プロセッサ装置１６の各部を制御する他、光源制御部３２とイメージセンサ４６とを制御する。
　内視鏡画像取得部５４は、イメージセンサ４６からＢ画像、Ｇ画像、およびＲ画像を内視鏡画像を取得する。内視鏡画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６とノイズ低減部５８とを有し、これらによって内視鏡画像に各種処理を施す。
　ＤＳＰ５６は、内視鏡画像に対して、例えば、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、イメージセンサ４６の欠陥画素の画素値を補正する。オフセット処理は、欠陥補正処理した画像から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像に特定のゲインを乗じることにより各画像の信号レベルを整える。
　リニアマトリクス処理は、ゲイン補正処理した画像の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像の明るさや彩度を整える。デモザイク処理（等方化処理、又は同時化処理とも言う）は、ガンマ変換処理した画像において、欠落した画素の画素値を補間する。欠落した画素とは、イメージセンサ４６において他の色の画素が配置されているために画素値がない画素である。
　ノイズ低減部５８は、ＤＳＰ５６でデモザイク処理等を施した画像に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。
　画像処理部６０は、内視鏡画像取得部５４から内視鏡画像を取得し、取得した内視鏡画像に対して所定の画像処理を施し、管腔内を写した表示画像を生成する。画像処理部６０は、通常画像処理部６２と、特殊画像処理部６４と、関心領域探索用画像処理部６６とを有する。
　通常画像処理部６２は、通常モード時に作動し、ＢＧＲ各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理等の画像処理を行い、通常画像を生成する。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などを行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の構造を強調する処理である。
　特殊画像処理部６４は、特殊モード時に作動し、血管を強調する上記各種画像処理を行うことにより、特殊画像を生成する。特殊モードはＶ－ＬＥＤ３０ａの射出光量が大きいため、特殊画像では表層血管が強調されている。
　関心領域探索用画像処理部６６は、関心領域探索モード時に作動し、内視鏡画像から関心領域を検出し、検出した関心領域の位置情報を表示する。本実施形態では、関心領域の位置情報を内視鏡画像とともに表示部１８に表示する。関心領域探索用画像処理部６６の詳細は別の図面を用いて後述する。
　表示制御部６８は、表示部１８を制御し、画像処理部６０が生成した表示画像を表示させる。これにより、通常モードでは通常画像が表示され、特殊モードでは特殊画像が表示され、関心領域探索モードでは内視鏡画像と関心領域の位置情報とが表示される。
　挿入状態取得部７０は、管腔内に挿入中の内視鏡１２の挿入状態を取得する。挿入状態取得部７０は、取得した内視鏡１２の挿入状態を関心領域探索用画像処理部６６に入力する。本実施形態では、挿入状態取得部７０は、管腔内への挿入部１２ａの挿入長に基づき、挿入部１２ａの挿入状態を取得する。
　図６に示すように、内視鏡１２の挿入部１２ａの外周面には、管腔内への挿入部１２ａの挿入長を測定するための測定用目盛り７１が設けられている。この測定用目盛り７１は、挿入部１２ａの長手方向に沿って所定ピッチ（例えば、１ｃｍ刻み）で設けられた点から構成される。患者の口（上部内視鏡の場合）や肛門（下部内視鏡の場合）には測定用目盛り７１を検出する目盛り検出センサ７２が設けられている。なお、図６では、目盛り検出センサ７２が、患者が口に咥えているマウスピースＭＰに設けられていることを示している。目盛り検出センサ７２は、測定用目盛り７１を検出することにより、挿入部１２ａの挿入長が取得する。このように本実施形態では、測定用目盛り７１と目盛り検出センサ７２とにより挿入長取得部を構成する。目盛り検出センサ７２は、プロセッサ装置１６と有線又は無線で接続しており、挿入部１２ａの挿入長をプロセッサ装置１６の挿入状態取得部７０に送信する。
　図７に示すように、挿入状態取得部７０は、挿入部１２ａが管腔内を往復する診断経路Ｑにおいて挿入部１２ａの挿入長に対応する先端部２１の位置を検出し、これにより先端部２１の検出位置を取得する。この先端部２１の検出位置の取得は、挿入部１２ａの挿入長が測定される毎に行われる。図７において、符合Ｐ１、Ｐ２は、先端部２１の検出位置を示している。この例では、先端部２１の検出位置Ｐ２は、先端部２１の検出位置Ｐ１よりも管腔内の奥側とされている。すなわち、検出位置Ｐ２の挿入長は、検出位置Ｐ１の挿入長よりも長い。
　なお、本実施形態では、挿入部１２ａの挿入長を用いて先端部２１の検出位置を取得しているが、これに限られず、例えば挿入部１２ａに磁気センサ（図示無し）を設け、この磁気センサで得た情報を用いて、先端部２１の検出位置と挿入部１２ａの形状情報などを取得してもよい。また、被検体をＸ線で撮像することにより得たＸ線画像を用いて、先端部２１の検出位置を取得してもよい。
　関心領域探索用画像処理部６６について説明する。図８に示すように、関心領域探索用画像処理部６６は、関心領域検出部８０と、位置情報取得部８１と、鑑別部８２と、警告部８３と、第１マーキング画像生成部８４と、記憶部８５と、を有する。
　関心領域検出部８０は、内視鏡画像取得部５４から取得した内視鏡画像を用いて、管腔内の関心領域を検出する。関心領域は、管腔内において病変部と正常部との少なくともいずれかを含む領域である。
　関心領域検出部８０は、内視鏡画像から関心領域を検出する処理を自動で行う。例えば、関心領域検出部８０は、関心領域のテンプレート画像を複数予め記憶しており、内視鏡画像においてテンプレート画像とマッチングする領域を関心領域として検出する。ここで、「マッチング」とは、比較する領域の類似度が一致する他、比較する領域の類似度の差分が一定の範囲内に収まっていることも含む。関心領域検出部８０は、この例ではテンプレートマッチングにより関心領域を検出しているが、これに限られず、例えば深層学習、エッジ検出、およびテクスチャ解析等により関心領域を検出しても良い。
　図９は、管腔内における先端部２１の検出位置Ｐ１で得た内視鏡画像８６から関心領域を検出する具体例である。図１０は、管腔内における先端部２１の検出位置Ｐ２で得た内視鏡画像８７から関心領域を検出する具体例である。関心領域検出部８０は、図９に示す内視鏡画像８６からは関心領域Ｒ１を検出し、また、図１０に示す内視鏡画像８７からは関心領域Ｒ２を検出する。
　位置情報取得部８１は、関心領域検出部８０により検出された関心領域の位置情報を取得する。具体的には、位置情報取得部８１は、関心領域が検出された内視鏡画像を得た先端部２１の検出位置を、関心領域の位置情報として取得する。この例では、先端部２１の検出位置Ｐ１を関心領域Ｒ１の位置情報として取得し、先端部２１の検出位置Ｐ２を関心領域Ｒ２の位置情報として取得する。
　鑑別部８２は、関心領域検出部８０により検出された関心領域に対して鑑別を行う。具体的には、鑑別部８２は、関心領域が病変部と正常部とのいずれであるかの鑑別を少なくとも行い、この鑑別の鑑別結果を出力する。本実施形態では、鑑別部８２は、病変部と正常部との鑑別に加え、腺腫（良性ポリープともいう）の鑑別も行う。例えば、図９に示す内視鏡画像８６の関心領域Ｒ１に対しては腺腫との鑑別結果が得られる。また、図１０に示す内視鏡画像８７の関心領域Ｒ２に対しては病変部との鑑別結果が得られる。鑑別方法としては、人工知能（ＡＩ（Artificial Intelligence））を用いることが好ましい。なお、鑑別方法としては、ＡＩの他、深層学習、テンプレートマッチング、テクスチャ解析、周波数解析等を用いても良い。
　また、鑑別部８２は、病変部の種類の鑑別を行ってもよい。すなわち、鑑別部８２により出力される鑑別結果は、病変部の種類をさらに含むものでもよい。病変部の種類は、診断を行う部位による。例えば、大腸の診断では、鑑別部８２は、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんのいずれかの種類に鑑別する。鑑別を行う病変部の種類は、例えば、操作入力部１９の入力により設定されるようにしてもよい。なお、鑑別部８２は、さらに処置箇所の鑑別を行ってもよい。すなわち、鑑別結果は、処置箇所をさらに含むものでもよい。
　第１マーキング画像生成部８４は、管腔の模式図において関心領域の位置情報に対応する箇所にマーキングをした第１マーキング画像を生成する。本実施形態では、第１マーキング画像を表示部１８に表示させることにより、関心領域の位置情報を表示させる。第１マーキング画像生成部８４は、管腔の模式図として、胃、食道、大腸などの部位ごとの模式図を予め記憶している。いずれの部位の模式図を用いるかは、例えば操作入力部１９の入力により設定される。本実施形態では大腸の模式図が設定される。
　図１１に示すように、第１マーキング画像９０には、模式図９２において、関心領域Ｒ１の位置情報としての先端部２１の検出位置Ｐ１に対応する箇所に、関心領域Ｒ１が検出されたことを示すマークＭ１が重ねて表示される。また、第１マーキング画像９０には、模式図９２において、関心領域Ｒ２の位置情報としての先端部２１の検出位置Ｐ２に対応する箇所に、関心領域Ｒ２が検出されたことを示すマークＭ２が重ねて表示される。これにより、ユーザは、関心領域の位置を認識することが可能である。なお、図１１では、関心領域が検出されたことを示すマークＭ１，Ｍ２を円形としているが、これに限られず、多角形などでもよい。
　また、第１マーキング画像生成部８４は、挿入状態取得部７０により取得した内視鏡１２の挿入状態を模式図９２の対応する箇所に表示させる。図１１において、符号Ｌは、内視鏡１２の挿入状態を示す。内視鏡１２の挿入状態Ｌは、本実施形態では、挿入部１２ａの挿入長に応じた長さで表される。なお、図１１では、先端部２１が往路の終端まで到達したときの内視鏡１２の挿入状態Ｌを示している。
　また、第１マーキング画像生成部８４は、鑑別部８２の鑑別結果に応じてマーキングの表示態様を変更する。マーキングの表示態様の変更方法としては、マーキングの色と大きさと太さと形状と濃淡等を変える方法がある。この例では、腺腫を示すマークＭ１と病変部を示すマークＭ２との線の太さを互いに異ならせることにより、鑑別結果の違いを表している。図１１では、マークＭ２の線の太さを、マークＭ１の線の太さよりも太くしている。なお、病変が極めて要注意であることをユーザに意識させる場合は、黄色や赤色等で表示させることが好ましい。
　警告部８３は、関心領域の位置情報と内視鏡１２の挿入状態とに基づき警告を行う。具体的には、警告部８３は、関心領域の位置情報としての先端部２１の検出位置と、現在の先端部２１の検出位置との距離を求め、この距離が閾値以下である場合に警告信号を生成する。本実施形態では、警告部８３は、生成した警告信号を表示制御部６８に入力し、先端部２１が関心領域に近いことを警告するための警告表示を行わせる。警告表示の方法としては、文字と数字と記号などにより表す方法がある。なお、警告は、警告表示に限られない。例えば、警告部８３は、生成した警告信号をスピーカ（図示無し）に入力し、このスピーカから警告音を出力させるようにしてもよい。また、振動や、フラッシュ光などを用いても良い。
　また、警告部８３は、鑑別部８２の鑑別結果に応じて警告態様を変更する。この例では、警告表示の表示態様を変更する。例えば、腺腫との鑑別結果が得られた場合は表示部１８に「！」と表示させ、病変部との鑑別結果が得られた場合は表示部１８に「！！」と表示させる。なお、警告として警告音を出力させる場合においても鑑別結果に応じて警告態様を変更してもよい。警告音の警告態様を変更する方法としては、例えば、警告音の音量を変更する方法と、警告音の音の高さを変更する方法などがある。
　記憶部８５は、関心領域の位置情報を記憶する。本実施形態では、記憶部８５は、関心領域の位置情報と鑑別結果とを記憶する。すなわち、記憶部８５は、関心領域位置情報記憶部としての機能と、関心領域位置情報記憶部としての機能とを有する。また、記憶部８５は、関心領域の位置情報と鑑別結果とを対応付けして記憶することが好ましい。なお、記憶部８５は、関心領域の位置情報と鑑別結果とのいずれか一方のみを記憶してもよいし、関心領域の位置情報と第１マーキング画像９０とを対応付けして記憶してもよい。
　次に、関心領域探索モードの一連の流れについて、図１２のフローチャートに沿って説明する。関心領域探索モードでは、操作入力部１９により入力された光量比に従って照明光を発生する。照明光で照明中の管腔内を内視鏡１２により撮像することにより、内視鏡画像が得られる。この内視鏡画像はプロセッサ装置１６に送信される。これにより、プロセッサ装置１６内の内視鏡画像取得部５４が内視鏡画像を取得する（ステップＳ１１）。内視鏡画像取得部５４により取得された内視鏡画像は、各種処理が施され、関心領域探索用画像処理部６６に入力される。
　また、関心領域探索モードでは、挿入状態取得部７０が、内視鏡１２の挿入状態を取得する。内視鏡１２の挿入状態は、管腔内への挿入部１２ａの挿入長に基づき取得される。挿入部１２ａの挿入長は、挿入長取得部により測定される。挿入長取得部は、この例では測定用目盛り７１と目盛り検出センサ７２とにより構成されており、目盛り検出センサ７２が測定用目盛り７１を検出することにより、挿入部１２ａの挿入長を取得する。また、挿入状態取得部７０は、挿入部１２ａの挿入長を用いて先端部２１の検出位置を取得する。挿入状態取得部７０により取得された内視鏡１２の挿入状態は、関心領域探索用画像処理部６６に入力される。
　関心領域探索用画像処理部６６では、関心領域検出部８０が、内視鏡画像を用いて、管腔内の関心領域を検出する（ステップＳ１２）。関心領域の検出は、内視鏡画像が得られる毎に自動で行われる。
　位置情報取得部８１は、関心領域検出部８０により検出された関心領域の位置情報を取得する（ステップＳ１３）。この例では、位置情報取得部８１は、関心領域が検出され内視鏡画像を得た先端部２１の検出位置を、関心領域の位置情報として取得する。
　位置情報取得部８１により取得された関心領域の位置情報は表示部１８に表示される（ステップＳ１４）。これにより、医師などのユーザは、表示部１８に表示された関心領域の位置情報を見ながら内視鏡１２を操作することができるため、検出済みの関心領域を容易に再探索することができる。この結果、検出済みの関心領域Ｒ１，Ｒ２の再探索にかかる診断時間が短縮される。本発明は、診断の復路または他施設において関心領域の再探索を行う際に特に有効である。
　また、関心領域の位置情報の表示は、管腔の模式図９２において関心領域の位置情報に対応する箇所にマーキングをした第１マーキング画像９０を表示部１８に表示させることにより行われる。第１マーキング画像９０は、第１マーキング画像生成部８４により生成される。
　例えば、図１３に示すように、表示部１８の表示画面に第１マーキング画像９０が表示される。なお、図１３では、第１マーキング画像９０に加え、内視鏡画像８６を表示させている。第１マーキング画像９０には、関心領域Ｒ１が検出されたことを示すマークＭ１と、関心領域Ｒ２が検出されたことを示すマークＭ２とが表示される。これにより、ユーザは関心領域の位置を容易に認識することができるため、関心領域Ｒ１，Ｒ２の再探索にかかる診断時間がより短縮される。
　また、第１マーキング画像９０には、内視鏡１２の挿入状態Ｌが模式図９２の対応する箇所に表示される。図１３では、内視鏡１２の挿入状態Ｌの先端はマークＭ１の位置にある。すなわち、管腔内における内視鏡１２の先端部２１が、関心領域Ｒ１が検出された検出位置Ｐ１にあることを示している。これにより、ユーザは現在の内視鏡１２の挿入状態を把握することができるため、内視鏡１２の先端部２１を目的とする位置に短時間で移動させることができる。この結果、診断時間がより短縮される。
　また、マークＭ１とマークＭ２とは、鑑別部８２の鑑別結果に応じて表示態様が異なる。図１３では、マークＭ２の線の太さがマークＭ１よりも太い。これにより、ユーザは鑑別結果を容易に認識することができる。
　また、表示部１８の表示画面には、先端部２１が関心領域に近いことを警告する警告表示９５が行われる（図１３参照）。これにより、関心領域の見落としが防止される。
　警告表示９５は、鑑別部８２の鑑別結果に応じて表示態様が変更される。図１３では、鑑別部８２により腺腫との鑑別結果が得られた場合の警告表示９５として「！」が示されている。
　一方、図１４に示すように、内視鏡１２の挿入状態Ｌの先端がマークＭ２の位置にある場合、すなわち、管腔内における内視鏡１２の先端部２１が、関心領域Ｒ２が検出された検出位置Ｐ２にある場合は、警告表示９５が「！！」に変更される。このように、関心領域Ｒ２は鑑別部８２により病変部との鑑別結果が得られた領域であるから、より強調した警告表示９５とすることが好ましい。これにより、ユーザに対し病変が極めて要注意であることを意識させることができるため、精査または処置が必要とされる関心領域の見落としがより確実に防止される。
　位置情報取得部８１により取得された関心領域の位置情報は、関心領域位置情報記憶部としての記憶部８５に記憶される。記憶部８５に記憶した関心領域の位置情報は、例えば、他の施設での内視鏡診断時に使用される。これにより、他施設での関心領域の再探索にかかる診断時間がより確実に短縮される。
　鑑別部８２により出力された鑑別結果は、鑑別結果記憶部としての記憶部８５に記憶される。これにより、例えば他施設で鑑別結果が利用可能となる。
　なお、関心領域の位置情報の表示方法は、本実施形態のように第１マーキング画像９０を表示させる方法に限られない。例えば、関心領域の位置情報として、管腔を区分けした複数の管腔部位の管腔部位情報を表示させてもよい。例えば大腸の場合は、管腔部位として、盲腸と上行結腸と横行結腸と下行結腸とＳ状結腸と直腸などに区分けされる。管腔部位情報は、例えば管腔部位の名称などである。位置情報取得部８１は、管腔内において関心領域が検出された管腔部位を特定し、特定した管腔部位の管腔部位情報を関心領域の位置情報として取得する。位置情報取得部８１は、例えば、内視鏡画像を用いて、テンプレートマッチングと深層学習とエッジ検出とテクスチャ解析と周波数解析等により管腔部位を特定する。なお、管腔部位の特定方法としては、上記のように内視鏡画像を用いる方法に限られず、例えば、磁気センサとＸ線画像と挿入部１２ａの挿入長などに基づき管腔部位を特定してもよい。位置情報取得部８１により取得された管腔部位情報は、関心領域の位置情報として表示部１８に表示される。
　図１５は、関心領域Ｒ１と関心領域Ｒ２とが検出された場合において、表示部１８の表示画面に、関心領域Ｒ１を検出した管腔部位の管腔部位情報と、関心領域Ｒ２を検出した管腔部位の管腔部位情報とを表示させた具体例である。この例では、管腔部位情報として管腔部位の名称をテキストで表示しており、関心領域Ｒ１は下行結腸で検出されたことを示し、関心領域Ｒ２は横行結腸で検出されたことを示している。
　なお、図１５では、管腔の模式図９４が表示されている。模式図９４は、盲腸と上行結腸と横行結腸と下行結腸とＳ状結腸と直腸とに対応するように６分割されている。模式図９４において、下行結腸に対応する区域と横行結腸に対応する区域とは、他の区域とは異なる表示態様で表示されている。さらに、図１５では、下行結腸に対応する区域と横行結腸に対応する区域との違いを、ハッチングの間隔の違いにより表している。この例では表示部１８の表示画面に模式図９４も表示させているが、管腔部位情報の表示方法はこれに限られない。なお、関心領域が検出された区域は、鑑別結果に応じて表示態様を変更してもよい。
　また、関心領域の位置情報として、管腔内に含まれる基準構造からの距離情報を表示させてもよい。基準構造は、バウヒン弁（回盲弁）や肛門、「肛門から数えて何枚目のヒダ」などの特徴的な構造である。いずれの基準構造を用いるかは、例えば操作入力部１９の入力により設定される。また、検出された関心領域ごとに設定可能とされている。基準構造は、例えば関心領域検出部８０により内視鏡画像から検出される。例えばバウヒン弁は、先端部２１が往路の終端まで到達した場合に得た内視鏡画像から検出される。なお、肛門は、挿入部１２ａの挿入長から求めてもよい。基準構造の検出方法は、上記の方法に限られず、例えば、磁気センサとＸ線画像などから検出してもよい。位置情報取得部８１は、関心領域の検出位置と基準構造の検出位置とを用いて、関心領域の基準構造からの距離情報を取得する。そして、位置情報取得部８１により取得された距離情報は、関心領域の位置情報として表示部１８に表示される。
　図１６は、関心領域Ｒ１と関心領域Ｒ２とが検出された場合において、表示部１８の表示画面に、関心領域Ｒ１の位置を肛門からの距離で表示し、関心領域Ｒ２の位置をバウヒン弁からの距離で表示した具体例である。図１６では、距離情報をテキストと数値とにより表示しており、関心領域Ｒ１については「肛門からＡｃｍ」と表示され、関心領域Ｒ２については「バウヒン弁からＢｃｍ」と表示されている。なお、図１６ではテキストと数値とにより距離情報を表示するとともに管腔の模式図９６を表示させているが、基準構造からの距離情報の表示方法はこれに限られない。
　また、関心領域の位置情報として、挿入長取得部により取得した挿入部１２ａの挿入長のうち、関心領域を検出した挿入長を表示部１８に表示させてもよい。
　図１７は、関心領域Ｒ１と関心領域Ｒ２とが検出された場合において、表示部１８の表示画面に、関心領域Ｒ１を検出した挿入長と、関心領域Ｒ２を検出した挿入長とを表示した具体例である。この例では、挿入長を数値により表示しており、関心領域Ｒ１を検出した挿入長はＸｃｍとされ、関心領域Ｒ２を検出した挿入長はＹｃｍとされている。なお、図１７では挿入長を数値で表示するとともに管腔の模式図９８を表示させているが、挿入長の表示方法はこれに限られない。
　なお、上記実施形態では、鑑別部８２の鑑別結果に応じてマーキングの表示態様を変更しているが、鑑別部８２の鑑別結果に加え、内視鏡画像から関心領域の生体特徴量を算出し、この生体特徴量を用いてマーキングの表示態様を変更するようにしてもよい。
　この場合は、図１８に示すように、関心領域探索用画像処理部６６の代わりに、関心領域探索用画像処理部１００を備える。関心領域探索用画像処理部１００は、関心領域探索用画像処理部６６の各部材に加え、生体特徴量算出部１０２をさらに有する。関心領域探索用画像処理部６６と同じ部材については説明を省略する。
　生体特徴量算出部１０２は、内視鏡画像から生体特徴量を算出する。生体特徴量の算出には、関心領域検出部８０により関心領域が検出された内視鏡画像が用いられる。生体特徴量は、血管の性質を表す情報であり、例えば、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量等である。生体特徴量算出部１０２は、これらの生体特徴量のうちのいずれかを算出する。なお、生体特徴量の種類は上記した例のみに限定されない。
　生体特徴量を用いた表示態様の変更方法としては、例えば鑑別結果を用いた表示態様の変更方法とは異なる変更方法が用いられる。具体的には、上記実施形態のように鑑別結果の違いをマーキングの太さで表している場合は、生体特徴量は例えばマーキングの色で表す。なお、上記のように鑑別結果と生体特徴量とで表示態様の変更方法を異ならせることに限らず、鑑別結果と生体特徴量との両方を用いて、例えばマーキングの太さを変えるなどしても良い。
　なお、生体特徴量算出部１０２により算出された生体特徴量を表示部１８に表示させてもよい。また、生体特徴量を関心領域の位置情報と対応付けして記憶部８５に記憶させてもよい。
　なお、上記実施形態では、管腔の模式図９２において関心領域の位置情報に対応する箇所にマーキングした第１マーキング画像９０を表示部１８に表示しているが、これに代えて、管腔内に挿入されている挿入部１２ａの挿入形状を画像化した内視鏡挿入形状画像を取得し、この内視鏡挿入形状画像において関心領域の位置情報に対応する箇所にマーキングした第２マーキング画像を表示部１８に表示させてもよい。
　この場合は、図１９に示すように、第１マーキング画像生成部８４の代わりに、第２マーキング画像生成部１０８を備える。また、挿入状態取得部７０は、挿入部１２ａに設けられた磁気センサ（図示無し）で得た情報を用いて挿入部１２ａの形状情報を取得する。すなわち、挿入状態取得部７０は、管腔内に挿入されている内視鏡１２の挿入部１２ａの形状情報を取得する内視鏡挿入形状情報取得部として機能する。
　第２マーキング画像生成部１０８は、内視鏡挿入形状情報取得部としての挿入状態取得部７０により取得された挿入部１２ａの形状情報を用いて画像処理を行うことにより内視鏡挿入形状画像を取得する。内視鏡挿入形状画像では、表示部１８の表示画面において挿入部１２ａの形状が３次元的に表される。そして、第２マーキング画像生成部１０８は、内視鏡挿入形状画像において関心領域の位置情報に対応する箇所にマーキングをした第２マーキング画像を生成する。
　図２０は、関心領域Ｒ１と関心領域Ｒ２とが検出された場合において、内視鏡挿入形状画像１１０上に、関心領域Ｒ１が検出されたことを示すマークＭ１と、関心領域Ｒ２が検出されたことを示すマークＭ２とが表示された第２マーキング画像１１２を示す。内視鏡挿入形状画像１１０は、挿入している管腔の形状に近い形状をしている。このため、ユーザは、内視鏡挿入形状画像１１０とマークＭ１，Ｍ２とにより関心領域の位置を認識することが可能である。この結果、検出済みの関心領域Ｒ１，Ｒ２の再探索にかかる診断時間が短縮される。
　なお、第２マーキング画像生成部１０８は、鑑別部８２の鑑別結果に応じてマーキングの表示態様を変更してもよい。また、第２マーキング画像生成部１０８は、鑑別部８２の鑑別結果に加え、生体特徴量を用いてマーキングの表示態様を変更するようにしてもよい。
　記憶部８５は、関心領域の位置情報と第２マーキング画像１１２とを対応付けして記憶してもよい。
　また、鑑別部８２の鑑別結果は、表示部１８に表示させてもよい。なお、上記で示した人工知能等を用いた鑑別は１００％の精度で病変鑑別を保証するものとは限らない。したがって、鑑別部８２は、鑑別結果の確信度をさらに算出し、表示部１８に表示してもよい。すなわち、鑑別部８２により出力される鑑別結果は、この鑑別結果に対する確信度をさらに含むものでもよい。確信度の算出方法の一例として、病変部であるとの鑑別結果に対する確信度を算出する場合を説明する。この場合では、病変部特有の画像的情報として複数のテンプレート画像を鑑別部８２に予め記憶させておき、内視鏡画像においてテンプレート画像とマッチングする部分の検出を行い、マッチングしたテンプレート画像の数とテンプレート画像の総数との比率を確信度として算出する。なお、確信度の算出方法はこれに限られない。また、鑑別結果に対して医師が同意するかを確認するための「同意ボタン」を表示部１８に表示し、鑑別結果に対する最終的な承認は医師に任せる形をとってもよい。この場合には、「同意ボタン」に対する操作は、操作入力部１９により行うことが好ましい。
　［第２実施形態］
　第２実施形態では、上記第１実施形態で示した４色のＬＥＤ３０ａ～３０ｄの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と略同様の部分については、説明を省略する。
　図２１に示すように、第２実施形態の内視鏡システム２００では、光源装置１４の光源部３０において、４色のＬＥＤ３０ａ～３０ｄの代わりに、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（「４４５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）２０４と、中心波長４０５±１０ｎｍの青紫色レーザ光を発する青紫色レーザ光源（「４０５ＬＤ」と表記）２０６とが設けられている。これら各光源２０４、２０６の半導体発光素子からの発光は、光源制御部２０８により個別に制御されており、青色レーザ光源２０４の出射光と、青紫色レーザ光源２０６の出射光の光量比は変更自在になっている。
　光源制御部２０８は、通常モードの場合には、青色レーザ光源２０４を点灯させる。これに対して、特殊モードの場合には、青色レーザ光源２０４と青紫色レーザ光源２０６の両方を点灯させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。関心領域探索モードの場合には、操作入力部１９により入力された光量比に従って発光される。
　なお、青色レーザ光又は青紫色レーザ光の半値幅は±１０ｎｍ程度にすることが好ましい。また、青色レーザ光源２０４及び青紫色レーザ光源２０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
　照明光学系３６には、照明レンズ４０の他に、ライトガイド３４からの青色レーザ光又は青紫色レーザ光が入射する蛍光体２１０が設けられている。蛍光体２１０は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体２１０を励起させることなく透過する。青紫色レーザ光は、蛍光体２１０を励起させることなく透過する。蛍光体２１０を出射した光は、照明レンズ４０を介して、管腔内を照明する。
　ここで、通常モードにおいては、主として青色レーザ光が蛍光体２１０に入射する。図２２に示すように、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した通常モード用の広帯域光が通常光となる。この通常光で照明された管腔内をイメージセンサ４６で撮像することによって通常画像が得られる。
　一方、特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体２１０に入射する。図２３に示すように、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した特殊モード用の広帯域光が特殊光となる。この特殊光で照明された管腔内をイメージセンサ４６で撮像することによって特殊画像が得られる。
　また、関心領域探索モードにおいては、操作入力部１９により入力された光量比に従って発光された照明光により管腔内が照明される。そして、照明光照明された管腔内をイメージセンサ４６で撮像することによって内視鏡画像が得られる。そして、関心領域検出部８０により内視鏡画像から管腔内の関心領域が検出され、位置情報取得部８１により関心領域の位置情報が取得される。取得された関心領域の位置情報は表示部１８に表示される。
　なお、蛍光体２１０は、青色レーザ光の一部を吸収して、緑色～黄色に励起発光する複数種の蛍光体（例えばＹＫＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ１０Ｏ１７）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体２１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
　［第３実施形態］
　第３実施形態では、４色のＬＥＤ３０ａ～３０ｄの代わりに、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行う。また、カラーのイメージセンサ４６に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と略同様の部分については、説明を省略する。
　図２４に示す内視鏡システム３００では、光源装置１４において、内視鏡システム１０の各ＬＥＤ３０ａ～３０ｄに代えて、白色光光源部３０２と、回転フィルタ３０４と、フィルタ切替部３０６とが設けられている。また、撮像光学系３８には、カラーのイメージセンサ４６の代わりに、カラーフィルタが設けられていないモノクロのイメージセンサ３０８が設けられている。また、白色光光源部３０２と回転フィルタ３０４との間には絞り３０３が設けられており、この絞り３０３は絞り制御部３０５によって開口部の面積が調整される。
　白色光光源部３０２はキセノンランプや白色ＬＥＤ等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ３０４は、回転軸に近い一番近い内側に設けた通常モード用フィルタ３１０と、この通常モード用フィルタ３１０の外側に設けた特殊モード用フィルタ３１２、関心領域探索モード用フィルタ３１４とを備えている（図２５参照）。
　フィルタ切替部３０６は、回転フィルタ３０４を径方向に移動する。具体的には、フィルタ切替部３０６は、モード切替部２７により通常モードにセットした場合に、通常モード用フィルタ３１０を白色光の光路に挿入する。フィルタ切替部３０６は、特殊モードにセットした場合に、特殊モード用フィルタ３１２を白色光の光路に挿入する。フィルタ切替部３０６は、関心領域探索モードにセットした場合に、関心領域探索モード用フィルタ３１４を白色光の光路に挿入する。
　図２５に示すように、通常モード用フィルタ３１０には、周方向に沿って、Ｂｂフィルタ３１０ａと、Ｇフィルタ３１０ｂと、Ｒフィルタ３１０ｃとが設けられている。Ｂｂフィルタ３１０ａは、白色光のうち４００～５００ｎｍの波長範囲を持つ広帯域の青色光Ｂｂを透過する。Ｇフィルタ３１０ｂは、白色光のうち緑色光Ｇを透過する。Ｒフィルタ３１０ｃは、白色光のうち赤色光Ｒを透過する。したがって、通常モード時には、回転フィルタ３０４が回転することで、通常光として、広帯域の青色光Ｂｂと緑色光Ｇと赤色光Ｒとが観察対象に向けて順次照射される。
　特殊モード用フィルタ３１２には、周方向に沿って、Ｂｎフィルタ３１２ａと、Ｇｎフィルタ３１２ｂとが設けられている。Ｂｎフィルタ３１２ａは、白色光のうち４００～４５０ｎｍの青色狭帯域光Ｂｎを透過する。Ｇｎフィルタ３１２ｂは、白色光のうち５３０～５７０ｎｍの緑色狭帯域光Ｇｎを透過する。したがって、特殊モード時には、回転フィルタ３０４が回転することで、特殊光として、青色狭帯域光と緑色狭帯域光が観察対象に向けて順次照射される。
　関心領域探索モード用フィルタ３１４には、この例では、周方向に沿って、Ｂｂフィルタ３１４ａ、Ｇフィルタ３１４ｂ、Ｒフィルタ３１４ｃ、Ｂｎフィルタ３１４ｄ、Ｇｎフィルタ３１４ｅが設けられている。Ｂｂフィルタ３１４ａは、白色光のうち広帯域の青色光Ｂｂを透過する。Ｇフィルタ３１４ｂは、白色光のうち緑色光Ｇを透過する。Ｒフィルタ３１４ｃは、白色光のうち赤色光Ｒを透過する。Ｂｎフィルタ３１４ｄは、白色光のうち青色狭帯域光Ｂｎを透過する。Ｇｎフィルタ３１４ｅは、白色光のうち緑色狭帯域光Ｇｎを透過する。したがって、関心領域探索モード時には、回転フィルタ３０４が回転することで、通常光として、広帯域の青色光Ｂｂ、緑色光Ｇ、赤色光Ｒが観察対象に順次照射されるとともに、特殊光として、青色狭帯域光、緑色狭帯域光が観察対象に順次照射される。
　内視鏡システム３００では、通常モード時には、広帯域の青色光Ｂｂ、緑色光Ｇ、赤色光Ｒで管腔内を照明する毎にモノクロのイメージセンサ３０８で管腔内を撮像する。これにより、広帯域の青色光Ｂｂの照明時にＢｃ画像信号が得られ、緑色光Ｇの照明時にＧｃ画像信号が得られ、赤色光Ｒの照明時にＲｃ画像信号が得られる。これらＢｎ画像信号、Ｇｃ画像信号とＲｃ画像信号によって、通常画像が構成される。
　特殊モード時には、青色狭帯域光Ｂｎ、緑色狭帯域光Ｇｎで管腔内を照明する毎にモノクロのイメージセンサ３０８で管腔内を撮像する。これにより、青色狭帯域光Ｂｎの照明時にＢｎ画像信号が得られ、緑色狭帯域光Ｇｎの照射時にＧｎ画像信号が得られる。これらＢｎ画像信号とＧｎ画像信号によって、特殊画像が構成される。
　関心領域探索モードの場合には、広帯域の青色光Ｂｂの照明時に得られるＢｃ画像信号、緑色光Ｇの照明時に得られるＧｃ画像信号、赤色光Ｒの照明時に得られるＲｃ画像信号に基づいて、内視鏡画像が得られる。また、青色狭帯域光Ｂｎの照明時に得られるＢｎ画像信号と、緑色狭帯域光Ｇｎの照射時に得られるＧｎ画像信号とに基づいて、内視鏡画像が得られる。内視鏡画像が得られる毎に関心領域の検出が行われるとともに、関心領域の位置情報の取得が行われる。そして、取得され関心領域の位置情報が表示部１８に表示される。
　　１０　内視鏡システム
　　１２　内視鏡
　　１２ａ　挿入部
　　１２ｂ　操作部
　　１４　光源装置
　　１６　プロセッサ装置
　　１８　表示部
　　１９　操作入力部
　　２１　先端部
　　２２　湾曲部
　　２３　可撓管部
　　２５　アングルノブ
　　２６　画像記憶操作部
　　２７　モード切替部
　　２８　ズーム操作部
　　３０　光源部
　　３０ａ　Ｖ－ＬＥＤ
　　３０ｂ　Ｂ－ＬＥＤ
　　３０ｃ　Ｇ－ＬＥＤ
　　３０ｄ　Ｒ－ＬＥＤ
　　３０ｅ　光学フィルタ
　　３２　光源制御部
　　３４　ライトガイド
　　３６　照明光学系
　　３８　撮像光学系
　　４０　照明レンズ
　　４２　対物レンズ
　　４４　ズームレンズ
　　４６　イメージセンサ
　　５２　コントローラ
　　５４　内視鏡画像取得部
　　５６　ＤＳＰ
　　５８　ノイズ低減部
　　６０　画像処理部
　　６２　通常画像処理部
　　６４　特殊画像処理部
　　６６　関心領域探索用画像処理部
　　６８　表示制御部
　　７０　挿入状態取得部
　　７１　測定用目盛り
　　７２　目盛り検出センサ
　　８０　関心領域検出部
　　８１　位置情報取得部
　　８２　鑑別部
　　８３　警告部
　　８４　第１マーキング画像生成部
　　８５　記憶部
　　８６　内視鏡画像
　　８７　示す内視鏡画像
　　９０　第１マーキング画像
　　９２，９４，９６，９８　模式図
　　９５　警告表示
　　１００　関心領域探索用画像処理部
　　１０２　生体特徴量算出部
　　１０８　第２マーキング画像生成部
　　１１０　内視鏡挿入形状画像
　　１１２　第２マーキング画像
　　２００　第２実施形態の内視鏡システム
　　２０４　青色レーザ光源
　　２０６　青紫色レーザ光源
　　２０８　光源制御部
　　２１０　蛍光体
　　３００　内視鏡システム
　　３０２　白色光光源部
　　３０３　絞り
　　３０４　回転フィルタ
　　３０５　絞り制御部
　　３０６　フィルタ切替部
　　３０８　イメージセンサ
　　３１０　通常モード用フィルタ
　　３１０ａ　Ｂｂフィルタ
　　３１０ｂ　Ｇフィルタ
　　３１０ｃ　Ｒフィルタ
　　３１２　特殊モード用フィルタ
　　３１２ａ　Ｂｎフィルタ
　　３１２ｂ　Ｇｎフィルタ
　　３１４　関心領域探索モード用フィルタ
　　３１４ａ　Ｂｂフィルタ
　　３１４ｂ　Ｇフィルタ
　　３１４ｃ　Ｒフィルタ
　　３１４ｄ　Ｂｎフィルタ
　　３１４ｅ　Ｇｎフィルタ
　　Ｂ　青色光
　　Ｇ　緑色光
　　Ｌ　内視鏡の挿入状態
　　Ｍ１　マーク
　　Ｍ２　マーク
　　Ｐ１　先端部の検出位置
　　Ｐ２　先端部の検出位置
　　Ｑ　診断経路
　　Ｒ　赤色光
　　Ｒ１　関心領域
　　Ｒ２　関心領域
　　Ｖ　紫色光

Claims (18)

  1. 　内視鏡と、
    前記内視鏡により管腔内を撮像して得た内視鏡画像を取得する内視鏡画像取得部と、
    　前記内視鏡画像を用いて前記管腔内の関心領域を検出する関心領域検出部と、
    　前記関心領域の位置情報を取得する位置情報取得部と、
    　前記関心領域の位置情報を表示する表示部と、
    　を備える内視鏡システム。
  2. 　前記管腔の模式図において前記関心領域の位置情報に対応する箇所にマーキングをした第１マーキング画像を生成する第１マーキング画像生成部を備え、
    　前記表示部は、前記第１マーキング画像を表示する請求項１に記載の内視鏡システム。
  3. 　前記管腔内に挿入中の前記内視鏡の挿入状態を取得する挿入状態取得部を備え、
    　前記表示部は、前記内視鏡の挿入状態を前記模式図の対応する箇所に表示する請求項２に記載の内視鏡システム。
  4. 　前記関心領域に対して鑑別を行う鑑別部を備える請求項３に記載の内視鏡システム。
  5. 　前記鑑別部は、前記関心領域が病変部と正常部とのいずれであるかを少なくとも含む鑑別結果を出力する請求項４に記載の内視鏡システム。
  6. 　前記鑑別結果は、病変部の種類をさらに含む請求項５に記載の内視鏡システム。
  7. 　前記鑑別結果は、前記鑑別結果に対する確信度をさらに含む請求項５または６に記載の内視鏡システム。
  8. 　前記鑑別結果を記憶する鑑別結果記憶部を備える請求項５から７のいずれか１項に記載の内視鏡システム。
  9. 　前記表示部は、前記鑑別部の鑑別結果に応じて前記マーキングの表示態様を変更する請求項４から８のいずれか１項に記載の内視鏡システム。
  10. 　前記関心領域の位置情報と前記内視鏡の挿入状態とに基づき警告を行う警告部を備える請求項４または９に記載の内視鏡システム。
  11. 　前記警告部は、前記鑑別部の鑑別結果に応じて警告態様を変更する請求項１０に記載の内視鏡システム。
  12. 　前記関心領域の生体特徴量を算出する生体特徴量算出部を備え、
    　前記表示部は、前記鑑別部の鑑別結果に加え前記生体特徴量を用いて前記マーキングの表示態様を変更する請求項４から１１のいずれか１項に記載の内視鏡システム。
  13. 　前記管腔は、複数の管腔部位に区分けされており、
    　前記関心領域の位置情報は、複数の前記管腔部位のうち、前記関心領域を検出した前記管腔部位の管腔部位情報であり、
    　前記表示部は、前記管腔部位情報を前記関心領域の位置情報として表示する請求項１に記載の内視鏡システム。
  14. 　前記関心領域の位置情報は、前記管腔内の基準構造からの距離情報であり、
    　前記表示部は、前記距離情報を前記関心領域の位置情報として表示する請求項１に記載の内視鏡システム。
  15. 　前記管腔内への前記内視鏡の挿入部の挿入長を取得する挿入長取得部を備え、
    　前記表示部は、前記挿入長のうち、前記関心領域を検出した前記挿入長を、前記関心領域の位置情報として表示する請求項１に記載の内視鏡システム。
  16. 　前記関心領域の位置情報を記憶する関心領域位置情報記憶部を備える請求項１から１５のいずれか１項に記載の内視鏡システム。
  17. 　前記管腔内に挿入されている前記内視鏡の挿入部の形状情報を取得する内視鏡挿入形状情報取得部と、
    　前記挿入部の形状情報を用いて画像処理することにより内視鏡挿入形状画像を取得し、かつ、前記内視鏡挿入形状画像において前記関心領域の位置情報に対応する箇所にマーキングをした第２マーキング画像を生成する第２マーキング画像生成部と、
    　を備え、
    　前記表示部は、前記第２マーキング画像を表示する請求項１に記載の内視鏡システム。
  18. 　内視鏡画像取得部が、内視鏡により管腔内を撮像して得た内視鏡画像を取得するステップと、
    　関心領域検出部が、前記内視鏡画像を用いて、前記管腔内の関心領域を検出するステップと、
    　位置情報取得部が、前記関心領域の位置情報を取得するステップと、
    　表示部が、前記関心領域の位置情報を表示するステップと、
    　を有する内視鏡システムの作動方法。
PCT/JP2018/005690 2017-03-30 2018-02-19 内視鏡システム及びその作動方法 WO2018179991A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18778215.6A EP3603483A4 (en) 2017-03-30 2018-02-19 ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
JP2019508755A JP6749473B2 (ja) 2017-03-30 2018-02-19 内視鏡システム及びその作動方法
CN201880020745.0A CN110461210A (zh) 2017-03-30 2018-02-19 内窥镜系统及其工作方法
US16/575,924 US11272830B2 (en) 2017-03-30 2019-09-19 Endoscope system and operation method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-068040 2017-03-30
JP2017068040 2017-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/575,924 Continuation US11272830B2 (en) 2017-03-30 2019-09-19 Endoscope system and operation method therefor

Publications (1)

Publication Number Publication Date
WO2018179991A1 true WO2018179991A1 (ja) 2018-10-04

Family

ID=63675142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005690 WO2018179991A1 (ja) 2017-03-30 2018-02-19 内視鏡システム及びその作動方法

Country Status (5)

Country Link
US (1) US11272830B2 (ja)
EP (1) EP3603483A4 (ja)
JP (1) JP6749473B2 (ja)
CN (1) CN110461210A (ja)
WO (1) WO2018179991A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
EP3586719A1 (en) * 2018-06-25 2020-01-01 Fujifilm Corporation Endoscope apparatus
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
WO2020183936A1 (ja) 2019-03-12 2020-09-17 日本電気株式会社 検査装置、検査方法及び記憶媒体
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム
JP2021037356A (ja) * 2020-12-01 2021-03-11 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN113395929A (zh) * 2019-02-08 2021-09-14 富士胶片株式会社 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
WO2023100310A1 (ja) * 2021-12-02 2023-06-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体
WO2023181175A1 (ja) * 2022-03-23 2023-09-28 オリンパスメディカルシステムズ株式会社 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
US11944262B2 (en) 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system
WO2024095866A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法
WO2024095864A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
DE112017002826T5 (de) * 2016-06-06 2019-02-28 Olympus Corporation Endoskopvorrichtung
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
EP3821790A4 (en) * 2018-07-09 2021-09-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
JP7210765B2 (ja) * 2019-11-05 2023-01-23 オリンパス株式会社 内視鏡装置、表示用画像出力方法、プログラム、及び内視鏡システム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
WO2021146904A1 (zh) * 2020-01-21 2021-07-29 云象科技股份有限公司 内视镜检测系统及其方法
JP2022071617A (ja) * 2020-10-28 2022-05-16 富士フイルム株式会社 内視鏡システム及び内視鏡装置
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2007330348A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 内視鏡挿入形状検出装置
JP2011036600A (ja) 2009-08-18 2011-02-24 Toshiba Corp 画像処理装置、画像処理プログラムおよび医用診断システム
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011206251A (ja) * 2010-03-30 2011-10-20 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2012024518A (ja) 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム
JP2013094337A (ja) * 2011-10-31 2013-05-20 Olympus Corp 管状挿入装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016021216A (ja) * 2014-06-19 2016-02-04 レイシスソフトウェアーサービス株式会社 所見入力支援システム、装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6432041B1 (en) 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
WO2008149674A1 (ja) * 2007-06-05 2008-12-11 Olympus Corporation 画像処理装置、画像処理プログラムおよび画像処理方法
US8771177B2 (en) * 2008-07-08 2014-07-08 Karl Storz Imaging, Inc. Wide angle flexible endoscope
US8579800B2 (en) 2011-03-22 2013-11-12 Fabian Emura Systematic chromoendoscopy and chromocolonoscopy as a novel systematic method to examine organs with endoscopic techniques
WO2013145010A1 (ja) * 2012-03-29 2013-10-03 株式会社島津製作所 医療用ｘ線装置
CN106163371B (zh) * 2014-03-31 2018-09-28 奥林巴斯株式会社 内窥镜系统
JP6741759B2 (ja) * 2016-05-19 2020-08-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2007330348A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 内視鏡挿入形状検出装置
JP2011036600A (ja) 2009-08-18 2011-02-24 Toshiba Corp 画像処理装置、画像処理プログラムおよび医用診断システム
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011206251A (ja) * 2010-03-30 2011-10-20 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2012024518A (ja) 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム
JP2013094337A (ja) * 2011-10-31 2013-05-20 Olympus Corp 管状挿入装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016021216A (ja) * 2014-06-19 2016-02-04 レイシスソフトウェアーサービス株式会社 所見入力支援システム、装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3603483A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
EP3586719A1 (en) * 2018-06-25 2020-01-01 Fujifilm Corporation Endoscope apparatus
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
US11464394B2 (en) 2018-11-02 2022-10-11 Fujifilm Corporation Medical diagnosis support device, endoscope system, and medical diagnosis support method
EP3922163A4 (en) * 2019-02-08 2022-04-06 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM AND MEDICAL IMAGE PROCESSING METHOD
CN113395929A (zh) * 2019-02-08 2021-09-14 富士胶片株式会社 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
EP3932290A4 (en) * 2019-02-26 2022-03-23 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, PROCESSING DEVICE, ENDOSCOPE SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
JP7248098B2 (ja) 2019-03-12 2023-03-29 日本電気株式会社 検査装置、検査方法及び記憶媒体
JPWO2020183936A1 (ja) * 2019-03-12 2021-12-09 日本電気株式会社 検査装置、検査方法及び記憶媒体
WO2020183936A1 (ja) 2019-03-12 2020-09-17 日本電気株式会社 検査装置、検査方法及び記憶媒体
EP3939490A4 (en) * 2019-03-12 2022-05-04 NEC Corporation INSPECTION DEVICE, INSPECTION METHOD AND STORAGE MEDIA
US11944262B2 (en) 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system
JPWO2021029292A1 (ja) * 2019-08-13 2021-02-18
JP7290729B2 (ja) 2019-08-13 2023-06-13 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援装置の作動方法、及び画像診断支援プログラム
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム
JP7154274B2 (ja) 2020-12-01 2022-10-17 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP2021037356A (ja) * 2020-12-01 2021-03-11 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2023100310A1 (ja) * 2021-12-02 2023-06-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体
WO2023181175A1 (ja) * 2022-03-23 2023-09-28 オリンパスメディカルシステムズ株式会社 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
WO2024095866A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法
WO2024095864A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法

Also Published As

Publication number Publication date
JPWO2018179991A1 (ja) 2020-01-09
EP3603483A1 (en) 2020-02-05
JP6749473B2 (ja) 2020-09-02
US11272830B2 (en) 2022-03-15
US20200008653A1 (en) 2020-01-09
CN110461210A (zh) 2019-11-15
EP3603483A4 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
JP6749473B2 (ja) 内視鏡システム及びその作動方法
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP6596203B2 (ja) ビデオ内視鏡システム
JP5604248B2 (ja) 内視鏡画像表示装置
US20120190922A1 (en) Endoscope system
JP6596502B2 (ja) 内視鏡装置
JP7190597B2 (ja) 内視鏡システム
US11064864B2 (en) Processor device, endoscope system, and method of operating processor device
US11439297B2 (en) Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
WO2019065111A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6543013B2 (ja) 内視鏡装置
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
JP2011194082A (ja) 内視鏡画像補正装置および内視鏡装置
JP6731065B2 (ja) 内視鏡システム及びその作動方法
WO2021111756A1 (ja) 内視鏡システム、制御プログラム、及び表示方法
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP2023178526A (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18778215

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508755

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018778215

Country of ref document: EP

Effective date: 20191030