WO2021140766A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2021140766A1
WO2021140766A1 PCT/JP2020/043834 JP2020043834W WO2021140766A1 WO 2021140766 A1 WO2021140766 A1 WO 2021140766A1 JP 2020043834 W JP2020043834 W JP 2020043834W WO 2021140766 A1 WO2021140766 A1 WO 2021140766A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
emission
mono
light
image display
Prior art date
Application number
PCT/JP2020/043834
Other languages
English (en)
French (fr)
Inventor
久保 雅裕
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP20912245.6A priority Critical patent/EP4088644A4/en
Priority to JP2021569752A priority patent/JP7362783B2/ja
Priority to CN202080092583.9A priority patent/CN114929091A/zh
Publication of WO2021140766A1 publication Critical patent/WO2021140766A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor

Definitions

  • the present invention relates to an endoscope system that switches and illuminates a plurality of illumination lights having different wavelength bands and switches and displays an observation image corresponding to each illumination light, and an operation method thereof.
  • an endoscope system equipped with a light source device, an endoscope, and a processor device is widely used.
  • an observation target is irradiated with illumination light from the endoscope, and the observation target being illuminated by the illumination light is imaged by an image sensor of the endoscope, and the observation target is based on an RGB image signal obtained. Display the image of.
  • the second image signal obtained by imaging the observation target illuminated by the second illumination light for one analysis process is used.
  • AI Artificial Intelligence
  • other analysis processing is performed.
  • the analysis result of the analysis process is displayed by superimposing the analysis result on the display image based on the first image signal obtained by imaging the observation target illuminated by the first illumination light, thereby displaying the display image with the analysis result.
  • the analysis processing mode to be displayed in is also performed.
  • Patent Document 1 in the case of performing a multi-image display mode in which the first observation image and the second observation image are switched and displayed on the display according to a specific display pattern. It has been required for the user to switch between mono-light emission and multi-light emission, which emit only specific illumination light, without being complicated, stressful, and without making the user aware (recognize).
  • the present invention provides an endoscope system that is not complicated and stressful for the user, and that can switch between mono-flash and multi-flash without making the user aware (recognition), and a method of operating the endoscope system.
  • the purpose is to provide.
  • the endoscope system of the present invention is a light source processor that controls a plurality of semiconductor light sources that emit light in different wavelength bands and a plurality of semiconductor light sources, and mono-emission that emits only specific illumination light and each other.
  • a light source processor that controls a plurality of illumination lights including first illumination light and second illumination light having different emission spectra while switching them according to a specific emission pattern, and in the case of multi-emission, the first Imaging that outputs an image signal including a first image signal obtained by imaging an observation object illuminated by one illumination light and a second image signal obtained by imaging an observation object illuminated by a second illumination light.
  • a sensor and an image control processor are provided, and the image control processor includes an analysis result for displaying an analysis result obtained by an analysis process based on the second image signal with respect to a display image based on the first image signal. It is possible to at least activate the analysis processing mode for displaying the display image on the display, and control the display of the specific observation image obtained by imaging the observation target illuminated by the specific illumination light on the display. It is possible to activate the image display mode, and a plurality of observation images including a first observation image based on the first image signal and a second observation image based on the second image signal are displayed according to a specific display pattern.
  • the image control processor activates or deactivates the analysis processing mode, activates or deactivates the multi-image display mode, and preliminarily operates the multi-image display mode. It automatically switches between mono-flash and multi-flash based on the defined light source switching conditions.
  • the image control processor automatically switches from mono-flash to multi-flash when mono-flash is in operation.
  • the multi-image display permissible condition included in the light source switching condition is not satisfied, the multi-image display mode is automatically switched to the mono-image display mode, and the multi-image display mode is automatically switched to the mono image display mode.
  • the image control processor automatically switches from mono-flash to multi-flash and activates the multi-image display mode when the multi-image display restart condition is satisfied and the restart tolerance condition is satisfied in the light source switching condition. It is preferable to prohibit automatic switching to multi-flash when the multi-image display restart condition is satisfied and the restart permissible condition is not satisfied.
  • the restart tolerance condition is preferably when the user has not selected mono-flash. It is preferable that the restart permissible condition is a case where the restart permissible time has not elapsed since switching to mono-flash. The restart permissible condition is preferably a case where multi-light emission can be performed. It is preferable to have a magnification changing unit for changing the magnification of the observation target, and the restart permissible condition is when the magnification changing unit is not used or not switched. It is preferable that the restart tolerance condition can be set by the user. As for the multi-image display restart condition, it is preferable that the change in the imaging condition regarding the observation target is within an allowable range.
  • the image control processor When the analysis processing mode is activated and the multi-image display mode is not activated, the image control processor performs multi-flash from mono-flash according to the start of operation of the analysis processing mode when mono-flash is operating. It is preferable to switch to automatically. Image control when the analysis processing permissible condition included in the light source switching condition is not satisfied, the multi-flash is automatically switched to the mono-flash, and the analysis processing mode is automatically switched to the mono-image display mode.
  • the processor automatically switches from mono-flash to multi-flash and activates the analysis processing mode when the analysis processing restart condition is satisfied and the restart tolerance condition is satisfied in the light source switching condition, and the analysis processing restart condition is activated. It is preferable to prohibit automatic switching to multi-light emission when the above conditions are satisfied and the resumption permissible condition is not satisfied.
  • the image control processor emits mono-light emission according to the start of operation of the analysis processing mode and the multi-image display mode when mono-flash is operating. Automatically switches to multi-flash, and when multi-flash is operating, automatically switches to mono-flash if either the analysis processing allowable condition or the multi-image display allowable condition included in the light source switching condition is satisfied. It is prohibited to switch to, and when multi-light emission is in operation, it is possible to automatically switch from multi-light emission to mono-light emission when the analysis processing allowable condition is not satisfied and the multi-image display allowable condition is not satisfied. preferable.
  • the present invention is a light source processor that controls a plurality of semiconductor light sources that emit light in different wavelength bands and a plurality of semiconductor light sources, and has different emission spectra from mono-emission that emits only specific illumination light.
  • a light source processor that controls a plurality of illumination lights including one illumination light and a second illumination light while switching to emit light according to a specific emission pattern, and an illumination by the first illumination light in the case of multi-emission.
  • An imaging sensor that outputs a first image signal obtained by imaging the observed object and a second image signal obtained by imaging the observation object illuminated by the second illumination light, and an image control processor.
  • the image control processor displays the analysis result obtained by the analysis process based on the second image signal with respect to the display image based on the first image signal. It is possible to activate the analysis processing mode for displaying the image for display on the display, and control the display of the specific observation image obtained by imaging the observation target illuminated by the specific illumination light on the display. It is possible to activate the mode, and a plurality of observation images including the first observation image based on the first image signal and the second observation image based on the second image signal are switched according to a specific display pattern.
  • the image control processor activates or deactivates the analysis processing mode, activates or deactivates the multi-image display mode, and is predetermined. Automatically switches between mono-flash and multi-flash based on the light source switching conditions.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip portion 12d provided on the tip end side of the insertion portion 12a. have.
  • the angle knob 12e of the operating portion 12b By operating the angle knob 12e of the operating portion 12b, the curved portion 12c bends. Along with this bending motion, the tip portion 12d is directed in a desired direction.
  • the user interface 19 includes a mouse and the like in addition to the illustrated keyboard.
  • the operation unit 12b is provided with a mode switching SW13a, a still image acquisition instruction unit 13b, and a zoom operation unit 13c.
  • the mode switching SW13a is used for switching the mono image display mode, the analysis processing mode, and the multi-image display mode.
  • the mono image display mode only normal light (specific illumination light) is emitted (mono light emission), and a normal image (specific observation image) is displayed on the display 18.
  • the mono image display mode either the first illumination light or the second illumination light may be emitted in addition to the normal light.
  • both the analysis processing mode and the multi-image display mode can be operated at the same time.
  • the first illumination light and the second illumination light having different emission spectra are switched according to a specific emission pattern to emit light (multi-emission). Further, in the analysis processing mode, the image based on the first illumination light is processed as a display image for display on the display 18, while the image based on the second illumination light is processed by AI (Artificial Intelligence) or the like. Analysis processing is performed. The result of the analysis process is superimposed and displayed on the display image.
  • AI Artificial Intelligence
  • the first illumination light and the second illumination light having different emission spectra are switched according to a specific emission pattern to emit light (multi-emission). Further, in the multi-image display mode, the first observation image based on the first image signal obtained by illuminating the observation target with the first illumination light and the second image signal obtained by illuminating the observation target with the second illumination light. The second observation image based on the above is switched and displayed on the display 18 according to a specific display pattern.
  • the still image acquisition instruction unit 13b is used for instructing the still image storage unit 63 (see FIG. 2) to store the still image to be observed.
  • the zoom operation unit 13c is used to operate the zoom lens 47 and the zoom drive unit 47a (see FIG. 2) provided in the endoscope 12.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays image information and the like.
  • the user interface 19 has a function of accepting input operations such as function settings.
  • An external recording unit (not shown) for recording image information or the like may be connected to the processor device 16.
  • the light source device 14 includes a light source unit 20, a light source processor 21, and an optical path coupling unit 23.
  • the light source unit 20 emits light in a plurality of wavelength bands, and the light emission ratio of the light in each wavelength band can be changed.
  • "light of a plurality of wavelength bands different from each other" does not mean that a plurality of wavelength bands do not overlap at all, and a plurality of wavelength bands may partially overlap. means.
  • the light source unit 20 emits light in a plurality of wavelength bands, so that the V-LED (Violet Light Emitting Diode) 20a, B-LED (Blue Light Emitting Diode) 20b, G-LED (Green Light Emitting Diode) 20c, R- It has an LED (Red Light Emitting Diode) 20d. Since it is sufficient that the light source unit 20 is provided with a plurality of semiconductor light sources, an LD (Laser Diode) may be used instead of the LED.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R- It has an LED (Red Light Emitting Diode) 20d. Since it is sufficient that the light source unit 20 is provided with a plurality of semiconductor light sources, an LD (Laser Diode) may be used instead of the LED.
  • LD Laser Diode
  • the light source processor 21 controls the drive of the LEDs 20a to 20d.
  • the optical path coupling unit 23 couples the optical paths of the four colors of light emitted from the four colors of LEDs 20a to 20d.
  • the light coupled by the optical path coupling portion 23 is irradiated into the subject through the light guide 41 and the illumination lens 45 inserted into the insertion portion 12a.
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. By controlling each of the LEDs 20a to 20d independently, the light source processor 21 can emit violet light V, blue light B, green light G, or red light R by independently changing the amount of light. Further, the light source processor 21 emits white light having a light amount ratio of Vc: Bc: Gc: Rc among purple light V, blue light B, green light G, and red light R in the mono image display mode. In addition, each LED 20a to 20d is controlled. In addition, Vc, Bc, Gc, Rc> 0.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light intensity ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the first illumination light is used as a specific emission pattern. It emits light in one emission pattern, and emits second illumination light in a second emission pattern.
  • the first light emission pattern includes the first A light emission pattern in which the number of frames in the first lighting period for emitting the first illumination light is the same in each first lighting period, and the number of frames in the first lighting period. Is preferably one of the first B emission patterns that are different in each first illumination period.
  • the number of frames in the second illumination period for emitting the second illumination light is the same in each second illumination period, and the emission spectrum of the second illumination light is in each second illumination period.
  • the number of frames in the second A pattern and the second illumination period, which are the same in the above, is the same in each second illumination period, and the emission spectrum of the second illumination light is different in each second illumination period.
  • the 2B pattern and the second illumination period have different numbers of frames in each of the second illumination periods, and the emission spectrum of the second illumination light is the same in each of the second illumination periods.
  • the number of frames in the illumination period is different in each second illumination period, and the emission spectrum of the second illumination light is one of the second D patterns different in each second illumination period. Is preferable.
  • the emission spectrum of the first illumination light may be the same or different in each first illumination period.
  • the first light emission pattern is the first A pattern
  • the second light emission pattern is the second A pattern (the number of frames in the second illumination period: the same, the second illumination light).
  • the first illumination period is set to 2 frames
  • the second illumination period is set to 1 frame. Since the first illumination light is used to generate a display image to be displayed on the display 18, it is preferable to obtain a bright image by illuminating the observation target with the first illumination light.
  • the first illumination light is preferably white light.
  • the second illumination light is used for the analysis process, it is preferable to obtain an image suitable for the analysis process by illuminating the observation target with the second illumination light.
  • the first illumination period is preferably longer than the second illumination period, and the first illumination period is preferably two frames or more.
  • the first light emission pattern is the first A pattern
  • the second light emission pattern is the second A pattern (the number of frames in the second illumination period: the same, the second illumination).
  • the first illumination period is set to 2 frames
  • the second illumination period is set to 2 frames.
  • the first illumination light uses the first special light whose amount of purple light V is larger than the amount of light of other colors (blue light B, green light G, red light R), and the second illumination light is green light. It is preferable to use the second special light in which the amount of light of G is larger than the amount of light of other colors (purple light V, blue light G, red light R).
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14 and the processor device 16), and is formed in the optical path coupling portion 23.
  • the combined light propagates to the tip portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a fine fiber cable having a core diameter of 105 ⁇ m, a clad diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
  • the illumination optical system 30a and an imaging optical system 30b are provided at the tip portion 12d of the endoscope 12.
  • the illumination optical system 30a has an illumination lens 45, and the light from the light guide 41 is irradiated to the observation target through the illumination lens 45.
  • the image pickup optical system 30b includes an objective lens 46, a zoom lens 47, and an image pickup sensor 48.
  • the reflected light from the observation target enters the image sensor 48 via the objective lens 46 and the zoom lens 47.
  • the zoom lens 47 can be moved along the optical axis by the zoom drive unit 47a. By moving the zoom lens 47, the observation target is enlarged or reduced.
  • the "magnification changing unit" of the present invention corresponds to a configuration including a zoom operating unit 13c, a zoom lens 47, and a zoom driving unit 47a.
  • the image pickup sensor 48 is a color image pickup sensor, which captures a reflected image of a subject and outputs an image signal.
  • the image sensor 48 is preferably a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like.
  • the image sensor 48 used in the present invention is a color image sensor for obtaining RGB image signals of three colors of R (red), G (green) and B (blue), that is, an R pixel provided with an R filter.
  • a so-called RGB imaging sensor including a G pixel provided with a G filter and a B pixel provided with a B filter.
  • the image sensor 48 In the mono image display mode, the image sensor 48 outputs a normal image signal obtained by imaging an observation target illuminated by normal light. In the analysis processing mode or the multi-image display mode, the image pickup sensor 48 has a first image signal obtained by imaging an observation target illuminated by the first illumination light and an observation target illuminated by the second illumination light. The second image signal obtained by imaging the image is output.
  • the image sensor 48 is a so-called complementary color image sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow), and G (green) instead of the RGB color image sensor. May be.
  • the image signal of four colors of CMYG is output, so it is necessary to convert the image signal of four colors of CMYG into the image signal of three colors of RGB by the complementary color-primary color conversion. ..
  • the image sensor 48 may be a monochrome image sensor without a color filter. In this case, the light source processor 21 needs to turn on the blue light B, the green light G, and the red light R in a time-divided manner, and add a simultaneous process in the processing of the imaging signal.
  • the image signal output from the image sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by the A / D converter (A / D (Analog / Digital) converter) 52.
  • the A / D converted digital image signal is input to the processor device 16.
  • the processor device 16 stores a program related to processing such as automatic mode switching in a program memory (not shown).
  • the central control unit 68 configured by the image control processor operates the program in the program memory to operate the image acquisition unit 53, the DSP (Digital Signal Processor) 56, and the noise removal unit.
  • the functions of 58, the image processing unit 60, the parameter switching unit 62, the display control unit 66, and the mode automatic switching unit 69 are realized.
  • Digital color image signals from the endoscope 12, such as a normal image signal, a first image signal, and a second image signal, are input to the image acquisition unit 53.
  • the color image signal is composed of an R image signal output from the R pixel of the image sensor 48, a G image signal output from the G pixel of the image sensor 48, and a B image signal output from the B pixel of the image sensor 48. It is a constituent RGB image signal.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain processing, color adjustment processing, gamma conversion processing, and demosaic processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset processing the dark current component is removed from the RGB image signal subjected to the defect correction processing, and an accurate zero level is set.
  • the signal level is adjusted by multiplying the RGB image signal after the offset processing by a specific gain parameter.
  • the specific gain parameters are different for each observation mode.
  • the normal light gain process is performed by multiplying the normal image signal by the normal light gain parameter as a specific gain parameter.
  • the gain processing for the first illumination light is performed by multiplying the first image signal by the gain parameter for the first illumination light as a specific gain parameter.
  • the second illumination light gain processing is performed by multiplying the second image signal by the second illumination light gain parameter as a specific gain parameter.
  • the RGB image signal after the linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing and simultaneous processing), and a signal of a color lacking in each pixel is generated by interpolation.
  • demosaic processing also referred to as isotropic processing and simultaneous processing
  • the noise removing unit 58 removes noise from the RGB image signal by performing noise removing processing (for example, moving average method, median filter method, etc.) on the RGB image signal that has been gamma-corrected by DSP56.
  • noise removing processing for example, moving average method, median filter method, etc.
  • the RGB image signal from which noise has been removed is transmitted to the image processing unit 60.
  • the image processing unit 60 performs various image processing on the RGB image signal. Various types of image processing are different for each mode.
  • the parameter switching unit 62 switches between the normal light color enhancement processing parameter and the normal light structure enhancement processing parameter. Then, the normal light color enhancement processing is applied to the normal image signal by using the normal light color enhancement processing parameter, and the normal light structure enhancement processing parameter is used to perform the normal light color enhancement processing on the normal image signal. Perform structure enhancement processing. Then, the normal image signal subjected to the above processing is input to the display control unit 66 as a normal image.
  • the parameter switching unit 62 sets the normal light color enhancement processing parameter and the normal light structure enhancement processing parameter used for the first image signal, and the second image signal. It can be switched to the analysis processing parameter to be used.
  • the first image signal is subjected to the normal light color enhancement processing and the normal light structure enhancement processing by using the normal light color enhancement processing parameter and the normal light structure enhancement processing parameter. As a result, a normal image as a display image can be obtained.
  • the second image signal is subjected to analysis processing using the analysis processing parameters.
  • the analysis process includes an AI (Artificial Intelligence) process that outputs a specific output result when a specific input image is output to the machine-learned trained model.
  • AI Artificial Intelligence
  • a blood vessel extraction process for extracting blood vessel shape information, an index value calculation process for calculating an index value for a blood vessel based on the extracted blood vessel shape information, and the like are included in the analysis process.
  • the result of the analysis process is superimposed on a normal image to obtain a display image with the analysis result.
  • the display image with the analysis result is input to the display control unit 66.
  • the parameter switching unit 62 uses the parameter switching unit 62 to enhance the color enhancement processing parameter for the first illumination light and the structure enhancement for the first illumination light used for the first image signal.
  • the processing parameters can be switched between the second illumination light color enhancement processing parameter and the second illumination light structure enhancement processing parameter used for the second image signal.
  • the first image signal is subjected to the first illumination light color enhancement processing and the first illumination light structure enhancement processing by using the first illumination light color enhancement processing parameter and the first illumination light structure enhancement processing parameter. .. Then, the first image signal subjected to the above processing is input to the display control unit 66 as the first observation image.
  • the color enhancement processing for the second illumination light and the structure enhancement processing for the second illumination light are used by using the color enhancement processing parameter for the second illumination light and the structure enhancement processing parameter for the second illumination light.
  • the image processing unit 60 is set to the multi-image display mode, the mucous membrane color that makes the color of the normal mucous membrane included in the observation target the same between the first observation image and the second observation image. Balance processing is performed. The first observation image is subjected to the first mucosal color balance treatment, and the second observation image is subjected to the second mucosa color balance treatment based on the result of the first mucosal color balance treatment. Then, the RGB image signal subjected to the above processing is input to the display control unit 66 as a second observation image.
  • the average color of the entire screen is It is automatically adjusted to a specific color balance.
  • This first mucosal color balance treatment is performed on the assumption that the mucosal color is dominant in the observation target. Then, by performing the first mucosal color balance processing, a B1 * image signal, a G1 * image signal, and an R1 * image signal that have undergone the first mucosal color balance processing can be obtained.
  • B1ave represents the average pixel value of the B1 image signal (the sum of the pixel values of the entire screen (effective pixels) / the number of effective pixels).
  • G1ave represents the average pixel value of the G1 image signal (sum of pixel values of the entire screen (effective pixels) / number of effective pixels).
  • R1ave represents the average pixel value of the R1 image signal (sum of pixel values of the entire screen (effective pixels) / number of effective pixels).
  • the average color of the entire screen is It is automatically adjusted to a specific color balance.
  • B1ave, G1ave, and R1ave calculated in the first mucosal color balance treatment are used.
  • a B2 * image signal, a G2 * image signal, and an R2 * image signal that have undergone the second mucosal color balance processing can be obtained.
  • the display control unit 66 controls to display a normal image, a display image with an analysis result, a first observation image, or a second observation image input from the image processing unit 60 as an image that can be displayed on the display 18. Do. In the mono image display mode, the display control unit 66 displays a normal image on the display 18.
  • the first light emission pattern is the first A light emission pattern and the second light emission pattern is the second A pattern (the number of frames in the second illumination period: the same, the emission spectrum of the second illumination light: the same).
  • the white light W is illuminated for two frames as the first illumination light and the observation target is illuminated for one frame each during the purple light V emission as the second illumination light, as shown in FIG.
  • the analysis process is performed on the R2 image signal, the G2 image signal, and the B2 image signal obtained by the illumination of the purple light V to obtain the analysis result V.
  • the analysis result V is superimposed on the display image and displayed on the display 18 as a display image with the analysis result.
  • the first light emission pattern is the first A light emission pattern
  • the second light emission pattern is the second A pattern (the number of frames in the second illumination period: the same, the emission spectrum of the second illumination light: the same).
  • the display control unit 66 displays the first observation image or the second observation image as shown in FIG. , Each is displayed on the display 18 while switching at intervals of 2 frames.
  • the central control unit 68 executes the program and also controls each unit of the processor device 16. Further, the central control unit 68 receives information from the endoscope 12 or the light source device 14, and based on the received information, controls each part of the processor device 16 and controls the endoscope 12 or the light source device 14. Do.
  • the mode automatic switching unit 69 automatically switches between mono-light emission and multi-light emission based on the operation or non-operation of the analysis processing mode, the operation or non-operation of the multi-image display mode, and the predetermined light source switching conditions. Do.
  • the switching control by the mode automatic switching unit 69 is performed when the analysis processing mode is not activated (OFF) and the multi-image display mode is activated (ON) (switching pattern A), the analysis processing mode is activated (ON), and It is divided into three patterns: when the multi-image display mode is not activated (OFF) (switching pattern B), when the analysis processing mode is activated (ON), and when the multi-image display mode is activated (ON) (switching pattern C). Be done.
  • the mode automatic switching unit 69 switches the multi-image display mode from OFF to ON when mono-flash is operating. According to, it automatically switches from mono-flash to multi-flash.
  • the mode automatic switching unit 69 continues multi-light emission when the preset multi-image display allowable condition (light source switching condition) is satisfied.
  • the multi-image display allowable condition is not satisfied, the multi-image emission is automatically switched to the mono-emission.
  • the state in which the first observation image and the second observation image are automatically switched and displayed on the display 18 is switched to the state in which only the normal image is continuously displayed on the display 18. Perform processing. That is, the mode is automatically switched to the mono image display mode.
  • the display 18 Since it may be difficult for the user to know which of the multi-image display mode and the mono-image display mode is set, the display 18 indicates that the display 18 is in the "multi-image display mode" when the multi-flash is being emitted. Is displayed, and in the case of mono-flash, it is displayed that the mode is "mono-image display mode".
  • the usage time of the multi-image display mode is set to be equal to or longer than a predetermined time threshold value.
  • a time measuring unit (not shown) provided in the processor device 16 measures the time after being set to the multi-image display mode by the mode switching SW13a. Then, when the measured time exceeds the time threshold value, as shown in FIG. 9, the multi-flash emission is automatically switched to the mono-flash emission. According to this, the multi-image display mode is automatically switched to the mono image display mode.
  • the number of times the still image to be observed is saved is equal to or greater than the predetermined number of times threshold value.
  • the number of times counting unit (not shown) provided in the processor device 16 counts the number of times the still image acquisition instruction unit 13b is operated. Then, when the number of times counted exceeds the threshold value for the number of times, as shown in FIG. 10, the multi-light emission is automatically switched to the mono-light emission. According to this, the multi-image display mode is automatically switched to the mono image display mode.
  • the shooting condition acquisition unit 70 is provided in the image processing unit 60 of the processor device 16. As shown in FIG. 11, the photographing condition acquisition unit 70 includes an observation portion acquisition unit 72, a brightness calculation unit 74, a magnification acquisition unit 76, an observation distance acquisition unit 78, and a blur amount calculation unit 80. There is.
  • the observation site which is one of the imaging conditions, changes as a case where the multi-image display permissible condition is not satisfied, for example, the observation site currently being imaged starts from the first site (for example, "esophagus").
  • a second site eg, "stomach”
  • the observation site changes it is considered that the tip portion 12d of the endoscope is moving, and the first illumination light or the second illumination light emitted alternately may not be reliably illuminated on the observation target. In such a case, it is not suitable for multi-flash.
  • the observation site acquisition unit 72 determines the observation site from the image feature amount of the first observation image or the second observation image obtained by the multi-emission. For example, when the central part of the screen is darker than the other peripheral parts in the first observation image or the second observation image, the observation part is determined to be the "esophagus”. Further, when the central part of the screen is brighter than the other peripheral parts in the first observation image or the second observation image, it is determined that the observation part is the “stomach”.
  • the brightness of the observation target which is one of the shooting conditions, is equal to or less than the first brightness threshold value or greater than or equal to the second brightness threshold value.
  • the multi-flash is automatically switched to the mono-flash.
  • the multi-image display mode is automatically switched to the mono image display mode.
  • the brightness calculation unit 74 calculates the average value of the pixel values from the first observation image or the second observation image, and calculates the brightness from the calculated average value of the pixel values.
  • the larger the average value of the pixel values the larger the brightness.
  • the multi-image display mode is automatically switched to the mono image display mode.
  • the illumination distribution of the illumination light for the observation target changes, which is often not suitable for multi-emission.
  • zoom information indicating which magnification is set is transmitted to the magnification acquisition unit 76.
  • the mode automatic switching unit 69 determines whether or not the magnification change amount exceeds the magnification threshold value with reference to the zoom information acquired by the magnification acquisition unit 76.
  • the change amount of the observation distance exceeds the distance threshold for the observation distance (distance between the tip 12d of the endoscope and the observation target), which is one of the imaging conditions, as the case where the multi-image display allowable condition is not satisfied.
  • the multi-image display mode is automatically switched to the mono image display mode. Similar to the magnification of the observation target, when the observation distance changes significantly and the amount of change in the observation distance exceeds the distance threshold, the illumination distribution of the illumination light for the observation target changes, making it suitable for multi-emission. Often not.
  • the observation distance acquisition unit 78 calculates the average value of the pixel values from the first observation image or the second observation image obtained by the multi-emission, and calculates the observation distance from the calculated average value of the pixel values. Ask. Here, it is said that the larger the average value of the pixel values, the smaller the observation distance.
  • the multi-image display permissible condition Assuming that the multi-image display permissible condition is not satisfied, when the amount of blur of the image, which is one of the shooting conditions, exceeds the threshold for the amount of blur, as shown in FIG. 16, the multi-flash is automatically switched to the mono-flash. .. According to this, the multi-image display mode is automatically switched to the mono image display mode.
  • the blur amount calculation unit 80 obtains the contrast from the first observation image or the second observation image obtained by the multi-light emission, and calculates the amount of blur from the contrast. The lower the contrast, the greater the amount of blur.
  • the amount of blur may be calculated from the frequency components of the first observation image or the second observation image (the lower the frequency component, the larger the amount of blur). ..
  • the multi-image display permissible condition used for automatic switching from multi-flash to mono-flash can be appropriately set by the user.
  • the user operates the user interface 19 to display the multi-image display allowable condition setting menu 82 shown in FIG. 17 on the display 18.
  • the “time threshold” and the “number of times threshold” can be set.
  • time threshold if "100 seconds" is set in the multi-image display permissible condition setting menu 82, the multi-image display mode starts from multi-flash when the usage time reaches "100 seconds". It automatically switches to mono flash.
  • a multi-image display restart condition setting menu similar to the multi-image display permissible condition setting menu 82 is displayed on the display 18. It is preferable that the settings can be made as appropriate.
  • first part and second part can be set.
  • the observation part changes from “esophagus” to “stomach”, or from “stomach” to “stomach”.
  • the "first brightness threshold value” and the “second brightness threshold value” can be set.
  • the "magnification threshold value” can be set.
  • the “magnification threshold value” is set to “5 times”
  • the “distance threshold” can be set.
  • the “distance threshold” is set to Lx
  • the “threshold value for blurring amount” can be set.
  • the “threshold value for blur amount” is set to Br
  • the multi-flash emission is automatically switched to the mono-flash emission.
  • the mode automatic switching unit 69 When the mode automatic switching unit 69 does not satisfy the multi-image display allowable condition, the multi-image display mode is automatically switched to the mono-light emission, and the multi-image display mode is automatically switched to the mono-image display mode.
  • the preset multi-image display restart condition (light source switching condition)
  • the mono-flash is automatically switched to the multi-flash, and the multi-image display mode is activated.
  • the fact that the change in the shooting conditions is within the allowable range of the multi-flashes also affects the visibility of the switching display between the first observation image and the second observation image obtained by the multi-flashes. Say no.
  • the condition for resuming the display of the multi-image is that the observation target changes from the first part (for example, "esophagus") to the second part (for example, "stomach") and then returns to the first part within a certain period of time. In this case, or after changing from the second part to the first part, it is preferable to return to the second part within a certain period of time.
  • the mono emission is automatically switched to the multi emission.
  • the mono image display mode is automatically switched to the multi-image display mode. This is because when the observed part immediately returns to the original part, the lighting conditions do not change so much and the light emitting state due to the multi-light emission is not affected.
  • Information about the observation site is acquired by the observation site acquisition unit 72 in the same manner as described above.
  • the multi-image display restart condition is preferably when the brightness of the observation target is equal to or higher than the first brightness threshold value or equal to or lower than the first brightness threshold value.
  • the mono emission is automatically switched to the multi emission.
  • the mono image display mode is automatically switched to the multi-image display mode. Even if the brightness becomes darker or brighter, if it returns to the original normal brightness (above the first brightness threshold or below the first brightness threshold) after a certain period of time, it is multi. This is because it does not affect the light emission state due to light emission. Information on the brightness is acquired by the brightness calculation unit 74 in the same manner as described above.
  • the magnification change amount of the observation target is less than the magnification threshold value.
  • the mono emission is automatically switched to the multi emission.
  • the mono image display mode is automatically switched to the multi-image display mode. If the change in the magnification of the observation target is not so large and the amount of change in the magnification temporarily exceeds the magnification threshold value and immediately falls below the magnification threshold value, the light emission state due to multi-flash emission is affected. This is because it does not give.
  • the magnification of the observation target is acquired by the magnification acquisition unit 76 in the same manner as described above.
  • the multi-image display restart condition is preferably when the amount of change in the observation distance is equal to or less than the distance threshold.
  • the mono emission is automatically switched to the multi emission.
  • the mono image display mode is automatically switched to the multi-image display mode. If the change in the observation distance is not so large and the amount of change in the observation distance temporarily exceeds the distance threshold value and immediately falls below the distance threshold value, the light emission state due to multi-flash emission is affected. This is because it does not give.
  • the observation distance is acquired by the observation distance acquisition unit 78 in the same manner as described above.
  • the multi-image display restart condition is preferably when the amount of blurring of the observed image is equal to or less than the threshold value for the amount of blurring.
  • the mono emission is automatically switched to the multi emission.
  • the mono image display mode is automatically switched to the multi-image display mode. If the amount of blur in the image is not so large and the amount of blur exceeds the threshold for the amount of blur temporarily, and immediately falls below the threshold for the amount of blur, it affects the light emission state due to multi-flash. This is because it is not given.
  • the amount of blur is calculated by the blur amount calculation unit 80 in the same manner as described above.
  • the mode automatic switching unit 69 satisfies the multi-image display restart condition and allows restart.
  • the mono-flash is automatically switched to the multi-flash, and the mono-image display mode is automatically switched to the multi-image display mode.
  • the restart tolerance condition can be set by the user.
  • the restart tolerance flag indicating the restart tolerance condition is used. When the restart allowance flag is "1", it means that the restart allowance condition is not satisfied, and when the restart allowance flag is "0", it means that the restart allowance condition is satisfied (FIGS. 18 to 23). reference).
  • the restart permissible condition is a case where the analysis processing mode is OFF and the user has not selected the mono image display mode by the mode switching SW13a.
  • the restart allowance flag is "0"
  • the restart allowance flag is "1”.
  • the restart permissible condition is preferably a case where the analysis processing mode is OFF and the restart permissible time has not elapsed since the multi-image display permissible condition was satisfied and the multi-flash emission was automatically switched to the mono-flash. ..
  • the time measuring unit (not shown) measures the time after switching to mono-flash. If the measured time does not elapse the restart allowance time, the restart allowance flag is maintained at "1". Then, when the measured time has passed the restart permissible time, the restart permissible presence / absence flag is switched to "0". After the resumption allowable time has elapsed, it is considered that the state is suitable for observation based on mono-emission, and therefore it is preferable not to automatically switch to multi-emission.
  • the restart allowable condition is a case where the analysis processing mode is OFF and multi-light emission can be performed.
  • a determination unit (not shown) for determining whether or not multi-light emission can be performed is performed by the multi-light emission enablement determination unit (not shown) of the processor device 16. Specifically, the multi-light emission enablement determination unit detects an abnormality related to the endoscope 12, the light source device 14, and the processor device 16, and determines whether multi-light emission is feasible or not based on the detection result. ..
  • the restart permission / non-presence flag is set to "1"
  • the restart permission / non-resumption is allowed Set the flag to "0”.
  • the restart permissible condition is when the analysis processing mode is OFF and the magnification changing unit is not used or not switched.
  • the use of the magnification changing unit means a state in which the magnification can be changed by turning the zoom operation unit 13c "ON".
  • the non-use of the magnification changing unit means a state in which the zoom operation unit 13c is set to "OFF" and the magnification is not changed. In this case, after satisfying the multi-image display permissible condition and automatically switching to mono-flash, if there is no switching between use and non-use of the magnification change unit, the restart permissible flag is set to "1".
  • the restart permission presence / absence flag is set to "0".
  • the mode automatic switching unit 69 follows the switching of the analysis processing mode from OFF to ON when the mono emission is in operation. , Automatically switches from mono flash to multi flash.
  • the mode automatic switching unit 69 automatically switches from multi-flash to mono-flash when the preset analysis processing allowable condition (light source switching condition) is satisfied. Ban.
  • the mode automatic switching unit 69 automatically switches from multi-light emission to mono-light emission when the analysis processing allowable condition is not satisfied. According to this, as shown in FIG. 24, the analysis processing mode for displaying the display image with the analysis result on the display 18 is automatically switched to the mono image display mode for displaying only the normal image on the display 18.
  • the change in the imaging condition regarding the observation target is within the analysis processing allowable range.
  • the term “within the allowable range of analysis processing” means that the analysis processing can be performed with a certain accuracy even if the shooting conditions change.
  • the area occupied by the area that can be affected by the analysis processing such as halation and dark areas in the screen based on the second image signal is a certain amount or less.
  • the mode automatic switching unit 69 displays the mono image when the predetermined analysis processing restart condition (light source switching condition) is satisfied.
  • the mode may be automatically switched to the analysis processing mode. In this case, even if the mode automatic switching unit 69 satisfies the analysis processing restart condition, if the restart allowable condition (preferably the same as above) is not satisfied, the mode automatic switching unit 69 automatically switches to the analysis processing mode. It is preferable to prohibit such switching.
  • the analysis processing restart condition may be the same as or different from the multi-image display restart condition.
  • the mode automatic switching unit 69 starts from OFF of the analysis processing mode and the multi-image display mode when the mono emission is in operation. According to the switch to ON, it automatically switches from mono-flash to multi-flash. According to this, the display image with the analysis result is displayed on the display 18, and the first observation image and the second observation image are automatically switched and displayed on the display 18 (see FIGS. 25 to 27).
  • the mode automatic switching unit 69 does not satisfy the multi-image display permissible condition but if the analysis processing permissible condition is satisfied, the mode automatic switching unit 69 multi It is prohibited to automatically switch from light emission to mono light emission. In this case, as shown in FIG. 25, while the automatic switching display between the first observation image and the second observation image is stopped on the display 18, the display image with the analysis result is displayed on the display 18. Will be continued.
  • the mode automatic switching unit 69 does not satisfy the analysis processing permissible condition even when the multi-image display permissible condition is satisfied. It is prohibited to automatically switch from multi-flash to mono-flash. In this case, as shown in FIG. 26, while the display of the display image with the analysis result on the display 18 is stopped, the automatic switching display between the first observation image and the second observation image on the display 18 is stopped. Is continued.
  • the mode automatic switching unit 69 does not satisfy the multi-image display permissible condition and does not satisfy the analysis processing permissible condition. It automatically switches from multi-flash to mono-flash. According to this, as shown in FIG. 27, the mode is switched to the mono image display mode in which only the normal image is displayed on the display 18.
  • the mode automatic switching unit 69 satisfies the predetermined analysis processing restart condition, the mono image.
  • the display mode may be automatically switched to the analysis processing mode. It is preferable that the mode automatic switching unit 69 prohibits automatic switching to the analysis processing mode even when the analysis processing restart condition is satisfied but the restart allowable condition is not satisfied.
  • the mode automatic switching unit 69 when the multi-image display mode is automatically switched to the mono-image display mode, the mode automatic switching unit 69 satisfies the predetermined multi-image display restart condition.
  • the mono image display mode may be automatically switched to the multi-image display mode. It is preferable that the mode automatic switching unit 69 prohibits automatic switching to the multi-image display mode even when the multi-image display restart condition is satisfied but the restart permissible condition is not satisfied.
  • the multi-image display mode the first illumination light and the second illumination light are switched and emitted according to a specific emission pattern (two frame intervals in the present embodiment). Then, the first observation image obtained by imaging the observation object illuminated by the first illumination light and the second observation image obtained by imaging the observation object illuminated by the second illumination light are displayed in a specific manner. It is switched and displayed on the display 18 according to a pattern (interval between two frames in this embodiment).
  • the multi-image display mode As long as the multi-image display permissible condition is satisfied, the multi-image display mode will continue. Then, when the predetermined multi-image display permissible condition is no longer satisfied, the multi-flash emission is automatically switched to the mono-flash emission. According to this, the multi-image display mode is automatically switched to the mono image display mode.
  • the shooting conditions regarding the observation target may change.
  • the switching light emission between the first illumination light and the second illumination light is stopped.
  • the switching display between the first observation image and the second observation image is also stopped.
  • the normal light is emitted, and the normal image obtained by imaging the observation target illuminated by the normal light is displayed on the display 18.
  • the processor device 16 monitors whether or not the multi-image display restart condition is satisfied.
  • the multi-image display restart condition is satisfied and the restart permissible condition is satisfied
  • the mono-flash is automatically switched to the multi-flash. According to this, the switching from the mono image display mode to the multi-image display mode is performed.
  • the multi-image display restart condition is satisfied, if the restart permissible condition is not satisfied, automatic switching to multi-flash is prohibited.
  • the multi-image display restart condition is not satisfied, it is prohibited to automatically switch to multi-flash. If automatic switching to multi-flash is prohibited, the mono image display mode is continued.
  • the analysis processing mode the first illumination light and the second illumination light are switched and emitted according to a specific emission pattern. Then, an analysis process is performed on the second image signal obtained by imaging the observation target illuminated by the second illumination light. Then, by superimposing the analysis result of the analysis process on the display image based on the first image signal obtained by imaging the observation target illuminated by the first illumination light, the display image with the analysis result can be obtained. can get. The display image with the analysis result is displayed on the display 18.
  • the analysis processing mode continues as long as the analysis processing allowable condition is satisfied. Then, when the predetermined analysis processing allowable condition is no longer satisfied, the multi-flash emission is automatically switched to the mono-flash emission. According to this, the analysis processing mode is automatically switched to the mono image display mode.
  • the processor device 16 monitors whether or not the analysis processing restart condition is satisfied.
  • the mono-flash is automatically switched to the multi-flash. According to this, the mono image display mode is switched to the analysis processing mode.
  • the analysis processing restart condition is satisfied
  • the restart allowable condition is not satisfied
  • automatic switching to multi-flash is prohibited.
  • the analysis processing restart condition is not satisfied, it is prohibited to automatically switch to multi-flash. If automatic switching to multi-flash is prohibited, the mono image display mode is continued.
  • the first observation image obtained by imaging the observation object illuminated by the first illumination light and the second observation image obtained by imaging the observation object illuminated by the second illumination light Is switched and displayed according to a specific display pattern (2 frame intervals in this embodiment).
  • the analysis processing mode and the multi-image display mode continue as long as the analysis processing allowable condition and the multi-image display allowable condition are satisfied. If one of the analysis processing allowable condition and the multi-image display allowable condition is satisfied and the other is not satisfied, it is prohibited to automatically switch from multi-flash to mono-flash. In this case, the mode that satisfies the analysis processing allowable condition and the multi-image display allowable condition is continued, and the mode that does not satisfy the condition is stopped. On the other hand, when the analysis processing allowable condition is not satisfied and the multi-image display allowable condition is not satisfied, the multi-flash emission is automatically switched to the mono-flash emission. According to this, the analysis processing mode and the multi-image display mode are automatically switched to the mono image display mode.
  • the processor device 16 monitors whether or not the analysis processing restart condition and the multi-image display restart condition are satisfied.
  • the mono-flash is automatically switched to the multi-flash. According to this, the mode is automatically switched to the analysis processing mode.
  • the mono-flash is automatically switched to the multi-flash. According to this, the mode is automatically switched to the multi-image display mode.
  • the first illumination light and the second illumination light are switched and emitted according to a specific emission pattern, and the first observation image and the second illumination light corresponding to the first illumination light are used.
  • the corresponding second observation image is switched and displayed on the display 18 according to a specific display pattern, but three or more types of illumination lights having different wavelength bands are emitted while switching according to a specific light emission pattern.
  • three or more types of observation images corresponding to each illumination light may be switched and displayed on the display 18 according to a specific display pattern.
  • a processing unit included in the processor device 16, such as an image acquisition unit 53, a DSP 56, a noise removal unit 58, an image processing unit 60, a parameter switching unit 62, a central control unit 68, and a mode automatic switching unit 69.
  • the hardware structure of) is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

ユーザーにとって、煩雑でなく、またストレスフルでなく、更には、ユーザーに意識(認識)させることなく、モノ発光とマルチ発光とを切り替えることができる内視鏡システム及びその作動方法を提供する。 解析処理モードの作動又は非作動、マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、特定の照明光のみを発光するモノ発光と、互いに発光スペクトルが異なる第1照明光と第2照明光と、特定発光パターンに従って、切り替えながら発光するマルチ発光との切替を自動的に行う。

Description

内視鏡システム及びその作動方法
 本発明は、波長帯域が異なる複数の照明光を切り替えて照明し、各照明光に対応する観察画像を切り替えて表示する内視鏡システム及びその作動方法に関する。
 近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をディスプレイ上に表示する。
 また、近年においては、波長帯域が異なる複数の照明光を用いて、観察対象の照明を行うことにより、観察対象から多くの診断情報を得ることも行われている。例えば、特許文献1では、第1照明光と第2照明光とを、特定の発光パターンに従って、切り替えながら発光するマルチ発光を行い、第1観察画像と第2観察画像を、特定の表示パターンに従って、切り替えてディスプレイに表示することが行われている。
国際公開第2019/093356号
 近年においては、第1照明光と第2照明光とをマルチ発光する場合において、一方の解析処理用の第2照明光で照明された観察対象を撮像して得られる第2画像信号に対して、AI(Artificial Intelligence)などの解析処理を施すことが行われている。また、解析処理の解析結果については、第1照明光で照明された観察対象を撮像して得られる第1画像信号に基づく表示用画像に重畳表示することによって、解析結果付き表示用画像をディスプレイに表示する解析処理モードも行われている。
 上記のような解析処理モードの他、特許文献1に示すように、第1観察画像と第2観察画像を、特定の表示パターンに従って、切り替えてディスプレイに表示するマルチ画像表示モードを行う場合において、ユーザーにとって、煩雑でなく、またストレスフルでなく、更には、ユーザーに意識(認識)させることなく、特定の照明光のみを発光するモノ発光とマルチ発光とを切り替えることが求められていた。
 本発明は、ユーザーにとって、煩雑でなく、またストレスフルでなく、更には、ユーザーに意識(認識)させることなく、モノ発光とマルチ発光とを切り替えることができる内視鏡システム及びその作動方法を提供することを目的とする。
 本発明の内視鏡システムは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源を制御する光源用プロセッサであり、特定の照明光のみを発光するモノ発光と、互いに発光スペクトルが異なる第1照明光と第2照明光とを含む複数の照明光を、特定発光パターンに従って、切り替えながら発光するマルチ発光とに関する制御を行う光源用プロセッサと、マルチ発光の場合において、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して得られる第2画像信号とを含む画像信号を出力する撮像センサと、画像制御用プロセッサとを備え、画像制御用プロセッサは、第1画像信号に基づく表示用画像に対して、第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示する解析処理モードを少なくとも作動させることが可能であり、特定の照明光により照明された観察対象を撮像して得られる特定の観察画像をディスプレイに表示する制御を行うモノ画像表示モードを作動させることが可能であり、第1画像信号に基づく第1の観察画像と第2画像信号に基づく第2の観察画像とを含む複数の観察画像を、特定の表示パターンに従って、切り替えてディスプレイに表示する制御を行うマルチ画像表示モードを作動させることが可能であり、画像制御用プロセッサは、解析処理モードの作動又は非作動、マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、モノ発光とマルチ発光との切替を自動的に行う。
 解析処理モードを非作動にし、且つ、マルチ画像表示モードを作動させる場合において、画像制御用プロセッサは、モノ発光が作動中の場合は、モノ発光からマルチ発光に自動的に切り替えることが好ましい。光源切替条件に含まれるマルチ画像表示許容条件を満たさなくなることにより、マルチ発光からモノ発光に自動的に切り替えられ、且つ、マルチ画像表示モードからモノ画像表示モードに自動的に切り替えられた場合において、画像制御用プロセッサは、光源切替条件において、マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たす場合に、モノ発光からマルチ発光に自動的に切り替え、且つ、マルチ画像表示モードを作動させ、マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たさない場合に、マルチ発光に自動的に切り替えることを禁止することが好ましい。
 再開許容条件は、ユーザーがモノ発光を選択していない場合であることが好ましい。再開許容条件は、モノ発光に切り替えてから再開許容時間を経過していない場合であることが好ましい。再開許容条件は、マルチ発光の実施が可能である場合であることが好ましい。観察対象の倍率を変化させるための倍率変更部を有し、再開許容条件は、倍率変更部の使用又は不使用の切替えが行われていない場合であることが好ましい。再開許容条件はユーザーにより設定が可能であることが好ましい。マルチ画像表示再開条件は、観察対象に関する撮影条件の変化が許容範囲内であることが好ましい。
 解析処理モードを作動させ、且つ、マルチ画像表示モードを非作動とする場合において、画像制御用プロセッサは、モノ発光が作動中の場合には、解析処理モードの作動開始に従って、モノ発光からマルチ発光に自動的に切り替えることが好ましい。光源切替条件に含まれる解析処理許容条件を満たさなくなることにより、マルチ発光からモノ発光に自動的に切り替えられ、且つ、解析処理モードからモノ画像表示モードに自動的に切り替えられた場合において、画像制御用プロセッサは、光源切替条件において、解析処理再開条件を満たし、且つ、再開許容条件を満たす場合に、モノ発光からマルチ発光に自動的に切り替え、且つ、解析処理モードを作動させ、解析処理再開条件を満たし、且つ、再開許容条件を満たさない場合に、マルチ発光に自動的に切り替えることを禁止することが好ましい。
 解析処理モードを作動させ、且つ、マルチ画像表示モードを作動させる場合において、画像制御用プロセッサは、モノ発光が作動中の場合には、解析処理モード及びマルチ画像表示モードの作動開始に従って、モノ発光からマルチ発光に自動的に切り替え、マルチ発光が作動中の場合には、光源切替条件に含まれる解析処理許容条件及びマルチ画像表示許容条件のうちいずれかを満たす場合には、モノ発光に自動的に切り替えることを禁止し、マルチ発光が作動中の場合には、解析処理許容条件を満たさず、且つ、マルチ画像表示許容条件を満たさない場合に、マルチ発光からモノ発光に自動的に切り替えることが好ましい。
 本発明は、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源を制御する光源用プロセッサであり、特定の照明光のみを発光するモノ発光と、互いに発光スペクトルが異なる第1照明光と第2照明光とを含む複数の照明光を、特定発光パターンに従って、切り替えながら発光するマルチ発光とに関する制御を行う光源用プロセッサと、マルチ発光の場合において、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して得られる第2画像信号とを出力する撮像センサと、画像制御用プロセッサとを備える内視鏡システムの作動方法において、画像制御用プロセッサは、第1画像信号に基づく表示用画像に対して、第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示する解析処理モードを作動させることが可能であり、特定の照明光により照明された観察対象を撮像して得られる特定の観察画像をディスプレイに表示する制御を行うモノ画像表示モードを作動させることが可能であり、第1画像信号に基づく第1の観察画像と第2画像信号に基づく第2の観察画像とを含む複数の観察画像を、特定の表示パターンに従って、切り替えてディスプレイに表示する制御を行うマルチ画像表示モードを作動させることが可能であり、画像制御用プロセッサは、解析処理モードの作動又は非作動、マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、モノ発光とマルチ発光との切替を自動的に行う。
 本発明によれば、ユーザーにとって、煩雑でなく、またストレスフルでなく、更には、ユーザーに意識(認識)させることなく、モノ発光とマルチ発光とを切り替えることができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 解析処理モード時に用いる特定発光パターンを示す説明図である。 マルチ画像表示モード時に用いる特定発光パターンを示す説明図である。 解析処理モードにおける画像表示を示す説明図である。 マルチ画像表示モードにおける画像表示を示す説明図である。 切替パターンAにおいてマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 マルチ発光の使用時間が時間用閾値以上となった場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 静止画の保存回数が回数用閾値以上となった場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 撮影条件取得部の機能を示すブロック図である。 観察部位が第1の部位から第2の部位に変化した場合、又は観察部位が第2の部位から第1の部位に変化した場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 明るさが第1明るさ用閾値以下、又は明るさが第2明るさ閾値以上となる場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 倍率変化量が倍率用閾値を超える場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 観察距離の変化量が距離用閾値を超える場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 ブレ量がブレ量用閾値を超える場合にマルチ画像表示モードからモノ画像表示モードに自動切替することを示す説明図である。 マルチ画像表示許容条件設定メニューを示す画像図である。 切替パターンAにおいてモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 元の観察部位に戻って観察する場合にモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 明るさが第1明るさ用閾値以上、又は明るさが第2明るさ閾値以下となる場合にモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 倍率変化量が倍率用閾値未満となる場合にモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 観察距離の変化量が距離用閾値以下となる場合にモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 ブレ量がブレ量用閾値以下となる場合にモノ画像表示モードからマルチ画像表示モードに自動切替することを示す説明図である。 切替パターンBにおいて解析処理モードからモノ画像表示モードに自動切替することを示す説明図である。 切替パターンCにおいて解析処理モードへ自動切替することを示す説明図である。 切替パターンCにおいてマルチ画像表示モードへ自動切替することを示す説明図である。 切替パターンCにおいてモノ画像表示モードへ自動切替することを示す説明図である。 切替パターンAにおける一連の流れを示すフローチャートである。 切替パターンBにおける一連の流れを示すフローチャートである。 切替パターンCにおける一連の流れを示すフローチャートである。
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
 また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13b、ズーム操作部13cが設けられている。モード切替SW13aは、モノ画像表示モード、解析処理モード、及び、マルチ画像表示モードの切り替えに用いられる。モノ画像表示モードは、通常光(特定の照明光)のみを発光(モノ発光)して、通常画像(特定の観察画像)をディスプレイ18に表示する。なお、モノ画像表示モードでは、通常光の他に、第1照明光又は第2照明光のいずれかを発光してもよい。また、解析処理モードとマルチ画像表示モードは両方同時に作動させることが可能である。
 解析処理モードでは、互いに発光スペクトルが異なる第1照明光と第2照明光とを、特定発光パターンに従って、切り替えて発光(マルチ発光)を行う。また、解析処理モードでは、第1照明光に基づく画像はディスプレイ18に表示するための表示用画像とする処理を行う一方、第2照明光に基づく画像に対して、AI(Artificial Intelligence)処理などの解析処理を行う。解析処理の結果は、表示用画像に重畳表示される。
 マルチ画像表示モードは、互いに発光スペクトルが異なる第1照明光と第2照明光とを、特定発光パターンに従って、切り替えて発光(マルチ発光)を行う。また、マルチ画像表示モードでは、第1照明光を観察対象に照明して得られる第1画像信号に基づく第1観察画像と、第2照明光を観察対象に照明して得られる第2画像信号に基づく第2観察画像とを、特定の表示パターンに従って、切り替えてディスプレイ18に表示する。
 静止画取得指示部13bは、観察対象の静止画を静止画保存部63(図2参照)に保存するための指示に用いられる。ズーム操作部13cは、内視鏡12に設けられたズームレンズ47及びズーム駆動部47a(図2参照)の操作に用いられる。
 プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置14は、光源部20と、光源用プロセッサ21と、光路結合部23とを有している。光源部20は、複数波長帯域の光を発光し、且つ、各波長帯域の光の発光比率の変更が可能となっている。なお、本明細書において、「互いに異なる複数の波長帯域の光」とは、複数の波長帯域が全く重ならないことを意味するものではなく、複数の波長帯域が一部重なっていてもよいことを意味する。光源部20は、複数波長帯域の光を発するために、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。なお、光源部20には複数の半導体光源を設けられていればよいため、LEDの代わりに、LD(Laser Diode)を用いてもよい。
 光源用プロセッサ21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。
 図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
 光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、各LED20a~20dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ21は、モノ画像表示モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED20a~20dを制御する。なお、Vc、Bc、Gc、Rc>0である。
 なお、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
 また、光源用プロセッサ21は、マルチ画像表示モード又は解析処理モード時に、第1照明光と第2照明光とを自動的に切り替えて発光する場合において、特定発光パターンとして、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する。具体的には、第1発光パターンは、第1照明光を発光する第1照明期間のフレーム数が、それぞれの第1照明期間において同じである第1A発光パターンと、第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかであることが好ましい。
 第2発光パターンは、第2照明光を発光する第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Aパターン、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Bパターン、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2Cパターン、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2Dパターンのうちのいずれかであることが好ましい。なお、第1照明光の発光スペクトルは、それぞれの第1照明期間において同じであってもよく、異なってもよい。
 図4に示すように、解析処理モード時に用いる特定発光パターンとして、第1発光パターンを第1Aパターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明期間を2フレームとし、第2照明期間を1フレームとしている。第1照明光は、ディスプレイ18に表示する表示用画像の生成に用いられることから、第1照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。例えば、第1照明光は、白色光であることが好ましい。一方、第2照明光は、解析処理に用いることから、第2照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、表層血管の形状情報に基づいて、解析処理を行う場合には、第2照明光として、紫色光Vを用いることが好ましい。なお、特定発光パターンは、第1照明期間は第2照明期間よりも長くすることが好ましく、第1照明期間は2フレーム以上とすることが好ましい。
 図5に示すように、マルチ画像表示モード時に用いる特定発光パターンとして、第1発光パターンを第1Aパターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明期間を2フレームとし、第2照明期間を2フレームとしている。マルチ画像表示モードにおいて、表層血管が強調された第1観察画像と、表層血管よりも深い位置にある中深層血管が強調された第2観察画像を自動的に切り替えてディスプレイ18に表示する場合においては、第1照明光は紫色光Vの光量が他の色の光(青色光B、緑色光G、赤色光R)の光量よりも大きい第1特殊光を用い、第2照明光は緑色光Gの光量が他の色の光(紫色光V、青色光G、赤色光R)の光量よりも大きい第2特殊光を用いることが好ましい。
 図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46及びズームレンズ47を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。ズームレンズ47はズーム駆動部47aにより光軸に沿って移動が可能である。このズームレンズ47が移動することにより、観察対象が拡大又は縮小される。なお、本発明の「倍率変更部」は、ズーム操作部13c、ズームレンズ47、及びズーム駆動部47aを含む構成に対応する。
 撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
 撮像センサ48は、モノ画像表示モードの場合には、通常光により照明された観察対象を撮像して得られる通常画像信号を出力する。撮像センサ48は、解析処理モード又はマルチ画像表示モードの場合には、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して得られる第2画像信号とを出力する。
 なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源用プロセッサ21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
 撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
 プロセッサ装置16には、モード自動切替などの処理に関するプログラムがプログラム用メモリ(図示しない)に格納されている。プロセッサ装置16においては、画像制御用プロセッサによって構成される中央制御部68によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理部60と、パラメータ切替部62と、表示制御部66と、モード自動切替部69の機能が実現される。
 画像取得部53には、通常画像信号、第1画像信号、及び第2画像信号など、内視鏡12からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。
 DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン処理、色調整処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。
 ゲイン処理では、オフセット処理後のRGB画像信号に特定のゲインパラメータを乗じることにより信号レベルが整えられる。特定のゲインパラメータは、観察モード毎に異なっている。例えば、モノ画像表示モードの場合であれば、通常画像信号に対して、特定のゲインパラメータとして、通常光用ゲインパラメータを乗じる通常光用ゲイン処理を行う。また、解析処理モード又はマルチ画像表示モード場合であれば、第1画像信号に対して、特定のゲインパラメータとして、第1照明光用ゲインパラメータを乗じる第1照明光用ゲイン処理が行われ、且つ、第2画像信号に対して、特定のゲインパラメータとして、第2照明光用ゲインパラメータを乗じる第2照明光用ゲイン処理が行われる。
 その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
 ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理部60に送信される。
 画像処理部60は、RGB画像信号に対して、各種の画像処理を施す。各種の画像処理には、モード毎に異なっている。画像処理部60は、モノ画像表示モードにセットされている場合には、パラメータ切替部62によって通常光用色強調処理パラメータと通常光用構造強調処理パラメータに切り替えられる。そして、通常光用色強調処理パラメータを用いて、通常画像信号に対して通常光用色強調処理を施し、且つ、通常光用構造強調処理パラメータを用いて、通常画像信号に対して通常光用構造強調処理を施す。そして、以上の処理が施された通常画像信号は、通常画像として、表示制御部66に入力される。
 解析処理モードにセットされている場合には、パラメータ切替部62によって、第1画像信号に対して用いる通常光用色強調処理パラメータと通常光用構造強調処理パラメータと、第2画像信号に対して用いる解析処理用パラメータとに切り替えられる。第1画像信号に対しては、通常光用色強調処理パラメータと通常光用構造強調処理パラメータとを用いて通常光用色強調処理と通常光用構造強調処理を施す。これにより、表示用画像しての通常画像が得られる。
 一方、第2画像信号に対して、解析処理用パラメータを用いて解析処理を施す。解析処理としては、機械学習された学習済みモデルに対して特定の入力画像が出力されたときに、特定の出力結果を出力するAI(Artificial Intelligence)処理がある。その他、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理などが解析処理に含まれる。解析処理の結果は、通常画像に重畳表示することによって解析結果付き表示用画像を得る。解析結果付き表示用画像は、表示制御部66に入力される。
 画像処理部60は、マルチ画像表示モードにセットされている場合には、パラメータ切替部62によって、第1画像信号に対して用いる第1照明光用色強調処理パラメータと第1照明光用構造強調処理パラメータと、第2画像信号に対して用いる第2照明光用色強調処理パラメータと第2照明光用構造強調処理パラメータとに切り替えられる。第1画像信号に対して、第1照明光用色強調処理パラメータと第1照明光用構造強調処理パラメータを用いて、第1照明光用色強調処理及び第1照明光用構造強調処理を施す。そして、以上の処理が施された第1像信号は、第1観察画像として、表示制御部66に入力される。
 また、第2画像信号に対して、第2照明光用色強調処理パラメータと第2照明光用構造強調処理パラメータを用いて、第2照明光用色強調処理及び第2照明光用構造強調処理を施す。また、画像処理部60は、マルチ画像表示モードにセットされている場合には、第1観察画像と第2観察画像との間において、観察対象に含まれる正常粘膜の色を同じにする粘膜色バランス処理が行われる。第1観察画像に対しては、第1粘膜色バランス処理が行われ、第2観察画像に対しては、第1粘膜色バランス処理の結果に基づく第2粘膜色バランス処理が行われる。そして、以上の処理が施されたRGB画像信号は、第2観察画像として、表示制御部66に入力される。
 なお、第1粘膜色バランス処理については、第1観察画像に含まれるB1画像信号、G1画像信号、R1画像信号において、例えば、下記D1)~D3)に示すように、画面全体の平均色が特定のカラーバランスになるように自動的に調整される。この第1粘膜色バランス処理は、観察対象において粘膜の色が支配的と仮定して行われる。そして、第1粘膜色バランス処理を行うことにより、第1粘膜色バランス処理済みのB1画像信号、G1画像信号、R1画像信号が得られる。
D1)B1画像信号=B1/B1ave
D2)G1画像信号=G1/G1ave
D3)R1画像信号=R1/R1ave
ここで、B1aveは、B1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。G1aveは、G1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。R1aveは、R1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。
 また、第2粘膜色バランス処理については、第2観察画像に含まれるB2画像信号、G2画像信号、R2画像信号において、例えば、下記E1)~E3)に示すように、画面全体の平均色が特定のカラーバランスになるように自動的に調整される。この第2粘膜色バランス処理では、第1粘膜色バランス処理で算出したB1ave、G1ave、R1aveが用いられる。そして、第2粘膜色バランス処理を行うことにより、第2粘膜色バランス処理済みのB2画像信号、G2画像信号、R2画像信号が得られる。
E1)B2画像信号=B2/B1ave
E2)G2画像信号=G2/G1ave
E3)R2画像信号=R2/R1ave
 表示制御部66は、画像処理部60から入力された通常画像、解析結果付き表示用画像、第1観察画像、又は第2観察画像を、ディスプレイ18で表示可能な画像として表示するための制御を行う。モノ画像表示モードの場合には、表示制御部66は、ディスプレイ18に通常画像を表示する。
 解析処理モードの場合は、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明光として白色光Wを2フレーム分、第2照明光としての紫色光V発光の間に、それぞれ1フレーム分だけ観察対象に照明する場合には、図6に示すように、紫色光Vの照明により得られるR2画像信号、G2画像信号、B2画像信号に対して解析処理を行って、解析結果Vを得る。解析結果Vは表示用画像に重畳表示されて、解析結果付き表示用画像として、ディスプレイ18に表示される。
 マルチ画像表示モードの場合には、第1発光パターンを第1A発光パターンとし、第2発光パターンを第2Aパターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明光を2フレーム分、第2照明光を2フレーム分発光する場合には、図7に示すように、表示制御部66は、第1観察画像又は第2観察画像を、それぞれ2フレーム間隔で、切り替えながらディスプレイ18に表示される。
 中央制御部68は、上記したように、プログラムの実行を行う他、プロセッサ装置16の各部の制御を行う。また、中央制御部68は、内視鏡12又は光源装置14からの情報を受信し、受信した情報に基づいて、プロセッサ装置16の各部の制御や、内視鏡12又は光源装置14の制御を行う。
 モード自動切替部69は、解析処理モードの作動又は非作動、マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、モノ発光とマルチ発光の切替を自動的に行う。モード自動切替部69による切替制御は、解析処理モードが非作動(OFF)、且つ、マルチ画像表示モードが作動(ON)の場合(切替パターンA)、解析処理モードが作動(ON)、且つ、マルチ画像表示モードが非作動(OFF)の場合(切替パターンB)、解析処理モードが作動(ON)、且つ、マルチ画像表示モードが作動(ON)の場合(切替パターンC)の3パターンに分けられる。
 切替パターンA(解析処理モード:OFF、マルチ画像表示モード:ON)の場合には、モード自動切替部69は、モノ発光が作動中の場合には、マルチ画像表示モードのOFFからONへの切り替えに従って、モノ発光からマルチ発光に自動的に切り替える。マルチ発光を行っているマルチ画像表示モード中においては、モード自動切替部69は、予め設定したマルチ画像表示許容条件(光源切替条件)を満たす場合には、マルチ発光を継続する。一方、マルチ画像表示許容条件を満たさない場合に、マルチ発光からモノ発光に自動的に切り替える。この場合には、図8に示すように、第1観察画像と第2観察画像をディスプレイ18に自動的に切り替えて表示する状態から、通常画像のみを連続してディスプレイ18に表示する状態に切り替える処理を行う。即ち、モノ画像表示モードに自動的に切り替えられる。
 なお、ユーザーにとって、マルチ画像表示モードとモノ画像表示モードのいずれに設定されているかが分かりにくい場合があるため、ディスプレイ18には、マルチ発光中の場合には「マルチ画像表示モード」である旨の表示がされ、モノ発光の場合には「モノ画像表示モード」である旨の表示がされている。
 マルチ画像表示許容条件を満たさない場合としては、例えば、マルチ画像表示モードの使用時間が、予め定めた時間用閾値以上となることとする。この場合には、プロセッサ装置16内に設けられた時間計測部(図示しない)において、モード切替SW13aにより、マルチ画像表示モードに設定されてからの時間が計測される。そして、計測した時間が時間用閾値以上となった場合に、図9に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。
 また、マルチ画像表示許容条件を満たさない場合としては、例えば、観察対象の静止画の保存回数が、予め定めた回数用閾値以上となることとする。この場合には、プロセッサ装置16内に設けられた回数カウント部(図示しない)において、静止画取得指示部13bが操作された回数をカウントする。そして、カウントした回数が回数用閾値以上となった場合に、図10に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。
 また、マルチ画像表示許容条件を満たさない場合としては、観察対象に関する撮影条件が変化する場合とすることが好ましい。この場合には、撮影条件を取得するために、プロセッサ装置16の画像処理部60内に撮影条件取得部70が設けられる。撮影条件取得部70は、図11に示すように、観察部位取得部72と、明るさ算出部74と、倍率取得部76と、観察距離取得部78と、ブレ量算出部80とを備えている。
 マルチ画像表示許容条件を満たさない場合として、撮影条件の一つである観察部位が変化した場合は、例えば、現在撮影を行っている観察部位が、第1の部位(例えば、「食道」)から第2の部位(例えば、「胃」)に変化した場合、または第2の部位から第1の部位に変化した場合、図12に示すように、マルチ発光からモノ発光に自動的に切り替える。観察部位が変化する場合は、内視鏡の先端部12dが移動していると考えられ、交互に発光される第1照明光または第2照明光が観察対象に確実に照明されないことがあり、このような場合は、マルチ発光に適さない。
 観察部位に関する情報については、観察部位取得部72において取得する。観察部位取得部72は、マルチ発光において得られる第1観察画像又は第2観察画像の画像的特徴量から、観察部位を判定する。例えば、第1観察画像又は第2観察画像において画面中央部が他の周辺部よりも明るさが暗い場合には、観察部位は「食道」であると判定される。また、第1観察画像又は第2観察画像において画面中央部が他の周辺部よりも明るさが明るい場合には、観察部位は「胃」であると判定される。
 マルチ画像表示許容条件を満たさない場合として、撮影条件の一つである観察対象の明るさが、第1明るさ用閾値以下、又は第1明るさ用閾値より大きい第2明るさ閾値以上となる場合は、図13に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。明るさが第1明るさ用閾値以下の場合には、観察対象全体が暗いため、マルチ発光に適さない状態となっている。同様にして、明るさが第2明るさ閾値以上の場合には、ハレーションが生じている場合など、観察対象全体が極めて明るいため、マルチ発光に適さない状態となっている。なお、明るさに関する情報は、明るさ算出部74において取得する。明るさ算出部74は、第1観察画像または第2観察画像から画素値の平均値を算出し、算出した画素値の平均値から明るさを算出する。ここで、画素値の平均値が大きければ大きいほど、明るさは大きくなる。
 マルチ画像表示許容条件を満たさない場合として、撮影条件の一つである観察対象の倍率について、倍率変化量が倍率用閾値を超えた場合に、図14に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。観察対象の倍率が大きく変化して、倍率変化量が倍率用閾値を超えるような場合には、観察対象に対する照明光の照明分布が変化して、マルチ発光に適さない場合が多い。なお、観察対象の倍率については、ズーム操作部13cが操作される毎に、いずれの倍率に設定されたかのズーム情報が倍率取得部76に送信される。モード自動切替部69は、倍率取得部76にて取得したズーム情報を参照して、倍率変化量が倍率用閾値を超えたか否かを判定する。
 マルチ画像表示許容条件を満たさない場合として、撮影条件の一つである観察距離(内視鏡の先端部12dと観察対象との距離)について、観察距離の変化量が距離用閾値を超えた場合に、図15に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。観察対象の倍率と同様に、観察距離が大きく変化して、観察距離の変化量が距離用閾値を超えるような場合には、観察対象に対する照明光の照明分布が変化して、マルチ発光に適さない場合が多い。なお、観察距離については、観察距離取得部78が、マルチ発光にて得られる第1観察画像または第2観察画像から画素値の平均値を算出し、算出した画素値の平均値から観察距離を求める。ここで、画素値の平均値が大きければ大きいほど、観察距離は小さいとされる。
 マルチ画像表示許容条件を満たさない場合として、撮影条件の一つである画像のブレ量がブレ量用閾値を超えた場合に、図16に示すように、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。画像のブレ量が大きく、ブレ量がブレ量用閾値を超えるような場合には、照明光が確実に観察対象に当たらない場合があり、マルチ発光に適さない場合が多い。なお、ブレ量については、ブレ量算出部80が、マルチ発光にて得られる第1観察画像または第2観察画像からコントラストを求め、コントラストからブレ量を算出する。コントラストが低くなるほど、ブレ量が大きくなる。ブレ量の算出方法としては、コントラストを用いる他、第1観察画像または第2観察画像の周波数成分から算出するようにしてもよい(周波数成分が低周波の成分となるほど、ブレ量が大きくなる)。
 以上のように、マルチ発光からモノ発光への自動切替に用いるマルチ画像表示許容条件については、ユーザーにより適宜設定可能である。この場合には、ユーザーはユーザーインターフェース19を操作して、図17に示すマルチ画像表示許容条件設定メニュー82をディスプレイ18に表示させる。このマルチ画像表示許容条件設定メニュー82においては、「時間用閾値」、「回数用閾値」の設定を行うことができる。「時間用閾値」の場合であれば、マルチ画像表示許容条件設定メニュー82にて「100秒」に設定すると、マルチ画像表示モードの使用時間が「100秒」に達した時点で、マルチ発光からモノ発光に自動的に切り替えられる。また、「回数用閾値」の場合であれば、マルチ画像表示許容条件設定メニュー82にて「40回」に設定すると、静止画取得指示部13bの操作回数が「40回」に達した時点で、マルチ発光からモノ発光に自動的に切り替えられる。
 なお、後述するように、モノ発光からマルチ発光への自動切替に用いるマルチ画像表示再開条件については、マルチ画像表示許容条件設定メニュー82と同様のマルチ画像表示再開条件設定メニューをディスプレイ18に表示して、適宜設定できるようにすることが好ましい。
 また、マルチ画像表示許容条件設定メニュー82においては、「第1の部位」、「第2の部位」の設定を行うことができる。「第1の部位」を「食道」とし、「第2の部位」を「胃」として設定した場合には、観察部位が「食道」から「胃」に変わった場合、又は「胃」から「食道」に変わった場合に、マルチ発光からモノ発光に自動的に切り替えられる。また、マルチ画像表示許容条件設定メニュー82においては、「第1明るさ閾値」、「第2明るさ閾値」の設定を行うことができる。「第1明るさ閾値」をP1とし、「第2明るさ閾値」をP2(>P1)として設定した場合には、観察対象の明るさがP1以下、又はP2位以上となった場合に、マルチ発光からモノ発光に自動的に切り替えられる。
 また、マルチ画像表示許容条件設定メニュー82においては、「倍率用閾値」の設定を行うことができる。「倍率用閾値」を「5倍」とした場合には、観察対象の倍率変化量が「5倍」を超えた時点で、マルチ発光からモノ発光に自動的に切り替えられる。また、マルチ画像表示許容条件設定メニュー82においては、「距離用閾値」の設定を行うことができる。「距離用閾値」をLxとした場合には、観察距離の変化量がLxを超えた場合に、マルチ発光からモノ発光に自動的に切り替えられる。また、マルチ画像表示許容条件設定メニュー82においては、「ブレ量用閾値」の設定を行うことができる。「ブレ量用閾値」をBrに設定した場合には、ブレ量がBrを超えた場合に、マルチ発光からモノ発光に自動的に切り替えられる。
 モード自動切替部69は、マルチ画像表示許容条件を満たさなくなることにより、マルチ発光からモノ発光に自動的に切り替わり、且つ、マルチ画像表示モードからモノ画像表示モードに自動的に切り替えられた場合において、図18に示すように、予め設定されたマルチ画像表示再開条件(光源切替条件)を満たした場合に、モノ発光からマルチ発光に自動的に切り替え、且つ、マルチ画像表示モードを作動させる。観察対象に関する撮影条件が変化した場合などに、モノ発光に自動的に切り替えているが、観察対象に関する撮影条件の変化がマルチ発光許容範囲内である場合など、マルチ画像表示再開条件を満たした場合などには、モノ発光からマルチ発光に自動的に切り替えることが好ましい。なお、撮影条件の変化がマルチ発光許容範囲内であるとは、撮影条件の変化によっても、マルチ発光によって得られる第1の観察画像と第2の観察画像の切り替え表示に対する視認性に影響を与えないことをいう。
 マルチ画像表示再開条件は、観察対象が、第1の部位(例えば、「食道」)から第2の部位(例えば、「胃」)に変わってから、一定時間内に第1の部位に戻った場合、または、第2の部位から第1の部位に変わってから、一定時間内に第2の部位に戻った場合であることが好ましい。この場合には、図19に示すように、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードに自動的に切り替わる。観察部位が直ぐに元の部位に戻った場合には、照明条件がそれほど変化せず、マルチ発光による発光状態に影響を与えないためである。なお、観察部位に関する情報については、上記と同様に、観察部位取得部72において取得する。
 マルチ画像表示再開条件は、観察対象の明るさが、第1明るさ閾値以上、または第1明るさ閾値以下となった場合であることが好ましい。この場合には、図20に示すように、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードに自動的に切り替わる。明るさが暗くなったり、又は、明るくなったりしても、一定時間後に、元の通常の明るさ(第1明るさ閾値以上、または第1明るさ閾値以下)に戻った場合には、マルチ発光による発光状態に影響を与えないためである。なお、明るさに関する情報については、上記と同様に、明るさ算出部74において取得する。
 マルチ画像表示再開条件は、観察対象の倍率を変化させる場合において、観察対象の倍率変化量が倍率用閾値未満であることが好ましい。この場合には、図21に示すように、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードに自動的に切り替わる。観察対象の倍率の変化がそれほど大きくなく、倍率変化量が倍率用閾値を超えたのが一時的であり、直ぐに、倍率用閾値未満に収まったような場合には、マルチ発光による発光状態に影響を与えないためである。なお、観察対象の倍率については、上記と同様に、倍率取得部76において取得する。
 マルチ画像表示再開条件は、観察距離の変化量が距離用閾値以下となった場合であることが好ましい。この場合には、図22に示すように、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードに自動的に切り替わる。観察距離の変化がそれほど大きくなく、観察距離の変化量が距離用閾値を超えたのが一時的であり、直ぐに、距離用閾値未満に収まったような場合には、マルチ発光による発光状態に影響を与えないためである。なお、観察距離については、上記と同様に、観察距離取得部78において取得する。
 マルチ画像表示再開条件は、観察画像のブレ量がブレ量用閾値以下となった場合であることが好ましい。この場合には、図23に示すように、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードに自動的に切り替わる。画像のブレ量がそれほど大きくなく、ブレ量がブレ量用閾値を超えたのが一時的であり、直ぐに、ブレ量用閾値未満に収まったような場合には、マルチ発光による発光状態に影響を与えないためである。なお、ブレ量については、上記と同様に、ブレ量算出部80において算出する。
 ただし、意図せずに、マルチ発光に自動的に切り替わること(マルチ画像表示モードに自動的に切り替わること)を防ぐため、モード自動切替部69は、マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たす場合に、モノ発光からマルチ発光に自動的に切り替え、且つ、モノ画像表示モードからマルチ画像表示モードに自動的に切り替える。一方、マルチ画像表示再開条件を満たし、且つ、再開許容条件(光源切替条件)を満たさない場合に、マルチ発光に自動的に切り替えることを禁止することが好ましい。再開許容条件は、ユーザーにより設定可能であることが好ましい。また、再開許容条件が満たすか否かを判定するために、再開許容条件を示す再開許容有無フラグが用いられる。再開許容有無フラグが「1」であることは、再開許容条件を満たさないことを表し、再開許容有無フラグが「0」であることは、再開許容条件を満たすことを表す(図18~図23参照)。
 再開許容条件は、解析処理モードがOFFであり、且つ、ユーザーが、モード切替SW13aによってモノ画像表示モードを選択していない場合であることが好ましい。ユーザーがモノ発光を選択した場合には、再開許容有無フラグが「0」となり、モノ発光を選択しない場合には、再開許容有無フラグが「1」となる。ユーザーが自発的にモノ画像表示モードを選択する場合には、マルチ発光に自動的に切り替えないことが好ましい。
 再開許容条件は、解析処理モードがOFFであり、且つ、マルチ画像表示許容条件を満たしてマルチ発光からモノ発光に自動的に切り替えてから、再開許容時間を経過していない場合であることが好ましい。この場合には、時間計測部(図示しない)において、モノ発光に切り替えてからの時間が計測される。計測した時間が再開許容時間を経過してない場合には、再開許容有無フラグを「1」で維持する。そして、計測した時間が再開許容時間を経過した場合には、再開許容有無フラグを「0」に切り替える。再開許容時間を経過した後は、モノ発光に基づく観察に適した状態と考えられるため、マルチ発光に自動的に切り替えないことが好ましい。
 再開許容条件は、解析処理モードがOFFであり、且つ、マルチ発光の実施が可能である場合であることが好ましい。マルチ発光の実施が可能又は不可の判定については、プロセッサ装置16のマルチ発光実施可能判定部(図示しない)が行う。具体的には、マルチ発光実施可能判定部は、内視鏡12、光源装置14、及びプロセッサ装置16に関する異常などを検出し、検出結果に基づいて、マルチ発光の実施可能又は実施不可を判定する。この場合には、マルチ発光実施可能判定部が、マルチ発光が実施可能と判定した場合には、再開許容有無フラグを「1」とし、マルチ発光が実施不可と判定した場合には、再開許容有無フラグを「0」とする。内視鏡12、光源装置14、及びプロセッサ装置16に関する異常などが生じて、マルチ発光の実施が難しくなった場合には、マルチ発光に自動的に切り替えないことが好ましい。
 再開許容条件は、解析処理モードがOFFであり、且つ、倍率変更部の使用又は不使用の切替が行われていない場合であることが好ましい。倍率変更部の使用とは、ズーム操作部13cを「ON」にして倍率変更が可能な状態をいう。倍率変更部の不使用とは、ズーム操作部13cを「OFF」にして倍率変更をしない状態をいう。この場合には、マルチ画像表示許容条件を満たしてモノ発光に自動的に切り替えられた後、倍率変更部の使用又は不使用の切り替えがない場合には、再開許容有無フラグを「1」とする一方、倍率変更部の使用又は不使用が切り替えられた場合には、再開許容有無フラグを「0」とする。倍率変更部の使用又は不使用の切替えが行われた場合には、前回のマルチ発光の場合とは異なる対象を観察し、必ずしもマルチ発光を使用するとは限らないことから、マルチ発光に自動的に切り替えないことが好ましい。
 切替パターンB(解析処理モード:ON、マルチ画像表示モード:OFF)の場合には、モード自動切替部69は、モノ発光が作動中の場合には、解析処理モードのOFFからONへの切り替えに従って、モノ発光からマルチ発光に自動的に切り替える。マルチ発光を行っている解析処理モード中においては、モード自動切替部69は、予め設定した解析処理許容条件(光源切替条件)を満たす場合には、マルチ発光からモノ発光に自動的に切り替えることを禁止する。一方、モード自動切替部69は、解析処理許容条件を満たさない場合には、マルチ発光からモノ発光に自動的に切り替わる。これに従って、図24に示すように、解析結果付き表示用画像をディスプレイ18に表示する解析処理モードから、通常画像のみをディスプレイ18に表示するモノ画像表示モードに自動的に切り替わる。
 なお、解析処理許容条件としては、例えば、観察対象に関する撮影条件の変化が解析処理許容範囲内であることが好ましい。解析処理許容範囲内とは、撮影条件の変化によっても、解析処理を一定の精度で行なうことが可能であることをいう。解析処理許容範囲内の具体例としては、ハレーションや暗部などの解析処理の影響を与えうる領域が、第2画像信号に基づく画面内に占める面積が一定以下の場合である。一方、解析処理許容範囲外の具体例としては、ハレーションや暗部などの解析処理の影響を与えうる領域が、第2画像信号に基づく画面内に占める面積が一定を超える場合である。
 なお、解析処理モードからモノ画像表示モードに自動的に切り替わった場合には、モード自動切替部69は、予め定められた解析処理再開条件(光源切替条件)を満たした場合には、モノ画像表示モードから解析処理モードに自動的に切り替えるようにしてもよい。この場合、モード自動切替部69は、解析処理再開条件を満たした場合であっても、再開許容条件(上記と同様であることが好ましい。)を満たさない場合には、解析処理モードへの自動的な切替を禁止することが好ましい。なお、解析処理再開条件は、マルチ画像表示再開条件と同じでもよく、異なってもよい。
 切替パターンC(解析処理モード:ON、マルチ画像表示モード:ON)の場合には、モード自動切替部69は、モノ発光が作動中の場合には、解析処理モード及びマルチ画像表示モードのOFFからONへの切り替えに従って、モノ発光からマルチ発光に自動的に切り替える。これに従って、解析結果付き表示用画像がディスプレイ18に表示され、且つ、第1観察画像と第2観察画像とが自動的に切り替わってディスプレイ18に表示される(図25~図27参照)。
 マルチ発光を行っている解析処理モード及びマルチ画像表示モード中においては、モード自動切替部69は、マルチ画像表示許容条件を満たさない場合であっても、解析処理許容条件を満たす場合には、マルチ発光からモノ発光に自動的に切り替えることを禁止する。この場合には、図25に示すように、ディスプレイ18上では第1観察画像と第2観察画像との自動切替表示が停止する一方で、ディスプレイ18上での解析結果付き表示用画像の表示が継続される。
 また、マルチ発光を行っている解析処理モード及びマルチ画像表示モード中においては、モード自動切替部69は、マルチ画像表示許容条件を満たした場合であっても、解析処理許容条件を満さない場合には、マルチ発光からモノ発光に自動的に切り替えることを禁止する。この場合には、図26に示すように、ディスプレイ18上での解析結果付き表示用画像の表示が停止する一方で、ディスプレイ18上での第1観察画像と第2観察画像との自動切替表示が継続される。
 また、マルチ発光を行っている解析処理モード及びマルチ画像表示モード中においては、モード自動切替部69は、マルチ画像表示許容条件を満たさず、且つ、解析処理許容条件を満さない場合には、マルチ発光からモノ発光に自動的に切り替えられる。これに従って、図27に示すように、通常画像のみをディスプレイ18に表示するモノ画像表示モードに切り替わる。
 なお、切替パターンCにおいても、解析処理モードからモノ画像表示モードに自動的に切り替わった場合には、モード自動切替部69は、予め定められた解析処理再開条件を満たした場合には、モノ画像表示モードから解析処理モードに自動的に切り替えるようにしてもよい。モード自動切替部69は、解析処理再開条件を満たした場合であっても、再開許容条件を満たさない場合には、解析処理モードへの自動的な切替を禁止することが好ましい。
 また、切替パターンCにおいても、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わった場合には、モード自動切替部69は、予め定められたマルチ画像表示再開条件を満たした場合には、モノ画像表示モードからマルチ画像表示モードに自動的に切り替えるようにしてもよい。モード自動切替部69は、マルチ画像表示再開条件を満たした場合であっても、再開許容条件を満たさない場合には、マルチ画像表示モードへの自動的な切替を禁止することが好ましい。
 次に、切替パターンA(解析処理モード:OFF、マルチ画像表示モード:ON)の場合の一連の流れについて、図28に示すフローチャートに沿って説明する。マルチ画像表示モードにおいては、第1照明光と第2照明光とが、特定の発光パターン(本実施形態では2フレーム間隔)に従って、切り替えて発光される。そして、第1照明光により照明された観察対象を撮像して得られる第1観察画像と、第2照明光により照明された観察対象を撮像して得られる第2観察画像とを、特定の表示パターン(本実施形態では2フレーム間隔)に従って、切り替えてディスプレイ18に表示される。
 マルチ画像表示許容条件を満たす限りにおいては、マルチ画像表示モードは継続する。そして、予め定めたマルチ画像表示許容条件を満たさなくなった場合に、マルチ発光からモノ発光に自動的に切り替える。これに従って、マルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。
 マルチ画像表示許容条件を満たさない場合としては、マルチ発光の使用時間が時間用閾値を超えた場合や、静止画の保存回数が回数用閾値を超えた場合などがある。その他、マルチ画像表示許容条件を満たさない場合として、観察対象に関する撮影条件が変化した場合がある。モノ発光に自動的に切り替えられる(モノ画像表示モードへの切替)と、第1照明光と第2照明光の切替発光は停止される。これに合わせて、第1観察画像と第2観察画像の切替表示も停止される。そして、通常光が発光され、通常光により照明された観察対象を撮像して得られる通常画像がディスプレイ18に表示される。
 モノ画像表示モードに自動的に切り替えられた後は、プロセッサ装置16において、マルチ画像表示再開条件を満たすか否かが監視される。マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たす場合には、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードからマルチ画像表示モードへの切替えが行われる。一方、マルチ画像表示再開条件を満たしても、再開許容条件を満たさない場合には、マルチ発光に自動的に切り替えることを禁止する。また、マルチ画像表示再開条件を満たさない場合にも、マルチ発光に自動的に切り替えることを禁止する。マルチ発光への自動的な切替が禁止された場合には、モノ画像表示モードを継続する。
 次に、切替パターンB(解析処理モード:ON、マルチ画像表示モード:OFF)の一連の流れについて、図29に示すフローチャートに沿って説明する。解析処理モードの場合には、第1照明光と第2照明光とが、特定の発光パターンに従って、切り替えて発光される。そして、第2照明光により照明された観察対象を撮像して得られる第2画像信号に対して、解析処理が行われる。そして、第1照明光により照明された観察対象を撮像して得られる第1画像信号に基づく表示用画像に対して、解析処理の解析結果を重畳表示することにより、解析結果付き表示用画像が得られる。解析結果付き表示用画像は、ディスプレイ18に表示される。
 解析処理許容条件を満たす限りにおいては、解析処理モードは継続する。そして、予め定めた解析処理許容条件を満たさなくなった場合に、マルチ発光からモノ発光に自動的に切り替える。これに従って、解析処理モードからモノ画像表示モードに自動的に切り替わる。
 モノ画像表示モードに自動的に切り替えられた後は、プロセッサ装置16において、解析処理再開条件を満たすか否かが監視される。解析処理再開条件を満たし、且つ、再開許容条件を満たす場合には、モノ発光からマルチ発光に自動的に切り替える。これに従って、モノ画像表示モードから解析処理モードへの切替えが行われる。一方、解析処理再開条件を満たしても、再開許容条件を満たさない場合には、マルチ発光に自動的に切り替えることを禁止する。また、解析処理再開条件を満たさない場合にも、マルチ発光に自動的に切り替えることを禁止する。マルチ発光への自動的な切替が禁止された場合には、モノ画像表示モードを継続する。
 次に、切替パターンC(解析処理モード:ON、マルチ画像表示モード:ON)の一連の流れについて、図30に示すフローチャートに沿って説明する。解析処理モード及びマルチ画像表示モードを両方作動させる場合には、第1照明光と第2照明光とが、特定の発光パターンに従って、切り替えて発光される。そして、第2照明光により照明された観察対象を撮像して得られる第2画像信号に対して、解析処理が行われる。そして、第1照明光により照明された観察対象を撮像して得られる第1画像信号に基づく表示用画像に対して、解析処理の解析結果を重畳表示することにより、解析結果付き表示用画像が得られる。解析結果付き表示用画像は、ディスプレイ18に表示される。
 また、ディスプレイ18においては、第1照明光により照明された観察対象を撮像して得られる第1観察画像と、第2照明光により照明された観察対象を撮像して得られる第2観察画像とを、特定の表示パターン(本実施形態では2フレーム間隔)に従って、切り替えて表示される。
 解析処理許容条件及びマルチ画像表示許容条件を満たす限りにおいては、解析処理モードとマルチ画像表示モードは継続する。解析処理許容条件及びマルチ画像表示許容条件のうち一方を満たし、他方を満たさない場合には、マルチ発光からモノ発光に自動的に切替わることを禁止する。この場合、解析処理許容条件及びマルチ画像表示許容条件のうち条件を満たすモードについては継続し、条件を満たさないモードについては停止する。これに対して、解析処理許容条件を満たさず、且つ、マルチ画像表示許容条件を満たさなくなった場合に、マルチ発光からモノ発光に自動的に切り替える。これに従って、解析処理モード及びマルチ画像表示モードからモノ画像表示モードに自動的に切り替わる。
 モノ画像表示モードに自動的に切り替えられた後は、プロセッサ装置16において、解析処理再開条件及びマルチ画像表示再開条件を満たすか否かが監視される。解析処理再開条件を満たし、且つ、再開許容条件を満たす場合には、モノ発光からマルチ発光に自動的に切り替える。これに従って、解析処理モードに自動的に切り替えられる。また、マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たす場合には、モノ発光からマルチ発光に自動的に切り替える。これに従って、マルチ画像表示モードに自動的に切り替えられる。
 なお、上記実施形態においては、第1照明光と第2照明光とを、特定の発光パターンに従って、切り替えながら発光し、且つ、第1照明光に対応する第1観察画像と第2照明光に対応する第2観察画像とを、特定の表示パターンに従って、切り替えてディスプレイ18に表示するようにしているが、互いに波長帯域が異なる3種類以上の照明光を、特定の発光パターンに従って、切り替えながら発光し、且つ、各照明光に対応する3種類以上の観察画像を、特定の表示パターンに従って、切り替えてディスプレイ18に表示するようにしてもよい。
 上記実施形態において、画像取得部53、DSP56、ノイズ除去部58、画像処理部60、パラメータ切替部62、中央制御部68、モード自動切替部69など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SWf
13b 静止画取得指示部
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 光源用プロセッサ
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
47a ズーム駆動部
48 撮像センサ
50 CDS・AGC回路回路
52 A/D変換器
53 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 画像処理部
62 パラメータ切替部
63 静止画保存部
66 表示制御部
68 中央制御部
69 モード自動切替部
70 撮影条件取得部
72 観察部位取得部
74 明るさ算出部
76 倍率取得部
78 観察距離取得部
80 ブレ量算出部
82 マルチ画像表示許容条件設定メニュー
 

Claims (13)

  1.  互いに異なる波長帯域の光を発光する複数の半導体光源と、
     前記複数の半導体光源を制御する光源用プロセッサであり、特定の照明光のみを発光するモノ発光と、互いに発光スペクトルが異なる第1照明光と第2照明光とを含む複数の照明光を、特定発光パターンに従って、切り替えながら発光するマルチ発光とに関する制御を行う光源用プロセッサと、
     前記マルチ発光の場合において、前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して得られる第2画像信号とを出力する撮像センサと、
     画像制御用プロセッサとを備え、
     前記画像制御用プロセッサは、
     前記第1画像信号に基づく表示用画像に対して、前記第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示する解析処理モードを少なくとも作動させることが可能であり、
     前記特定の照明光により照明された観察対象を撮像して得られる特定の観察画像をディスプレイに表示する制御を行うモノ画像表示モードを作動させることが可能であり、
     前記第1画像信号に基づく第1の観察画像と前記第2画像信号に基づく第2の観察画像とを含む複数の観察画像を、特定の表示パターンに従って、切り替えて前記ディスプレイに表示する制御を行うマルチ画像表示モードを作動させることが可能であり、
     前記画像制御用プロセッサは、
     前記解析処理モードの作動又は非作動、前記マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、前記モノ発光と前記マルチ発光との切替を自動的に行う内視鏡システム。
  2.  前記解析処理モードを非作動にし、且つ、前記マルチ画像表示モードを作動させる場合において、
     前記画像制御用プロセッサは、
     前記モノ発光が作動中の場合は、前記モノ発光から前記マルチ発光に自動的に切り替える請求項1記載の内視鏡システム。
  3.  前記光源切替条件に含まれるマルチ画像表示許容条件を満たさなくなることにより、前記マルチ発光から前記モノ発光に自動的に切り替えられ、且つ、前記マルチ画像表示モードから前記モノ画像表示モードに自動的に切り替えられた場合において、
     前記画像制御用プロセッサは、
     前記光源切替条件において、マルチ画像表示再開条件を満たし、且つ、再開許容条件を満たす場合に、前記モノ発光から前記マルチ発光に自動的に切り替え、且つ、前記マルチ画像表示モードを作動させ、
     前記マルチ画像表示再開条件を満たし、且つ、前記再開許容条件を満たさない場合に、前記マルチ発光に自動的に切り替えることを禁止する請求項2記載の内視鏡システム。
  4.  前記再開許容条件は、ユーザーが前記モノ発光を選択していない場合である請求項3記載の内視鏡システム。
  5.  前記再開許容条件は、前記モノ発光に切り替えてから再開許容時間を経過していない場合である請求項3または4記載の内視鏡システム。
  6.  前記再開許容条件は、前記マルチ発光の実施が可能である場合である請求項3ないし5いずれか1項記載の内視鏡システム。
  7.  観察対象の倍率を変化させるための倍率変更部を有し、
     前記再開許容条件は、前記倍率変更部の使用又は不使用の切替えが行われていない場合である請求項3ないし6いずれか1項記載の内視鏡システム。
  8.  前記再開許容条件はユーザーにより設定が可能である請求項3ないし7いずれか1項記載の内視鏡システム。
  9.  前記マルチ画像表示再開条件は、観察対象に関する撮影条件の変化がマルチ発光許容範囲内である請求項3ないし8いずれか1項記載の内視鏡システム。
  10.  前記解析処理モードを作動させ、且つ、前記マルチ画像表示モードを非作動とする場合において、
     前記画像制御用プロセッサは、
     前記モノ発光が作動中の場合には、前記解析処理モードの作動開始に従って、前記モノ発光から前記マルチ発光に自動的に切り替える請求項1記載の内視鏡システム。
  11.  前記光源切替条件に含まれる解析処理許容条件を満たさなくなることにより、前記マルチ発光から前記モノ発光に自動的に切り替えられ、且つ、前記解析処理モードから前記モノ画像表示モードに自動的に切り替えられた場合において、
     前記画像制御用プロセッサは、
     前記光源切替条件において、解析処理再開条件を満たし、且つ、再開許容条件を満たす場合に、前記モノ発光から前記マルチ発光に自動的に切り替え、且つ、前記解析処理モードを作動させ、
     前記解析処理再開条件を満たし、且つ、前記再開許容条件を満たさない場合に、前記マルチ発光に自動的に切り替えることを禁止する請求項10記載の内視鏡システム。
  12.  前記解析処理モードを作動させ、且つ、前記マルチ画像表示モードを作動させる場合において、
     前記画像制御用プロセッサは、
     前記モノ発光が作動中の場合には、前記解析処理モード及び前記マルチ画像表示モードの作動開始に従って、前記モノ発光から前記マルチ発光に自動的に切り替え、
     前記マルチ発光が作動中の場合には、前記光源切替条件に含まれる解析処理許容条件及びマルチ画像表示許容条件のうちいずれかを満たす場合には、前記モノ発光に自動的に切り替えることを禁止し、
     前記マルチ発光が作動中の場合には、前記解析処理許容条件を満たさず、且つ、前記マルチ画像表示許容条件を満たさない場合に、前記マルチ発光から前記モノ発光に自動的に切り替える請求項1記載の内視鏡システム。
  13.  互いに異なる波長帯域の光を発光する複数の半導体光源と、
     前記複数の半導体光源を制御する光源用プロセッサであり、特定の照明光のみを発光するモノ発光と、互いに発光スペクトルが異なる第1照明光と第2照明光とを含む複数の照明光を、特定発光パターンに従って、切り替えながら発光するマルチ発光とに関する制御を行う光源用プロセッサと、
     前記マルチ発光の場合において、前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して得られる第2画像信号とを出力する撮像センサと、
     画像制御用プロセッサとを備える内視鏡システムの作動方法において、
     前記画像制御用プロセッサは、
     前記第1画像信号に基づく表示用画像に対して、前記第2画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をディスプレイに表示する解析処理モードを作動させることが可能であり、
     前記特定の照明光により照明された観察対象を撮像して得られる特定の観察画像をディスプレイに表示する制御を行うモノ画像表示モードを作動させることが可能であり、
     前記第1画像信号に基づく第1の観察画像と前記第2画像信号に基づく第2の観察画像とを含む複数の観察画像を、特定の表示パターンに従って、切り替えて前記ディスプレイに表示する制御を行うマルチ画像表示モードを作動させることが可能であり、
     前記画像制御用プロセッサは、
     前記解析処理モードの作動又は非作動、前記マルチ画像表示モードの作動又は非作動、及び、予め定められた光源切替条件に基づいて、前記モノ発光と前記マルチ発光との切替を自動的に行う内視鏡システムの作動方法。
     
     
     
PCT/JP2020/043834 2020-01-09 2020-11-25 内視鏡システム及びその作動方法 WO2021140766A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20912245.6A EP4088644A4 (en) 2020-01-09 2020-11-25 ENDOSCOPE SYSTEM AND METHOD OF USE
JP2021569752A JP7362783B2 (ja) 2020-01-09 2020-11-25 内視鏡システム及びその作動方法
CN202080092583.9A CN114929091A (zh) 2020-01-09 2020-11-25 内窥镜系统及其工作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020002216 2020-01-09
JP2020-002216 2020-01-09

Publications (1)

Publication Number Publication Date
WO2021140766A1 true WO2021140766A1 (ja) 2021-07-15

Family

ID=76787857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043834 WO2021140766A1 (ja) 2020-01-09 2020-11-25 内視鏡システム及びその作動方法

Country Status (4)

Country Link
EP (1) EP4088644A4 (ja)
JP (1) JP7362783B2 (ja)
CN (1) CN114929091A (ja)
WO (1) WO2021140766A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法
JP2012130505A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
WO2015190443A1 (ja) * 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016131837A (ja) * 2015-01-22 2016-07-25 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP2016179236A (ja) * 2016-06-17 2016-10-13 富士フイルム株式会社 内視鏡装置
WO2019093356A1 (ja) 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163540A1 (ja) * 2018-02-20 2019-08-29 富士フイルム株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法
JP2012130505A (ja) * 2010-12-21 2012-07-12 Fujifilm Corp 光計測システムおよび光計測方法
WO2015190443A1 (ja) * 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016131837A (ja) * 2015-01-22 2016-07-25 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP2016179236A (ja) * 2016-06-17 2016-10-13 富士フイルム株式会社 内視鏡装置
WO2019093356A1 (ja) 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4088644A4

Also Published As

Publication number Publication date
EP4088644A4 (en) 2023-12-13
CN114929091A (zh) 2022-08-19
EP4088644A1 (en) 2022-11-16
JP7362783B2 (ja) 2023-10-17
JPWO2021140766A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111343898B (zh) 内窥镜系统及其工作方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
US11089943B2 (en) Endoscope system and method of operating the same
JP2020116148A (ja) 内視鏡システム
JP7080195B2 (ja) 内視鏡システム
US11744437B2 (en) Medical image processing system
JP7069290B2 (ja) 内視鏡システム及びその作動方法
WO2020039932A1 (ja) 内視鏡システム
WO2021140766A1 (ja) 内視鏡システム及びその作動方法
US11969152B2 (en) Medical image processing system
WO2021199910A1 (ja) 医用画像処理システム、医用画像処理システムの作動方法
WO2021131468A1 (ja) 内視鏡システム及びその作動方法
JP7390482B2 (ja) 内視鏡システム及びその作動方法
JP7171885B2 (ja) 内視鏡システム
WO2021095417A1 (ja) 内視鏡システム
JP7386266B2 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP2020116146A (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912245

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569752

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020912245

Country of ref document: EP

Effective date: 20220809