WO2022044371A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2022044371A1
WO2022044371A1 PCT/JP2021/004827 JP2021004827W WO2022044371A1 WO 2022044371 A1 WO2022044371 A1 WO 2022044371A1 JP 2021004827 W JP2021004827 W JP 2021004827W WO 2022044371 A1 WO2022044371 A1 WO 2022044371A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination light
illumination
image
display
light
Prior art date
Application number
PCT/JP2021/004827
Other languages
English (en)
French (fr)
Inventor
進吾 増野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022545278A priority Critical patent/JP7495503B2/ja
Publication of WO2022044371A1 publication Critical patent/WO2022044371A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system for setting a display method and displaying an endoscope image and a method for operating the endoscope system.
  • Patent Document 1 when a fluorescent image is acquired during endoscopy, the fluorescent image can be reproduced as a moving image and displayed repeatedly.
  • Patent Document 1 since the entire fluorescent image is reproduced, not only the lesion portion that emits fluorescence is reproduced, but also the lesion portion that does not emit fluorescence is reproduced. Therefore, attention is directed to areas other than the lesion, and there is a risk that attention to the lesion may be reduced. Therefore, it has been required to emphasize and reproduce only the part that the user pays attention to. Further, in recent years, the types of illumination light for emphasizing lesions and the like are increasing. Therefore, it has been required to be able to reproduce not only the fluorescent image of Patent Document 1 but also the enhanced image based on the illumination light having various spectra.
  • the present invention can emphasize a portion to be watched by a user and reproduce an enhanced image based on illumination light having various spectra. It is an object of the present invention to provide an endoscopic system capable of being able to operate and a method thereof.
  • the endoscope system of the present invention includes a processor for a light source and a processor for image control.
  • the light source processor controls the emission of the first illumination light and the second illumination light having different emission spectra, and sets a first illumination period for emitting the first illumination light and a second illumination period for emitting the second illumination light.
  • the first illumination light is emitted by the first emission pattern
  • the second illumination light is emitted by the second emission pattern
  • the image control processor is the first illumination light image based on the first illumination light.
  • the first illumination light moving image consisting of the first illumination light and the second illumination light moving image consisting of the second illumination light image based on the second illumination light are saved in the moving image storage memory as a moving image for storage, and a moving image reproduction instruction is given.
  • the 1st illumination light moving image of the storage moving image is set as the 1st illumination light moving image for playback display and is played back on the 1st playback screen displayed on the display
  • the display area setting is set on the 1st illumination light moving image for playback display.
  • the second illumination light for reproduction display in which the display method setting and the display content setting are made, the second illumination light moving image of the storage moving image is displayed in the portion of the reproduction display first illumination optical moving image in which the display area is set. Display as a video on the display.
  • the second illumination light moving image is changed to a simple enhancement operation, a transmission enhancement operation, a blinking enhancement operation, or a second reproduction screen different from the first reproduction screen. It is preferable to select and reproduce any one of the second reproduction screen display operations to be displayed.
  • the first analysis processed image based on the second illumination light emitted in the first emission spectrum for the second illumination light and the second emission for the second illumination light in the portion set in the display area on the first reproduction screen In the second analysis processed image based on the second illumination light emitted in the spectrum, the third analysis processed image based on the second illumination light emitted in the third emission spectrum for the second illumination light, or the emission fourth spectrum for the second illumination light. It is preferable to select to reproduce any one of the fourth analysis processed images based on the emitted second illumination light as the reproduction display second illumination light moving image.
  • the playback setting screen which is a screen for setting the display area, display method, and display content, on the display.
  • the first reproduction screen it is preferable to specify the magnification, rotation, brightness, and focus of the first illumination light moving image for reproduction display or the second illumination light moving image for reproduction display.
  • the number of frames in the first lighting period is the same in each first lighting period, and the number of frames in the first lighting period is different in each first lighting period. It is preferably any one of the first B emission patterns.
  • the second emission pattern is a second A pattern in which the number of frames in the second illumination period is the same in each second illumination period, and the emission spectrum of the second illumination light is the same in each second illumination period.
  • the number of frames is different in each second illumination period, and the emission spectrum of the second illumination light is the same in each second illumination period.
  • the second C pattern and the number of frames in the second illumination period are different from each other in each second illumination period, and the emission spectrum of the second illumination light is any one of the second D patterns different in each second illumination period.
  • the second illumination light emitted in the first emission spectrum for the second illumination light has a peak intensity of purple light larger than that of blue light, green light, and red light of other colors, and the second emission spectrum for the second illumination light.
  • the second illumination light emitted in 1 has only light in the purple wavelength band
  • the second illumination light emitted in the third emission spectrum for the second illumination light has only light in the bluish green wavelength band.
  • the peak intensities of purple light and blue light are larger than the peak intensities of green light and red light
  • the intensity of red light is the second illumination. It is preferably larger than the second illumination light emitted in the first emission spectrum for light.
  • the light source processor controls the emission of the first illumination light and the second illumination light having different emission spectra, and emits the first illumination light.
  • the first illumination light is emitted in the first emission pattern and the second illumination light is emitted in the second emission pattern.
  • the processor for emitting light emits light
  • the processor for image control obtains a first illumination light moving image composed of a first illumination light image based on the first illumination light and a second illumination light moving image composed of a second illumination light image based on the second illumination light.
  • the first illuminated optical video of the saved video is set as the first illuminated optical video for playback display and played on the first playback screen of the display.
  • the display area is set in the first illumination light moving image for reproduction display
  • the second illumination light moving image in the storage moving image is set in the part where the display area is set in the first illumination light moving image for reproduction display. It is preferable to display it on the display as a second illumination optical moving image for reproduction display in which the display method setting and the display content setting have been made.
  • the present invention when playing back a moving image saved during endoscopy, it is possible to emphasize the portion to be watched by the user and reproduce the emphasized image based on the illumination light having various spectra. It is possible to provide an endoscopic system that can be regenerated and a method of operating the same.
  • the endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, and a UI (User InterFace) 16.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14.
  • the endoscope 12 has an insertion portion 12a, an operation portion 12b, a bending portion 12c, and a tip portion 12d.
  • the insertion portion 12a is inserted into the body to be observed.
  • the operation portion 12b is provided at the base end portion of the insertion portion 12a.
  • the curved portion 12c and the tip portion 12d are provided on the tip end side of the insertion portion 12a.
  • the curved portion 12c bends by operating the angle knob 12e of the operating portion 12b.
  • the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b is provided with an angle knob 12e, an observation mode changeover switch 12f, a reproduction mode changeover switch 12g, a still image acquisition instruction switch 12h, and a zoom operation unit 12i.
  • the observation mode changeover switch 12f is used for the observation mode changeover operation.
  • the reproduction mode changeover switch 12g is used for the reproduction mode changeover operation.
  • the still image acquisition instruction switch 12h is used for an instruction to acquire a still image to be observed.
  • the zoom operation unit 12i is used to operate the zoom lens 42.
  • the endoscope system 10 has three modes as observation modes: a first illumination observation mode, a second illumination observation mode, and an enhanced observation mode.
  • the observation mode changeover switch 12f When the observation mode changeover switch 12f is pressed, the mode is switched via the image processing changeover unit 54. Further, the endoscope system 10 has a reproduction mode, and when the reproduction mode changeover switch 12g is pressed, the observation mode is switched to the reproduction mode via the reproduction mode switching unit 100.
  • switching from the observation mode to the reproduction mode by pressing the reproduction mode changeover switch 12g is referred to as a moving image reproduction instruction.
  • the playback mode can be used only when the observation mode is the emphasized observation mode. That is, as the modes mounted on the endoscope system 10 of the present invention, there are a total of four modes, that is, a first illumination observation mode, a second illumination observation mode, an enhanced observation mode, and a reproduction mode. From this paragraph onward, the term "observation mode" simply refers to any one or more of the first illumination observation mode, the second illumination observation mode, and the enhanced observation mode.
  • the first illumination light image having a natural color is displayed on the display 15 by illuminating the observation target with normal light (first illumination light) such as white light and taking an image.
  • first illumination light normal light
  • second illumination observation mode a second illumination light image emphasizing a specific structure is displayed on the display 15 by illuminating the observation target with special light (second illumination light) having a wavelength band different from that of normal light. do.
  • the first illumination light and the second illumination light having different emission spectra are switched to emit light.
  • the analysis processing such as the processing for obtaining the feature amount related to the observation target is performed on the image based on the second illumination light.
  • the term "inspection image” simply means at least one of a first illumination light image, a second illumination light image, and an enhanced observation image. Point to.
  • the screen displayed in the three modes of the observation mode is displayed on the display 15.
  • the inspection image and the image for reproduction are displayed on the first reproduction screen 132 and / or the second reproduction screen 116.
  • the user When the user wants to acquire a still image of an inspection image in the observation mode and the reproduction mode, the user operates the still image acquisition instruction switch 12h, and the signal related to the still image acquisition instruction is sent to the endoscope 12, the light source device 13, and the light source device 13. And sent to the processor device 14.
  • the processor device 14 stores the still image to be observed in the memory (not shown) in the first illumination period, the second illumination period, or both. The details of saving the still image in the reproduction mode will be described later.
  • the processor device 14 is electrically connected to the display 15 and the UI 16.
  • the display 15 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
  • the UI 16 has a keyboard, a mouse, a touch pad, a microphone, and the like, and has a function of accepting input operations such as function settings.
  • a moving image storage memory 103 for temporarily recording a moving image is connected to the processor device 14.
  • An external memory (not shown) may be connected to the processor device 14.
  • the light source device 13 includes a light source unit 20 and a light source processor 21 that controls the light source unit 20.
  • the light source unit 20 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 20 is turned on, the light emission amount of each semiconductor light source is controlled to emit illumination light for illuminating the observation target.
  • the light source unit 20 is a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d. It has 4 color LEDs.
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. By independently controlling each of the LEDs 20a to 20d, the light source processor 21 can emit purple light V, blue light B, green light G, or red light R by independently changing the amount of light. Further, the light source processor 21 emits white light having a light amount ratio of Vc: Bc: Gc: Rc among the purple light V, the blue light B, the green light G, and the red light R in the first illumination observation mode. As such, each LED 20a to 20d is controlled. In addition, Vc, Bc, Gc, Rc> 0.
  • the light source processor 21 has a light amount ratio of Vs: Bs: Gs: purple light V, blue light B, green light G, and red light R as short-wavelength narrow-band light.
  • Each LED 20a to 20d is controlled so as to emit special light that becomes Rs.
  • the light amount ratio Vs: Bs: Gs: Rs is different from the light amount ratio Vc: Bc: Gc: Rc used in the first illumination observation mode, and is appropriately determined according to the observation purpose.
  • the first illumination light is emitted in the first emission pattern and the second illumination is emitted.
  • the light is emitted in the second emission pattern.
  • the first light emission pattern is the first A light emission pattern in which the number of frames in the first lighting period is the same in each first lighting period, and as shown in FIG. It is preferable that the number of frames in the first lighting period is one of the first B emission patterns different in each first lighting period.
  • time indicates the direction of passage of time.
  • the number of frames in the second illumination period is the same in each second illumination period, and the emission spectrum of the second illumination light is in each second illumination period.
  • the number of frames in the second illumination period is the same in each of the second illumination periods, and the emission spectrum of the second illumination light is the same in the second illumination period.
  • Second B pattern different in the illumination period as shown in FIG. 7, the number of frames in the second illumination period is different in each second illumination period, and the emission spectrum of the second illumination light is different.
  • the second C pattern which is the same in the second illumination period, as shown in FIG. 8, the number of frames in the second illumination period is different in each second illumination period, and the emission spectrum of the second illumination light is different. It is preferably any one of the second D patterns that are different in each second illumination period.
  • the emission spectrum of the first illumination light may be the same or different in each first illumination period.
  • the first lighting period is preferably longer than the second lighting period, and the first lighting period is preferably two frames or more.
  • the first lighting period is set to 2 frames
  • the second lighting period is set to 1 frame. Since the first illumination light is used to generate a display image to be displayed on the display 15, it is preferable to obtain a bright image by illuminating the observation target with the first illumination light.
  • the first illumination light is preferably white light.
  • the second illumination light since the second illumination light is used for the analysis process, it is preferable to obtain an image suitable for the analysis process by illuminating the observation target with the second illumination light.
  • the frame refers to a unit of a period including at least a period from a specific timing to the completion of signal reading in the image pickup sensor 43.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light amount ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the light emitted by each of the LEDs 20a to 20d is incident on the light guide 23 via the optical path coupling portion 22 composed of a mirror, a lens, or the like.
  • the light guide 23 propagates the light from the optical path coupling portion 22 to the tip portion 12d of the endoscope 12.
  • An illumination optical system 30a and an image pickup optical system 30b are provided at the tip end portion 12d of the endoscope 12.
  • the illumination optical system 30a has an illumination lens 31, and the illumination light propagated by the light guide 23 is applied to the observation target through the illumination lens 31.
  • the image pickup optical system 30b has an objective lens 41 and an image pickup sensor 43. The light from the observation target due to the irradiation of the illumination light is incident on the image pickup sensor 43 via the objective lens 41 and the zoom lens 42. As a result, an image to be observed is formed on the image pickup sensor 43.
  • the zoom lens 42 is a lens for enlarging the observation target, and moves between the telephoto end and the wide end by operating the zoom operation unit 12i.
  • the image pickup sensor 43 is a primary color sensor, and is a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel (red pixel) having a red color filter. It is equipped with three types of pixels.
  • the blue color filter BF mainly transmits light in the blue band, specifically, light in the wavelength band having a wavelength band of 380 to 560 nm.
  • the transmittance of the blue color filter BF peaks in the vicinity of the wavelength of 460 to 470 nm.
  • the green color filter transmits GF, mainly light in the green band, specifically, light in the wavelength band of 460 to 620 nm.
  • the red color filter RF mainly transmits light in the red band, specifically, light in the wavelength band of 580 to 760 nm.
  • the image sensor 43 is preferably a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image pickup processor 44 controls the image pickup sensor 43. Specifically, the image signal is output from the image pickup sensor 43 by reading out the signal of the image pickup sensor 43 by the image pickup processor 44. In the first illumination observation mode, the image pickup processor 44 reads out the signal while the white light is exposed to the image pickup sensor 43, so that the Bc image signal is output from the B pixel of the image pickup sensor 43 and the Gc is output from the G pixel. The image signal is output, and the Rc image signal is output from the R pixel.
  • the image pickup processor 44 reads out the signal while the special light is exposed to the image pickup sensor 43, so that the Bs image signal is output from the B pixel of the image pickup sensor 43 and the Gs is output from the G pixel.
  • the image signal is output, and the Rs image signal is output from the R pixel.
  • the image pickup processor 44 reads out a signal from the image pickup sensor 43 in a state where the first illumination light is exposed to the image pickup sensor 43 during the first illumination period. 1 Output an image signal.
  • the period for outputting the first image signal is defined as the first imaging period.
  • the first image signal includes a B1 image signal output from the B pixel, a G1 image signal output from the G pixel, and an R1 image signal output from the R pixel.
  • the image pickup processor 44 outputs a second image signal from the image pickup sensor 43 by performing signal readout in a state where the image pickup sensor 43 is exposed to the second illumination light during the second illumination period.
  • the period for outputting the second image signal is defined as the second imaging period.
  • the second image signal includes a B2 image signal output from the B pixel, a G2 image signal output from the G pixel, and an R2 image signal output from the R pixel.
  • the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 45 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image pickup sensor 43. ..
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 45 is converted into a digital image signal by the A / D (Analog / Digital) converter 46.
  • the digital image signal after A / D conversion is input to the processor device 14.
  • the central control unit 55 composed of the image control processor operates the program in the program memory, so that the image acquisition unit 50, the DSP (Digital Signal Processor) 52, and the noise reduction unit are operated.
  • the functions of the 53, the image processing switching unit 54, the inspection image acquisition unit 60, and the display control unit 120 are realized.
  • the image control processor performs image processing based on the first image signal and the second image signal, and controls the display 15 as described later.
  • the image acquisition unit 50 acquires a color image input from the endoscope 12.
  • the color image includes a blue signal (B image signal), a green signal (G image signal), and a red signal (R image signal) output from the B pixel, the G pixel, and the R pixel of the image pickup sensor 43.
  • the acquired color image is transmitted to the DSP 52.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received color image.
  • the noise reduction unit 53 performs noise reduction processing by, for example, a moving average method, a median filter method, or the like on a color image that has been demosaic processed by DSP 52.
  • the color image with reduced noise is input to the image processing switching unit 54.
  • the image processing switching unit 54 sets the transmission destination of the image signal from the noise reduction unit 53 to the first illumination light image generation unit 70 and the second illumination light image in the inspection image acquisition unit 60. Switch to either one of the generation unit 80 and the enhanced image generation unit 90. Specifically, when the first illumination observation mode is set, the image signal from the noise reduction unit 53 is input to the first illumination light image generation unit 70. When the second illumination observation mode is set, the image signal from the noise reduction unit 53 is input to the second illumination light image generation unit 80. When the enhanced observation mode is set, the image signal from the noise reducing unit 53 is input to the enhanced image generation unit 90.
  • the image processing for the first illumination light image, the image processing for the second illumination light image, and the enhanced image performed on the image signal transmitted from the noise reduction unit 53 to the inspection image acquisition unit 60 via the image processing switching unit 54 are performed.
  • the display control process will be described.
  • the first illumination light image generation unit 70 performs image processing for the first illumination light image on the input Rc image signal, Gc image signal, and Bc image signal for one frame. ..
  • the image processing for the first illumination optical image includes color conversion processing such as 3 ⁇ 3 matrix processing, gradation conversion processing, and three-dimensional LUT (Look Up Table) processing, color enhancement processing, and structural enhancement processing such as spatial frequency enhancement. Is included.
  • the Rc image signal, the Gc image signal, and the Bc image signal that have undergone image processing for the first illumination light image are input to the display control unit 120 as the first illumination light image via the reproduction mode switching unit 100.
  • the first illumination light image is directly input to the display control unit 120 (see FIG. 22).
  • the display control unit 120 displays the first illumination light image on the display 15.
  • the second illumination light image generation unit 80 performs image processing for the second illumination light image on the input Rs image signal, Gs image signal, and Bs image signal for one frame. ..
  • the image processing for the second illumination optical image includes color conversion processing such as 3 ⁇ 3 matrix processing, gradation conversion processing, and 3D LUT (Look Up Table) processing, color enhancement processing, and structural enhancement processing such as spatial frequency enhancement. Is included.
  • the Rs image signal, the Gs image signal, and the Bs image signal that have undergone image processing for the second illumination light image are input to the display control unit 120 as the second illumination light image via the reproduction mode switching unit 100.
  • the second illumination light image is directly input to the display control unit 120 (see FIG. 22).
  • the display control unit 120 displays the second illumination light image on the display 15.
  • the enhanced image generation unit 90 includes a display image generation unit 91, a first analysis image processing unit 92, a second analysis image processing unit 93, a third analysis image processing unit 94, a fourth analysis image processing unit 95, and the like.
  • the emphasis processing unit 96 is provided.
  • the display image generation unit 91 performs the same first illumination light image image processing as described above on the input R1 image signal, G1 image signal, and B1 image signal for one frame.
  • the R1 image signal, the G1 image signal, and the B1 image signal that have undergone image processing for the first illumination light image signal are used as display images.
  • the image processing unit 92 for the first analysis, the image processing unit 93 for the second analysis, the image processing unit 94 for the third analysis, and the image processing unit 95 for the fourth analysis are the R2 images for the input specific frame as described later.
  • the signal, the G2 image signal, and the B2 image signal are subjected to analysis image processing for generating a first analysis image, a second analysis image, a third analysis image, or a fourth analysis image.
  • the enhancement processing unit 96 generates an enhancement image by performing the enhancement image display control processing as described later.
  • the details of the image processing for analysis in the image processing unit 92 for the first analysis, the image processing unit 93 for the second analysis, the image processing unit 94 for the third analysis, and the image processing unit 95 for the fourth analysis will be described.
  • the first analysis image processing performed by the first analysis image processing unit 92 is the B2 image signal, the G2 image signal, and the R2 obtained by emitting the second illumination light in the first emission spectrum SP for the second illumination light. This is a process applied to an image signal. As shown in FIG. 12, in the second illumination light emitted by the first emission spectrum SP for the second illumination light, the purple light V has a peak intensity higher than that of the blue light B, the green light G, and the red light R of other colors. Is preferably a large amount of light.
  • the first analysis image processing is a pseudo-color processing in which a B2 image signal is assigned to a display B channel and a G channel, and a G2 image signal is assigned to a display R channel. By this pseudo color processing, a first analysis processed image in which a blood vessel or a structure having a specific depth such as a surface blood vessel is emphasized can be obtained.
  • the second analysis image processing performed by the second analysis image processing unit 93 is the B2 image signal, the G2 image signal, and the R2 obtained by emitting the second illumination light in the second emission spectrum SQ for the second illumination light. This is a process applied to an image signal. As shown in FIG. 13, the second illumination light emitted in the second emission spectrum SQ for the second illumination light is preferably light that emits only purple light V (peak wavelength is, for example, 400 to 420 nm).
  • the second analysis image processing is a process of allocating the B2 image signal to the B channel, the G channel, and the R channel for display, and adjusting the color tone and the gradation balance.
  • the third analysis image processing performed by the third analysis image processing unit 94 is for the second illumination light in addition to the B1 image signal, the G1 image signal, and the R1 image signal obtained by emitting the first illumination light. This is a process applied to the B2 image signal, the G2 image signal, and the R2 image signal obtained by emitting the second illumination light in the third emission spectrum SR.
  • the third emission spectrum SR for the second illumination light is blue-green light VB (peak wavelength is, for example, 470 to 480 nm), which is light in a wavelength range in which the absorption coefficients of the oxidized hemoglobin and the reduced hemoglobin are different. Is preferable.
  • the third analysis image processing includes a third analysis signal ratio calculation unit 94a, an oxygen saturation calculation unit 94c, and an oxygen saturation image generation unit 94d.
  • the third analysis signal ratio calculation unit 94a has a first signal ratio (B2 / G1) representing the ratio between the B2 image signal and the G1 image signal, and a second signal representing the ratio between the R1 image signal and the G1 image signal.
  • the signal ratio calculation process for calculating the ratio (R1 / G1) is performed.
  • the oxygen saturation calculation unit 94c calculates the oxygen saturation corresponding to the first signal ratio and the second signal ratio with reference to the third analysis signal ratio calculation unit 94a and the oxygen saturation calculation table 94b.
  • the oxygen saturation image generation unit 94d generates an oxygen saturation image based on the oxygen saturation.
  • the oxygen saturation image becomes the third analysis processed image obtained by the third analysis image processing.
  • the oxygen saturation calculation table 94b stores the correlation between the oxygen saturation and the first signal ratio and the second signal ratio. Specifically, as shown in FIG. 16, the oxygen saturation calculation table 94b has oxygen in a two-dimensional space centered on the first signal ratio (B2 / G1) and the second signal ratio (R1 / G1). It is composed of a two-dimensional table that defines the saturation lines ELx, EL1, EL2, EL3, ELy, and the like. For example, the isoline ELx has an oxygen saturation of "0%”, the equivalence line EL1 has an oxygen saturation of "30%”, the equivalence line EL2 has an oxygen saturation of "50%”, and the equivalence line EL3 has oxygen.
  • the positions and shapes of the contour lines with respect to the first signal ratio (B2 / G1) and the second signal ratio (R1 / G1) are obtained in advance by physical simulation of light scattering.
  • the first signal ratio (B2 / G1) and the second signal ratio (R1 / G1) are preferably on a log scale.
  • the fourth analysis image processing performed by the fourth analysis image processing unit 95 is the B2 image signal, the G2 image signal, and the R2 obtained by emitting the second illumination light in the fourth emission spectrum SS for the second illumination light.
  • This is a process applied to an image signal.
  • the fourth emission spectrum SS for the second illumination light is preferably light in which the peak intensities of the purple light V and the blue light B are larger than the peak intensities of the green light G and the red light R. .. Further, it is preferable that the intensity of the red light R is higher than that of the first emission spectrum SP for the second illumination light.
  • the fourth analysis image processing is performed by the fourth analysis image processing unit 95 provided in the enhanced image generation unit 90.
  • the fourth analysis image processing unit 95 is provided with a fourth analysis signal ratio calculation unit 95a, a color difference expansion processing unit 95b, and a color difference expansion image generation unit 95c.
  • the fourth analysis signal ratio calculation unit 95a has a first signal ratio (B2 / G2) representing the ratio between the B2 image signal and the G2 image signal, and a second signal representing the ratio between the R2 image signal and the G2 image signal.
  • the signal ratio calculation process for calculating the ratio (G2 / R2) is performed.
  • the color difference expansion processing unit 95b performs color difference expansion processing for expanding the color difference between a plurality of observation target ranges based on the first signal ratio and the second signal ratio, and performs the color difference expansion processing, and the first signal ratio and the second signal ratio after the color difference expansion processing. Generate a color difference enhanced image based on the signal ratio.
  • the color difference expanded image becomes a fourth analysis processed image obtained by the fourth analysis image processing.
  • the distance between a plurality of observation target ranges is expanded in a two-dimensional space consisting of a first signal ratio (B2 / G2) and a second signal ratio (G2 / R2).
  • B2 / G2 first signal ratio
  • G2 / R2 second signal ratio
  • the first range and the second range (“2”) are maintained in a state where the position of the first range (denoted as “1”) among a plurality of observation target ranges is maintained before and after the color difference expansion process.
  • the distance between the first range and the third range (denoted as "3"), and the distance between the first range and the fourth range (denoted as "4") can be extended.
  • 3 the distance between the first range and the fourth range
  • the color difference expansion process is performed by a method of adjusting the radius and the angle after converting the first signal ratio and the second signal ratio into polar coordinates. It is preferable that the first range is a normal part in which no lesion or the like is present, and the second range, the third range, and the fourth range are abnormal parts in which a lesion or the like may be present.
  • the display image or the emphasized image is finally input to the display control unit 120.
  • the display control unit 120 performs a highlight image display control process for displaying a display image or a highlight image on the display 15.
  • the highlight image display control process performed by the highlight processing unit 96 will be described below.
  • the first light emission pattern is the first A light emission pattern and the second light emission pattern is the second B pattern (the number of frames in the second illumination period: the same, the emission spectrum of the second illumination light: different), as shown in FIG.
  • the observation target is illuminated with the first illumination light for two frames and the second illumination light for one frame each during the emission of the first illumination light
  • the first illumination light is obtained.
  • An image for display is obtained by performing image processing for a first illumination light image on one image signal.
  • the second image signal (R2 image signal, G2 image signal, B2 image signal) is subjected to analysis processing to obtain a first, second, third or fourth analysis processed image.
  • the first analysis processed image and the second are obtained from the second image signal.
  • An analysis-processed image, a third analysis-processed image, and / or a fourth analysis-processed image are obtained.
  • the first analysis processed image, the second analysis processed image, the third analysis processed image and / or the fourth analysis processed image obtained for different second image signals are superimposed and emphasized on the display image as described later. It is displayed as an image or displayed on a screen different from the display image.
  • the display image, the first analysis processed image, the second analysis processed image, the third analysis processed image, the fourth analysis processed image and / or the enhanced image are transmitted to the display control unit 120 via the reproduction mode switching unit 100. Entered.
  • the display control unit 120 displays a display image or a highlighted image on the display 15.
  • the analysis processing of the process of obtaining the first analysis processed image, the second analysis processed image, the third analysis processed image, and the fourth analysis processed image the calculation of the feature amount related to the second illumination light image, the setting of the region of interest, Correspond the diagnosis results.
  • the analysis process is output as a result of inputting an image signal transmitted from the noise reduction unit 53 to the enhanced image generation unit 90 via the image processing switching unit 54 into a machine learning learning model mounted on the enhanced image generation unit 90. It is preferable that the image is made. Learning includes supervised learning, unsupervised learning, reinforcement learning, deep reinforcement learning, learning using a neural network, deep learning, and the like.
  • the feature amount related to the inspection image is classified by the observation target located at least one of the surface layer, the middle layer, and the deep layer.
  • the feature amount is preferably a value obtained from the shape and color of the observation target or their shape and color.
  • Items of feature amount include, for example, blood vessel density, blood vessel shape, number of blood vessel branches, blood vessel thickness, blood vessel length, blood vessel tortuosity, blood vessel depth, glandular shape, and glandular opening shape. , The length of the blood vessel, the degree of tortuosity of the blood vessel, and the color information.
  • the feature amount is preferably a value obtained by at least one of these or a combination of two or more of these.
  • the item of the feature amount is not limited to this, and may be added as appropriate depending on the usage situation.
  • the part having the feature amount within the predetermined range is set as the region of interest.
  • Diagnosis results are lesion or normal, active or remission, international disease classification, UICC TNM (Union for International Cancer Control Tumor Lymph Nodes Metastasis) classification, TNM (Tumor Lymph Nodes Metastasis) classification, It is preferred to include one or more of the Dukes classification, other classifications, diagnostic criteria, guidelines, textbook and atlas-based diagnostic names, types, types, progress and stages.
  • the display or non-display of the diagnosis result to be displayed together with the image on the display 15 can be appropriately set by the UI 16.
  • the recording of inspection images will be described below.
  • the configuration for recording is common to the three modes of observation mode.
  • the inspection image acquired by the inspection image acquisition unit 60 is acquired as an inspection moving image which is a series of inspection images.
  • the acquired inspection moving image is encoded by the encoding unit 102 and stored in the moving image storage memory 103 as a compressed storage moving image.
  • the process of storing the storage moving image obtained by encoding the inspection moving image in the moving image storage memory 103 is referred to as "recording".
  • the types of the inspection moving image and the storage moving image are the first illumination light moving image composed of the first illumination light image based on the first illumination light and the second illumination light moving image consisting of the second illumination light image based on the second illumination light. There is.
  • the second illumination light image constituting the second illumination light moving image is (1) an image signal obtained by irradiating the subject with the second illumination light in the first emission spectrum SP for the second illumination light.
  • the first analysis processed image obtained based on the above (2) the second analysis process obtained based on the image signal obtained by irradiating the subject with the second illumination light in the second emission spectrum SP for the second illumination light.
  • the third analysis processed image obtained based on the image signal obtained by irradiating the subject with the second illumination light in the third emission spectrum SR for the second illumination light and (4).
  • the case where the fourth analysis processed image is obtained based on the image signal obtained by irradiating the subject with the fourth emission spectrum SS for the second illumination light is described, but the type of the second illumination light image is this. Not limited to.
  • the newest file may be sequentially overwritten and saved in the storage area where the oldest storage video is saved. Further, the storage period of the storage video may be set, and the storage videos that have exceeded the storage period may be sequentially deleted.
  • the above two types of storage methods may be used in combination. For example, normally, the storage period of the storage video is set (for example, one week), and the storage video that exceeds the storage period is deleted, but there are many storage videos to be recorded during the inspection and the storage period is not exceeded. If the free space of the moving image storage memory 103 is insufficient for the moving image for storage, the oldest image information may be deleted first. With the above configuration, it is possible to prevent the video for storage from being unable to be played back due to insufficient storage capacity of the video storage memory 103 during the endoscopy.
  • the video for storage during the period including the region of interest may be extracted from the video storage memory 103 and stored in an external memory (not shown).
  • the switching to the reproduction mode (video reproduction instruction) is performed by switching from the emphasized observation mode to the reproduction mode via the reproduction mode switching unit 100 when the reproduction mode changeover switch 12g is pressed.
  • the video playback instruction can be given at any time by the user, but when a region of interest is found in the inspection image, a warning may be given to the user as to whether or not to give the video playback instruction. Also in this case, the moving image reproduction instruction is given by determining whether or not the user presses the reproduction mode changeover switch 12g.
  • the decoding unit 104 extracts the storage moving image from the position where the immediately preceding region of interest appears to the present from the moving image storage memory 103. Next, decompress the video for saving, which is a compressed file. Of the decompressed storage moving images, the first illumination light moving image is transmitted to the display control unit 120, and the second illumination light moving image is transmitted to the reproduction setting unit 110.
  • the time range of the moving image to be extracted may be selected. For example, if a plurality of areas of interest are continuously found in a narrow area during endoscopy, the area of interest may be reproduced from the area of interest several times before the current position. With the above configuration, the decoding time can be shortened by specifying the range of the moving image to be decoded.
  • the reproduction setting screen 130 is displayed as shown in FIG. 23. It is displayed on the display 15.
  • the reproduction display first illumination light moving image is displayed on one screen together with the current inspection image 131 on the first reproduction screen 132.
  • the reason why the current inspection image 131 is displayed on the reproduction setting screen 130 is to show the user the current position of the endoscope 12 and to ensure the safety of the inspection. Further, when the button 137 for returning to the observation mode is selected, the reproduction mode can be returned to the observation mode.
  • the playback setting screen 130 it is possible to set the playback setting for playing the second illumination light moving image as the second illumination light moving image for reproduction display among the saving moving images.
  • the reproduction setting is described later, (1) a display area setting for setting an area for displaying the second illumination light moving image for reproduction display on the first illumination light moving image for reproduction display displayed on the first reproduction screen 132.
  • the display area setting can be set by selecting the display area setting button 134
  • the display method setting can be set by selecting the display method setting button 135
  • the display content setting can be set by selecting the display content setting button 136. conduct.
  • the selected setting item is transmitted to the reproduction setting unit 110.
  • a touch panel is preferable as a method for selecting setting items and performing playback settings via the UI 16.
  • the physical buttons attached to the operation unit 12b, touchless input for operating aerial images, gesture input, voice input, eye tracking, blinking input, line-of-sight direction operation by head-mounted display, brain wave input, and AR (Augmented Reality) are used.
  • the input may be used, and the present invention is not limited to this.
  • the playback settings (display area settings, display method settings, and display content settings) will be described below.
  • the display area setting button 134 When the display area setting button 134 is selected on the playback setting screen 130, a command reaches the display area setting unit 111 of the playback setting unit 110 shown in FIG. 24, and the display shown in FIG. 25 is displayed via the display control unit 120.
  • the area setting screen 112 is displayed on the display 15.
  • a display area setting operation for the first reproduction screen 132 for displaying the first illumination light moving image for reproduction display can be selected.
  • the display area setting operation has three modes: a drawing designation operation, an automatic discrimination designation operation, and a figure drawing designation operation.
  • the drawing designation operation is performed by selecting the drawing designation operation button 112a
  • the automatic discrimination designation operation is performed by selecting the automatic discrimination designation operation button 112b
  • the figure drawing designation operation button 112c is selected.
  • the figure drawing specification operation becomes possible.
  • FIG. 26 shows a specific example of preview reproduction on the first reproduction screen 132.
  • the reproduction display second illumination light moving image 132b is preview-reproduced in the portion where the display area is set in the reproduction display first illumination light moving image 132a.
  • An instruction button (not shown) for rewriting the designated drawing shape 112e may be provided so that the rewriting can be performed.
  • the automatic discrimination designation operation button 112b When the automatic discrimination designation operation button 112b is selected, as shown in FIG. 28, the automatic discrimination of the region of interest is performed on the first reproduction screen 132, and the automatic discrimination designation shape 112f is displayed by a broken line.
  • the area is set as described above and the enter button 112h is selected, the area set portion of the first illumination light moving image for reproduction display displayed on the first reproduction screen 132 (here, automatic discrimination designation is specified) as described later.
  • the second illumination light moving image of the storage moving image In the portion surrounded by the shape 112f), the second illumination light moving image of the storage moving image is preview-played as a reproduction display second illumination light moving image by the set display method and display contents described later.
  • the figure drawing designation shape 112g-1 of the set shape can be drawn on the first reproduction screen 132.
  • the "set shape” is a rectangle, but the shape is not limited to a triangle, a circle, an ellipse, and the like.
  • FIG. 30 shows a specific example of the drawing designation operation. For example, by dragging from the drawing designated shape (small) 112g-2 in the direction of the arrow 112g-3, a rectangle of the drawing drawing designated shape 112g-1 can be drawn, and the automatic discrimination designated shape 112f is attracting attention accordingly. It is automatically drawn along the area.
  • the automatic discrimination designated shape 112f is drawn so as to surround only a part of the region of interest.
  • the automatic discrimination designated shape 112f is drawn so as to surround the entire region of interest.
  • the second illumination optical moving image of the storage moving image is for playback display with the set display method and display content. It is preview-played as a second illumination optical moving image.
  • the user can select a portion where he / she wants to observe the second illumination optical moving image (special optical moving image).
  • the portion set as the area on the reproduction display first illumination optical moving image displayed on the first reproduction screen 132 is replaced with the reproduction display second illumination optical moving image. May be dragged and dropped onto the second reproduction screen 116 to reproduce, and preview reproduction of the second illumination optical moving image for reproduction display may be performed on the second reproduction screen 116.
  • a display method setting operation for the first playback screen 132 for displaying the first illumination light moving image for playback display can be selected.
  • the simple highlighting operation is performed by selecting the simple highlighting operation button 114a
  • the transparent highlighting operation is performed by selecting the transparent highlighting operation button 114b
  • the blinking highlighting operation is performed by selecting the blinking highlighting operation button 114c.
  • the second reproduction screen display operation button 114d the second reproduction screen display operation becomes possible.
  • the portion set by the area setting operation in the first illumination optical moving image for reproduction display on the first reproduction screen 132 shown in FIG. 32 (here, automatic discrimination designation as a specific example).
  • the shape is 112f), but it is switched to the second illumination optical moving image for reproduction display.
  • the reproduction display second illumination optical moving image is superimposed on the reproduction display first illumination optical moving image with a transmittance of 0% and is reproduced with the set display contents described later.
  • the transmission enhancement operation button 114b When the transmission enhancement operation button 114b is selected, the portion set by the area setting operation in the first illumination optical moving image for reproduction display on the first reproduction screen 132 shown in FIG. 32 (here, automatic discrimination designation as a specific example).
  • the second illumination light moving image of the set display content is transmitted and superimposed as the second illumination light moving image for reproduction display on the (shape 112f), and is reproduced.
  • the transmittance of the second illumination optical moving image for reproduction display the user inputs an arbitrary value between 1 and 99% in the transmittance input form 114e, and the input transparency is used as the second illumination for reproduction display. Play optical video.
  • the portion set by the area setting operation in the first illumination optical moving image for reproduction display on the first reproduction screen 132 shown in FIG. 32 (here, automatic discrimination designation as a specific example).
  • the second illumination light moving image of the set display content of the storage moving image is superimposed on the shape 112f) as the reproduction display second illumination light moving image at an arbitrary transmittance, and is played back blinking.
  • the transmittance of the second illuminated optical moving image for reproduction display, which is transmitted and superimposed on the first illuminated optical moving image displayed on the first reproduction screen 132 can be set to an arbitrary value between 0 and 99% by the user. Input to the input form 114e and play with the input transparency.
  • the display method setting screen 114 shown in FIG. 32 is switched to the second playback screen display screen 115 shown in FIG. 33.
  • the second reproduction screen display screen 115 reproduces the current inspection image 131, the first reproduction screen 132 for reproducing the first illumination optical moving image for reproduction display, and the second illumination optical moving image for reproduction display of the set display contents.
  • the second playback screen 116 and the second playback screen 116 are displayed as one screen.
  • the attention area 115I-2 is displayed with more emphasis than the attention area 115I-1 in the reproduction display first illumination light moving image.
  • the type of the second illumination optical moving image to be reproduced and displayed by the set display method is selected in the area set for the first reproduction screen 132 for displaying the first illumination optical moving image for reproduction display.
  • any one of the first analysis image, the second analysis image, the third analysis image, and the fourth analysis image is selected as the second illumination optical moving image for reproduction display.
  • the first analysis image and the second analysis image button 118b are selected by selecting the first analysis image button 118a.
  • the second analysis image is reproduced by selecting the third analysis image button 118c, and the third analysis image is reproduced by selecting the fourth analysis image button 118d.
  • Illumination Select as a moving image.
  • the display method and the display content may be set by tabs without switching to the display method setting screen 114 or the display content setting screen 118. You may change the setting selection by swiping. Further, the display method and the display contents may be set in advance.
  • the second illumination optical moving image transmitted from the decoding unit 104 to the reproduction setting unit 110 is used as the second illumination optical moving image for reproduction display reflecting the setting contents.
  • the reproduction display screen 140 shown in FIG. 35 is displayed on the display 15.
  • the display magnification designation button 141 When the display magnification designation button 141 is selected, the display of the second illumination optical moving image for playback display or the display of the entire first playback screen 132 can be enlarged or reduced.
  • the operation method it is preferable to perform an enlargement / reduction operation by pinch-in / pinch-out on the touch panel. In the specific example shown in FIG. 35, it is set to 100%, which indicates that the magnification is the same.
  • the display of the second illumination optical moving image for playback display or the display of the entire first playback screen 132 can be rotated at a two-dimensional or three-dimensional angle.
  • the operation method it is preferable to input the rotation angle and perform multi-touch operation on the touch panel. In the specific example shown in FIG. 35, it is set to 0 °, which indicates that it is not rotating.
  • the three-dimensional rotation may be performed on a three-dimensional reproduction model (not shown) created based on the inspection image.
  • the brightness of the display of the second illumination optical moving image for playback display or the display of the entire first playback screen 132 can be adjusted.
  • the operation method it is preferable to input a numerical value of the degree of brightness and to operate on the touch panel. In the specific example shown in FIG. 35, it is set to 125%, which is 25% brighter than the original display image.
  • the depth of focus of the display of the second illumination light moving image for playback display or the display of the first playback screen 132 can be adjusted.
  • the operation method it is preferable to input a numerical value of the depth of focus and operate on the touch panel. In the specific example shown in FIG. 35, it is set to +0.5.
  • the seek bar 147a displays the entire playback time
  • the seek button 147b displays the current playback time.
  • the current playback time can be adjusted by operating the seek button 147b on the seek bar 147a, the playback video rewind button 148a, and the playback video fast forward button 148b.
  • the pause button 149 can be used to pause the video being played.
  • the playback setting screen 130 can be returned from the playback display screen 140.
  • the screen of FIG. 35 is switched to the screen of FIG. 23.
  • the first playback screen 132 can be acquired as a still image and saved in a memory (not shown) or a moving image storage memory 103.
  • the first reproduction screen 132 can be recorded on a storage medium such as an inspection recording system or an electronic medical record.
  • the playback display screen 140 As shown in FIG. 36 is displayed. In FIG. 36, it is preferable to be able to select whether to perform the reproduction display setting for the first reproduction screen 132 or the second reproduction screen 116.
  • the playback display settings are the same as above, so they are omitted. Note that the playback display settings may be set simultaneously for both the first playback screen 132 and the second playback screen 116, and the settings may be synchronized.
  • the inspection image is acquired (step S101).
  • the reproduction mode changeover switch 12g is pressed, the reproduction mode switching unit 100 is operated to switch from the observation mode to the reproduction mode (video reproduction instruction) (step S102).
  • the inspection image is transmitted to the display control unit 120 (step S103).
  • the decoding unit 104 decompresses the moving image stored in the moving image storage memory 103 (step S104).
  • the decompressed first illumination light moving image is transmitted to the display control unit 120, and the decompressed second illumination light moving image is transmitted to the reproduction setting unit 110 (step S105).
  • the area is set on the first illumination optical moving image for reproduction display (step S106).
  • the second illumination optical moving image for reproduction display is reproduced in the designated area with the designated display method and content (step S107).
  • the medical image processing apparatus of the present invention is applied to the endoscopic system that acquires an endoscopic image as a medical image, but various internals such as a capsule endoscope and the like are used. Needless to say, it is applicable to the spectroscopic system, and as other medical images, X-ray images, CT images, MRI images, ultrasonic images, pathological images, PET (Positron Emission Tomography) images, etc.
  • the medical image processing device of the present invention can be applied to various medical image devices to be acquired.
  • processing for executing various processes such as a light source processor 21, an imaging processor 44, an image acquisition unit 50, a DSP 52, a noise reduction unit 53, an image processing switching unit 54, an analysis processing unit 55e, and a central control unit 55.
  • the hardware structure of the processing unit is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, and may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査中に保存した動画を再生する場合において、ユーザーが注視する部分を強調して再生することができ、且つ、様々なスペクトルを持つ照明光に基づく強調画像を再生することができる内視鏡システム（１０）及びその作動方法を提供する。　通常光に基づく通常光画像からなる通常光動画と、特殊光に基づく特殊光画像からなる特殊光動画とを、保存用動画として動画記憶メモリ（１０３）に保存し、動画再生指示が行われた場合、保存用動画のうち通常光動画を再生表示用通常光動画とし、再生表示用通常光動画にて表示領域設定を行い、表示領域設定された部分に、保存用動画のうち特殊光動画を、再生表示用特殊光動画として表示する。

Description

内視鏡システム及びその作動方法
　本発明は、表示方法を設定して内視鏡画像を表示する内視鏡システム及びその作動方法に関する。
　医療分野においては、医師等は内視鏡が取得した検査画像等を用いて、病変部の処置方法等の判断を行っている。検査中に取得された画像は、専ら検査後に再確認されている。
　しかし、近年においては、検査用デバイスの進歩により、内視鏡検査中に検査画像を確認できる医療装置が発明されてきている。例えば、特許文献１では、内視鏡検査中に蛍光画像を取得した際に、蛍光画像を動画像として再生して繰り返し表示させることができる。
特開２０１９－９８００８号公報
　特許文献１では、蛍光画像全体を再生しているため、蛍光を発する病変部等を再生するだけでなく、蛍光を発しない病変部以外も再生される。そのため、病変部以外にも注意が向くため、病変部に対する注意力が低下するおそれがあった。したがって、ユーザーが注視する部分のみを強調して再生することが求められていた。また、近年では、病変部等を強調するための照明光の種類が増えつつある。そのため、特許文献１の蛍光画像だけでなく、様々なスペクトルを持つ照明光に基づく強調画像も再生できるようにすることが求められていた。
　本発明は、内視鏡検査中に保存した動画を再生する場合において、ユーザーが注視する部分を強調して再生することができ、且つ、様々なスペクトルを持つ照明光に基づく強調画像を再生することができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、光源用プロセッサ及び画像制御用プロセッサを備える。光源用プロセッサは、互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光し、画像制御用プロセッサは、第１照明光に基づく第１照明光画像からなる第１照明光動画と、第２照明光に基づく第２照明光画像からなる第２照明光動画とを、保存用動画として動画記憶メモリに保存し、動画再生指示が行われた場合、保存用動画のうち第１照明光動画を再生表示用第１照明光動画とし、ディスプレイに表示された第１再生画面で再生する場合において、再生表示用第１照明光動画にて表示領域設定を行い、再生表示用第１照明光動画のうち、表示領域設定された部分に、保存用動画のうち第２照明光動画を、表示方式設定及び表示内容設定がなされた再生表示用第２照明光動画としてディスプレイに表示する。
　表示領域設定では、第１再生画面に対し、描画指定操作、自動判別指定操作又は図形描画指定操作の内、いずれか１つを選択することが好ましい。
　表示方式設定では、第１再生画面で表示領域設定された部分において、第２照明光動画を、単純強調操作、透過強調操作、点滅強調操作又は第１再生画面とは別の第２再生画面にて表示する第２再生画面表示操作のいずれか１つを選択して再生することが好ましい。
　表示内容設定では、第１再生画面で表示領域設定された部分において、第２照明光用第１発光スペクトルで発光する第２照明光に基づく第１解析処理画像、第２照明光用第２発光スペクトルで発光する第２照明光に基づく第２解析処理画像、第２照明光用第３発光スペクトルで発光する第２照明光に基づく第３解析処理画像又は第２照明光用発光第４スペクトルで発光する第２照明光に基づく第４解析処理画像のいずれか１つを再生表示用第２照明光動画として再生することを選択することが好ましい。
　動画再生指示が行われた場合、表示領域設定、表示方式設定及び表示内容設定を行うための画面である再生設定画面をディスプレイに表示することが好ましい。第１再生画面で、再生表示用第１照明光動画又は再生表示用第２照明光動画の倍率指定、回転指定、明るさ指定、フォーカス指定を行うことが好ましい。
　第１再生画面に表示する再生表示用第１照明光動画及び／又は再生表示用第２照明光動画を静止画として取得することが好ましい。
　第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、及び、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。
　第２照明光用第１発光スペクトルで発光する第２照明光は、紫色光のピークの強度が他の色の青色光、緑色光、赤色光よりも大きく、第２照明光用第２発光スペクトルで発光する第２照明光は、紫色の波長帯域の光のみを有し、第２照明光用第３発光スペクトルで発光する第２照明光は、青緑色の波長帯域の光のみを有し、第２照明光用第４発光スペクトルで発光する第２照明光は、紫色光及び青色光のピーク強度が、緑色光及び赤色光のピーク強度よりも大きく、かつ、赤色光の強度が第２照明光用第１発光スペクトルで発光する第２照明光よりも大きいことが好ましい。
　光源用プロセッサと画像制御用プロセッサとを備える内視鏡システムの作動方法において、光源用プロセッサは、互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、第１照明光を発光する第１照明期間と第２照明光を発光する第２照明期間とを自動的に切り替える場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光し、画像制御用プロセッサは、第１照明光に基づく第１照明光画像からなる第１照明光動画と、第２照明光に基づく第２照明光画像からなる第２照明光動画とを、保存用動画として動画記憶メモリに保存し、動画再生指示が行われた場合、保存用動画のうち第１照明光動画を再生表示用第１照明光動画とし、ディスプレイの第１再生画面で再生する場合において、再生表示用第１照明光動画にて表示領域設定を行い、再生表示用第１照明光動画のうち、表示領域設定された部分に、保存用動画のうち第２照明光動画を、表示方式設定及び表示内容設定がなされた再生表示用第２照明光動画としてディスプレイに表示することが好ましい。
　本発明によれば、内視鏡検査中に保存した動画を再生する場合において、ユーザーが注視する部分を強調して再生することができ、且つ、様々なスペクトルを持つ照明光に基づく強調画像を再生することができる内視鏡システム及びその作動方法を提供することができる。
内視鏡システムの構成の説明図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 強調観察モード時の第１Ａ発光パターン又は第２Ａパターンを示す説明図である。 強調観察モード時の第１Ｂ発光パターンを示す説明図である。 強調観察モード時の第２Ｃパターンを示す説明図である。 強調観察モード時の第２Ｂパターンを示す説明図である。 強調観察モード時の第２Ｄパターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第１撮像期間及び第２撮像期間を示す説明図である。 強調画像生成部の機能を示すブロック図である。 第２照明光用第１発光スペクトルＳＰを示すグラフである。 第２照明光用第２発光スペクトルＳＱを示すグラフである。 第２照明光用第３発光スペクトルＳＲを示すグラフである。 第３解析用画像処理部内の機能を示すブロック図である。 酸素飽和度算出用テーブルについて示す説明図である。 第２照明光用第４発光スペクトルＳＳを示すグラフである。 第４解析用画像処理部内の機能を示すブロック図である。 色差拡張処理について示す説明図である。 強調観察モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 検査画像取得部、エンコード部、動画記憶メモリ、表示制御部の機能を示すブロック図である。 検査画像取得部、エンコード部、動画記憶メモリ、再生モード切替部、再生モード切替スイッチ、デコード部、ＵＩ、再生設定部、表示制御部の機能を示すブロック図である。 再生設定画面を示す画像図である。 再生設定部内の機能を示すブロック図である。 表示領域設定画面を示す画像図である。 描画指定操作を示す画像図である。 第１再生画面におけるプレビュー再生の具体例を示す説明図である。 自動判別指定操作を示す画像図である。 図形描画指定操作を示す画像図である。 図形描画指定操作の具体例を示す説明図である。 第２再生画面において、描画指定操作された領域で再生表示用第２照明光動画をプレビュー再生することを示す画像図である。 表示方式設定画面を示す画像図である。 第２再生画面表示画面を示す画像図である。 表示内容設定画面を示す画像図である。 再生表示画面を示す画像図である。 第２再生画面がある場合の、再生表示画面を示す画像図である。 再生モードの切り替えと再生モードの一連の流れを示す説明図である。
　図１において、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ＵＩ（User InterFace、ユーザーインターフェース）１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、観察対象の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
　また、操作部１２ｂには、アングルノブ１２ｅ、観察モード切替スイッチ１２ｆ、再生モード切替スイッチ１２ｇ、静止画像取得指示スイッチ１２ｈ及びズーム操作部１２ｉが設けられている。観察モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。再生モード切替スイッチ１２ｇは、再生モードの切り替え操作に用いる。静止画像取得指示スイッチ１２ｈは、観察対象の静止画の取得指示に用いる。ズーム操作部１２ｉは、ズームレンズ４２の操作に用いる。
　内視鏡システム１０は、観察モードとして、第１照明観察モード、第２照明観察モード及び強調観察モードの３つのモードを有する。観察モード切替スイッチ１２ｆを押すと、画像処理切替部５４を介してモードが切り替わる。さらに、内視鏡システム１０は、再生モードを有しており、再生モード切替スイッチ１２ｇを押すと、再生モード切替部１００を介して観察モードから再生モードへ切り替わる。これ以降、再生モード切替スイッチ１２ｇを押すことによる観察モードから再生モードへの切り替えを、動画再生指示と呼ぶ。
　なお、再生モードは、観察モードが強調観察モードである場合のみに使用することできる。すなわち、本発明の内視鏡システム１０に搭載されるモードとしては、第１照明観察モード、第２照明観察モード、強調観察モード及び再生モードの、計４つのモードが存在する。本段落以降、単に「観察モード」と記載してある際は、第１照明観察モード、第２照明観察モード、強調観察モードのいずれか１つ以上のことを指す。
　第１照明観察モードでは、白色光等の通常光（第１照明光）を観察対象に照明して撮像することによって、自然な色合いの第１照明光画像をディスプレイ１５に表示する。第２照明観察モードでは、通常光と波長帯域が異なる特殊光（第２照明光）を観察対象に照明して撮像することによって、特定の構造を強調した第２照明光画像をディスプレイ１５に表示する。強調観察モード及び再生モードでは、発光スペクトルが異なる第１照明光と第２照明光とを切り替えて発光する。また、第２照明光に基づく画像に対して、AI（artificial intelligence）を介する処理の他、観察対象に関する特徴量等を得る処理等の解析処理を行う。なお、本明細書、特許請求の範囲、図面、要約書において、単に「検査画像」という言葉は、第１照明光画像、第２照明光画像、強調観察画像の少なくともいずれか１つ以上のことを指す。
　観察モードでは、観察モードの３態様において表示される画面をディスプレイ１５に表示する。再生モードでは、後述の通り、検査画像と再生用の画像とを、第１再生画面１３２及び／又は第２再生画面１１６に表示する。
　観察モード及び再生モードにおいて、ユーザーが検査画像の静止画を取得したい場合は、静止画像取得指示スイッチ１２ｈをユーザーが操作することにより、静止画像取得指示に関する信号が内視鏡１２、光源装置１３、及びプロセッサ装置１４に送られる。観察モードにおいて静止画像取得指示スイッチ１２ｈが押された場合、プロセッサ装置１４では、第１照明期間もしくは第２照明期間、あるいはその両方において観察対象の静止画がメモリ（図示しない）に保存される。なお、再生モードにおける静止画の保存については、後述にその詳細を記載する。
　プロセッサ装置１４は、ディスプレイ１５及びＵＩ１６と電気的に接続される。ディスプレイ１５は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ＵＩ１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。プロセッサ装置１４には、動画を一時的に記録する動画記憶メモリ１０３が接続されている。なお、プロセッサ装置１４に外付けのメモリ（図示しない）を接続してもよい。
　図２において、光源装置１３は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。
　図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、第１照明観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。
　また、光源用プロセッサ２１は、第２照明観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、第１照明観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。
　また、光源用プロセッサ２１は、強調観察モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。具体的には、第１発光パターンは、図４に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、図５に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。なお、図において、timeは時間経過の方向を表す。
　第２発光パターンは、図４に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図６に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図７に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図８に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。
　ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、ディスプレイ１５に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。
　第１照明光は、白色光であることが好ましい。一方、後述の通り、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。
　なお、第１照明期間と第２照明期間の切替パターンである第１、２発光パターンの詳細については、撮像用プロセッサ４４による撮像センサ４３の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４３において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。
　なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。
　図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズ等で構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に観察対象の像が結像される。ズームレンズ４２は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。
　撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図９に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には波長帯域が３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。
　また、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。第１照明観察モードでは、白色光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことにより、撮像センサ４３のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。第２照明観察モードでは、特殊光が撮像センサ４３に露光された状態で、撮像用プロセッサ４４が信号読み出しを行うことによって、撮像センサ４３のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。
　強調観察モードでは、撮像用プロセッサ４４は、図１０に示すように、第１照明期間において第１照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４４は、第２照明期間において第２照明光を撮像センサ４３に露光させた状態で、信号読み出しを行うことにより、撮像センサ４３から第２画像信号を出力させる。第２画像信号を出力する期間を第２撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。
　図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４５は、撮像センサ４３から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４５を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４６により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１４に入力される。
　プロセッサ装置１４においては、画像制御用プロセッサで構成される中央制御部５５により、プログラム用メモリ内のプログラムが動作することで、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、画像処理切替部５４と、検査画像取得部６０と、表示制御部１２０の機能が実現される。なお、強調観察モードにおいては、画像制御用プロセッサは、後述の通り、第１画像信号及び第２画像信号に基づいて画像処理を行い、ディスプレイ１５に対する制御を行う。
　画像取得部５０は、内視鏡１２から入力されるカラー画像を取得する。カラー画像には、撮像センサ４３のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。
　ノイズ低減部５３は、ＤＳＰ５２でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５４に入力される。
　画像処理切替部５４は、設定されているモードによって、ノイズ低減部５３からの画像信号の送信先を、検査画像取得部６０内の、第１照明光画像生成部７０と、第２照明光画像生成部８０と、強調画像生成部９０のいずれか１つに切り替える。具体的には、第１照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号第１照明光画像生成部７０に入力する。第２照明観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を第２照明光画像生成部８０に入力する。強調観察モードにセットされている場合には、ノイズ低減部５３からの画像信号を強調画像生成部９０に入力する。
　以降、ノイズ低減部５３から、画像処理切替部５４を介して検査画像取得部６０に送信された画像信号について行う、第１照明光画像用画像処理、第２照明光画像用画像処理、強調画像表示制御処理について説明する。
　第１照明観察モードの場合、第１照明光画像生成部７０は、入力された１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、第１照明光画像用画像処理を施す。第１照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第１照明光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、第１照明光画像として、再生モード切替部１００を介して表示制御部１２０に入力される。第１照明観察モードにおいて、第１照明光画像は、直接、表示制御部１２０に入力される（図２２参照）。表示制御部１２０は、第１照明光画像をディスプレイ１５に表示する。
　第２照明観察モードの場合、第２照明光画像生成部８０は、入力された１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、第２照明光画像用画像処理を施す。第２照明光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。第２照明光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、第２照明光画像として、再生モード切替部１００を介して表示制御部１２０に入力される。第２照明観察モードにおいて、第２照明光画像は、直接、表示制御部１２０に入力される（図２２参照）。表示制御部１２０は、第２照明光画像をディスプレイ１５に表示する。
　強調観察モードの場合、図１１に示す強調画像生成部９０において強調画像が生成される。強調画像生成部９０は、表示用画像生成部９１、第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４、第４解析用画像処理部９５及び強調処理部９６を備えている。表示用画像生成部９１は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、上述と同様の第１照明光画像用画像処理を施す。
　第１照明光画像信号用画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４及び第４解析用画像処理部９５は、後述の通り、入力された特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、第１解析用画像、第２解析用画像、第３解析用画像又は第４解析用画像を生成するための解析用画像処理を行う。強調処理部９６は、後述の通り、強調画像表示制御処理を行うことによって、強調画像を生成する。
　以下、第１解析用画像処理部９２、第２解析用画像処理部９３、第３解析用画像処理部９４、第４解析用画像処理部９５における解析用画像処理の詳細について説明する。
　第１解析用画像処理部９２で行われる第１解析用画像処理は、第２照明光用第１発光スペクトルＳＰで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第１発光スペクトルＳＰで発光する第２照明光は、図１２に示すように、紫色光Ｖが他の色の青色光Ｂ、緑色光Ｇ、赤色光Ｒよりもピークの強度が大きい光であることが好ましい。第１解析用画像処理は、Ｂ２画像信号を表示用のＢチャンネルとＧチャンネルに割り当て、Ｇ２画像信号を表示用のＲチャンネルに割り当てる疑似カラー処理である。この疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された第１解析処理画像が得られる。
　第２解析用画像処理部９３で行われる第２解析用画像処理は、第２照明光用第２発光スペクトルＳＱで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して施す処理である。第２照明光用第２発光スペクトルＳＱで発光する第２照明光は、図１３に示すように、紫色光Ｖ（ピーク波長は例えば４００～４２０ｎｍ）のみを発光する光であることが好ましい。第２解析用画像処理は、Ｂ２画像信号を表示用のＢチャンネル、Ｇチャンネル、Ｒチャンネルに割り当てて、且つ、色調及び階調バランスの調整を行う処理である。第２解析用画像処理によって、表層血管よりも浅い極表層血管などが強調された第２解析処理画像が得られる。
　第３解析用画像処理部９４で行われる第３解析用画像処理は、第１照明光を発光して得られたＢ１画像信号、Ｇ１画像信号、Ｒ１画像信号に加えて、第２照明光用第３発光スペクトルＳＲで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第３発光スペクトルＳＲは、図１４に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である青緑色光ＶＢ（ピーク波長は例えば４７０～４８０ｎｍ）であることが好ましい。
　第３解析用画像処理は、図１５に示すように、第３解析用信号比算出部９４ａと、酸素飽和度算出部９４ｃと、酸素飽和度画像生成部９４ｄが設けられている。第３解析用信号比算出部９４ａは、Ｂ２画像信号とＧ１画像信号との比を表す第１信号比（Ｂ２／Ｇ１）、及び、Ｒ１画像信号とＧ１画像信号との比を表す第２信号比（Ｒ１／Ｇ１）を算出する信号比算出処理を行う。酸素飽和度算出部９４ｃは、第３解析用信号比算出部９４ａと、酸素飽和度算出用テーブル９４ｂを参照して、第１信号比及び第２信号比に対応する酸素飽和度を算出する。酸素飽和度画像生成部９４ｄは、酸素飽和度に基づいて酸素飽和度画像を生成する。酸素飽和度画像が、第３解析用画像処理により得られる第３解析処理画像となる。
　なお、酸素飽和度算出用テーブル９４ｂは、酸素飽和度と第１信号比及び第２信号比との相関関係が記憶されている。具体的には、酸素飽和度算出用テーブル９４ｂは、図１６に示すように、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）を軸とする２次元空間に、酸素飽和度の等値線ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬｙなどを定義した２次元テーブルで構成される。例えば、等値線ＥＬｘは酸素飽和度が「０％」、等値線ＥＬ１は酸素飽和度が「３０％」、等値線ＥＬ２は酸素飽和度が「５０％」、等値線ＥＬ３は酸素飽和度が「８０％」であることを表している。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）はｌｏｇスケールであることが好ましい。
　第４解析用画像処理部９５で行われる第４解析用画像処理は、第２照明光用第４発光スペクトルＳＳで第２照明光を発光して得られたＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に対して、施す処理である。第２照明光用第４発光スペクトルＳＳは、図１７に示すように、紫色光Ｖ及び青色光Ｂのピーク強度が、緑色光Ｇ及び赤色光Ｒのピーク強度よりも大きい光であることが好ましい。また、第２照明光用第１発光スペクトルＳＰと比べると、赤色光Ｒの強度が大きいことが好ましい。
　第４解析用画像処理は、図１８に示すように、強調画像生成部９０に設けられた第４解析用画像処理部９５で行われる。第４解析用画像処理部９５は、第４解析用信号比算出部９５ａと、色差拡張処理部９５ｂと、色差拡張画像生成部９５ｃが設けられている。第４解析用信号比算出部９５ａは、Ｂ２画像信号とＧ２画像信号との比を表す第１信号比（Ｂ２／Ｇ２）、及び、Ｒ２画像信号とＧ２画像信号との比を表す第２信号比（Ｇ２／Ｒ２）を算出する信号比算出処理を行う。色差拡張処理部９５ｂは、第１信号比及び第２信号比に基づいて、複数の観察対象範囲の間の色差を拡張する色差拡張処理を行い、色差拡張処理後の第１信号比及び第２信号比に基づいて、色差拡張画像を生成する。色差拡張画像が、第４解析用画像処理により得られる第４析処理画像となる。
　色差拡張処理については、図１９に示すように、第１信号比（Ｂ２／Ｇ２）及び第２信号比（Ｇ２／Ｒ２）からなる二次元空間で複数の観察対象範囲の間の距離を拡張することが好ましい。具体的には、二次元空間において、複数の観察対象範囲のうち第１範囲（「１」と表記）の位置を色差拡張処理前後で維持した状態で、第１範囲と第２範囲（「２」と表記）との距離、第１範囲と第３範囲（「３」と表記）との距離、及び、第１範囲と第４範囲（「４」と表記）との距離を拡張することが好ましい。色差拡張処理は、第１信号比及び第２信号比を極座標変換した上で、動径と角度を調整する方法により行うことが好ましい。なお、第１範囲は病変などが存在しない正常部で、第２範囲、第３範囲、第４範囲は、病変等が存在する可能性がある異常部であることが好ましい。
　表示用画像又は強調画像は、最終的に、表示制御部１２０に入力される。表示制御部１２０は、表示用画像又は強調画像をディスプレイ１５に表示する強調画像表示制御処理を行う。
　強調処理部９６が行う強調画像表示制御処理について、以下説明する。第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合、図２０に示すように、第１照明光を２フレーム分、第２照明光を、第１照明光の発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、第１照明光の照明により得られる第１画像信号に対して第１照明光画像用画像処理を施すことによって、表示用画像を得る。
　次に、第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、第１、第２、第３又は第４解析処理画像を得る。具体的には、強調観察モードであって、第２照明光用発光スペクトルが異なる、第２Ｂ発光パターン、及び第２Ｄ発光パターンの場合に、第２画像信号から、第１解析処理画像、第２解析処理画像、第３解析処理画像及び／又は第４解析処理画像を得る。
　異なる第２画像信号に対して得られた、第１解析処理画像、第２解析処理画像、第３解析処理画像及び／又は第４解析処理画像は、後述の通り、表示用画像に重畳され強調画像として表示されるか、又は表示用画像とは異なる画面で表示される。
　上記の表示用画像、第１解析処理画像、第２解析処理画像、第３解析処理画像、第４解析処理画像及び／又は強調画像は、再生モード切替部１００を介して、表示制御部１２０に入力される。表示制御部１２０は、表示用画像又は強調画像をディスプレイ１５に表示する。
　また、第１解析処理画像、第２解析処理画像、第３解析処理画像及び第４解析処理画像を得る過程の解析処理で、第２照明光画像に係る特徴量の算出、注目領域の設定、診断結果の対応付け等を行う。
　解析処理は、ノイズ低減部５３から画像処理切替部５４を介して強調画像生成部９０に送信された画像信号を、強調画像生成部９０に搭載する機械学習の学習モデルに入力した結果として出力されたものであることが好ましい。学習とは、教師あり学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等を含む。
　また、検査画像に係る特徴量は、観察対象が表層、中層、深層の少なくともいずれか１つに位置することによって分類されることが好ましい。特徴量とは、観察対象の形状、色又はそれら形状や色等から得られる値であることが好ましい。特徴量の項目としては、例えば、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報である。特徴量はこれらの少なくともいずれか１つ、もしくは、これらの２以上を組み合わせた値であることが好ましい。なお、特徴量の項目については、この限りではなく、使用状況に応じて適宜追加されてもよい。
　検査画像において、所定の範囲内の特徴量を有する部位を注目領域とする。
　注目領域に対しては、診断結果が対応付けられる。診断結果は、病変部又は正常部であること、活動期又は寛解期であること、国際疾病分類、UICC TNM（Union for International Cancer Control Tumor Lymph Nodes Metastasis）分類、TNM（Tumor Lymph Nodes Metastasis）分類、Dukes分類、その他の分類、診断基準、ガイドライン、教科書及びアトラスに基づく診断名、種類、タイプ（type）、進展度及びステージの内、いずれか１つ以上を含むことが好ましい。
　なお、画像とともに表示する診断結果のディスプレイ１５への表示又は非表示については、ＵＩ１６によって適宜設定できるようにすることが好ましい。
　以下、検査画像の録画について説明する。録画をする構成は、観察モードの３態様に共通である。検査画像取得部６０で取得された検査画像は、検査画像の連続である検査動画として取得される。取得された検査動画は、図２１に示すように、エンコード部１０２でエンコードされ、圧縮された保存用動画として動画記憶メモリ１０３に保存される。これ以降、検査動画をエンコードして得た保存用動画を動画記憶メモリ１０３に保存する工程を「録画」と呼ぶ。
　なお、検査動画及び保存用動画の種類は、第１照明光に基づく第１照明光画像からなる第１照明光動画と、第２照明光に基づく第２照明光画像からなる第２照明光動画がある。
　本実施形態においては、第２照明光動画を構成する第２照明光画像が、（１）第２照明光用第１発光スペクトルＳＰで第２照明光を被写体に照射して得た画像信号に基づいて得た第１解析処理画像である場合、（２）第２照明光用第２発光スペクトルＳＰで第２照明光を被写体に照射して得た画像信号に基づいて得た第２解析処理画像である場合、（３）第２照明光用第３発光スペクトルＳＲで第２照明光を被写体に照射して得た画像信号に基づいて得た第３解析処理画像である場合、及び（４）第２照明光用第４発光スペクトルＳＳを被写体に照射して得た画像信号に基づいて得た第４解析処理画像である場合について記載しているが、第２照明光画像の種類はこれに限らない。
　なお、録画をする上で、動画記憶メモリ１０３の空き容量が不足する場合、最も古い保存用動画が保存された記憶領域に、最も新しいファイルを順次上書きして保存してもよい。また、保存用動画の保存期限を設定し、保存期限を超えた保存用動画を順次消去してもよい。上記の２種の記憶手法を併用してもよい。例えば、通常は保存用動画の保存期限を設定し（例えば１週間）、保存期限を超えた保存用動画は消去するが、検査中に録画する入力する保存用動画が多く、保存期限を超えない保存用動画で動画記憶メモリ１０３の空き容量が不足する場合は、最も古い映像情報から消去する構成にしてもよい。上記構成により、内視鏡検査中において、動画記憶メモリ１０３の記憶容量不足が原因として、保存用動画の再生が不可能になることを防ぐことができる。
　なお、保存用動画に注目領域の画像が存在する場合は、注目領域を含む期間の保存用動画を、動画記憶メモリ１０３から抽出し、外付けのメモリ（図示しない）に格納してもよい。
　以下、保存用動画の再生について説明する。再生モードへの切り替え（動画再生指示）は、前述の通り、再生モード切替スイッチ１２ｇが押された場合に、再生モード切替部１００を介して強調観察モードから再生モードに切り替わることによってなされる。
　動画再生指示はユーザーの任意のタイミングで行うことができるが、検査画像中に注目領域を発見した際、ユーザーに対して動画再生指示を行うかどうかの警告を行ってもよい。この場合においても、ユーザーが再生モード切替スイッチ１２ｇを押すかどうかの判断をすることで、動画再生指示が行われる。
　動画再生指示によって、再生モードに切り替わると、保存用動画のデコードがなされる。図２２に示すように、デコード部１０４が、直前の注目領域が出現した位置から現在までの保存用動画を動画記憶メモリ１０３から抽出する。次に、圧縮ファイルである保存用動画を解凍する。解凍済みの保存用動画のうち、第１照明光動画が表示制御部１２０に、第２照明光動画が再生設定部１１０に送信される。なお、抽出する動画の時間的範囲を選択するようにしてもよい。例えば、内視鏡検査中、狭い範囲に複数個の注目領域を連続的に発見した場合、現在位置から何個か前の注目領域から再生するようにしてもよい。上記構成により、デコードする動画の範囲を指定することで、デコード時間を短縮することができる。
　図２２に示すように、デコード部１０４から再生設定部１１０に送信された再生表示用第１照明光動画が表示制御部１２０に送信されると、図２３に示すように、再生設定画面１３０がディスプレイ１５に表示される。再生設定画面１３０では、第１再生画面１３２に再生表示用第１照明光動画が、現在の検査画像１３１と、一画面に表示される。なお、再生設定画面１３０に現在の検査画像１３１が表示される理由は、ユーザーに内視鏡１２の現在位置を示し、検査の安全を確保するためである。また、観察モードに戻るボタン１３７を選択すると、再生モードから観察モードに戻ることができる。
　再生設定画面１３０では、保存用動画のうち、第２照明光動画を再生表示用第２照明光動画として再生するための再生設定を行うことができる。再生設定とは、後述する、（１）再生表示用第２照明光動画を表示する領域を、第１再生画面１３２に表示された再生表示用第１照明光動画上で設定する表示領域設定、（２）再生表示用第２照明光動画を再生表示用第１照明光動画に単純強調、透過強調、点滅強調又は第２再生画面表示のうちいずれか１つの方式で表示するよう設定する表示方式設定及び（３）再生表示用第２照明光動画として表示する第２照明光動画の種類を設定する表示内容設定のことである。
　再生設定画面１３０では、表示領域設定ボタン１３４を選択することで表示領域設定を、表示方式設定ボタン１３５を選択することで表示方式設定を、表示内容設定ボタン１３６を選択することで表示内容設定を行う。上記のいずれか１つのボタンがＵＩ１６を介して選択されると、選択された設定項目が再生設定部１１０に送信される。
　なお、設定項目の選択や、再生設定を、ＵＩ１６を介して行う方法としては、タッチパネルであることが好ましい。また、操作部１２ｂに付属する物理ボタン、空中映像を操作するタッチレス入力、ジェスチャー入力、音声入力、アイトラッキング、まばたき入力、ヘッドマウントディスプレイによる視線方向操作、脳波入力、ＡＲ（Augmented Reality）を利用した入力等を用いてもよく、これに限られない。
　以下、再生設定（表示領域設定、表示方式設定及び表示内容設定）について説明する。
　まず、表示領域設定について説明する。再生設定画面１３０において、表示領域設定ボタン１３４が選択されると、図２４に示す、再生設定部１１０の表示領域設定部１１１に指令が届き、表示制御部１２０を介し、図２５に示す、表示領域設定画面１１２がディスプレイ１５に表示される。
　表示領域設定画面１１２では、再生表示用第１照明光動画を表示する第１再生画面１３２に対する表示領域設定操作が選択できる。表示領域設定操作には、描画指定操作、自動判別指定操作及び図形描画指定操作の３態様がある。表示領域設定画面１１２では、描画指定操作ボタン１１２ａを選択することで描画指定操作が、自動判別指定操作ボタン１１２ｂを選択することで自動判別指定操作が、図形描画指定操作ボタン１１２ｃを選択することで図形描画指定操作が可能な状態になる。
　描画指定操作ボタン１１２ａを選択すると、図２６に示すように、第１再生画面１３２上において、フリーハンドで任意の形状（描画指定形状１１２ｅ）が描けるようになる。上記のように領域設定を行い、決定ボタン１１２ｈを選択すると、後述の通り、第１再生画面１３２に表示されている再生表示用第１照明光動画の領域設定された部分（ここでは描画指定形状１１２ｅによって囲まれた部分）において、保存用動画のうちの第２照明光動画が、後述する設定された表示方式及び表示内容で再生表示用第２照明光動画としてプレビュー再生される。図２７は、第１再生画面１３２におけるプレビュー再生の具体例を示している。第１再生画面１３２では、再生表示用第１照明光動画１３２ａのうち、表示領域設定を行った部分において再生表示用第２照明光動画１３２ｂをプレビュー再生する。なお、描画指定形状１１２ｅの書き直しをするための指示ボタン（図示しない）を設け、書き直しを行えるようにしてもよい。
　自動判別指定操作ボタン１１２ｂを選択すると、図２８に示すように、第１再生画面１３２上において、注目領域の自動判別が行われ、自動判別指定形状１１２ｆが破線で表示される。上記のように領域設定を行い、決定ボタン１１２ｈを選択すると、後述の通り、第１再生画面１３２に表示されている再生表示用第１照明光動画の領域設定された部分（ここでは自動判別指定形状１１２ｆによって囲まれた部分）において、保存用動画のうちの第２照明光動画が、後述する設定された表示方式及び表示内容で再生表示用第２照明光動画としてプレビュー再生される。
　図形描画指定操作ボタン１１２ｃを選択すると、図２９に示すように、第１再生画面１３２において、設定された形の図形描画指定形状１１２ｇ－１が描けるようになる。図２９に示す具体例では、「設定された形」は矩形であるが、三角形、円形、楕円形等、形状は限らない。図３０は図形描画指定操作の具体例を示している。例えば、図形描画指定形状（小）１１２ｇ－２から、矢印１１２ｇ－３の方向へドラッグすると、図形描画指定形状１１２ｇ－１の矩形を描くことができ、これに伴い、自動判別指定形状１１２ｆが注目領域に沿って自動的に描画される。具体的には、図形描画指定形状（小）１１２ｇ－２の範囲内では、図３０に示すように、自動判別指定形状１１２ｆが注目領域の一部のみを囲うように描画される。図形描画指定形状（小）１１２ｇ－２から図形描画指定形状１１２ｇ－１になるように描画すると、自動判別指定形状１１２ｆが注目領域の全体を囲うように描画される。上記のように領域設定を行い、決定ボタン１１２ｈを選択すると、後述の通り、第１再生画面１３２に表示されている再生表示用第１照明光動画の領域設定された部分（ここでは図形描画指定形状１１２ｇ－１内で自動判別された、自動判別指定形状１１２ｆによって囲まれた部分）において、保存用動画のうちの第２照明光動画が、設定された表示方式及び表示内容で、再生表示用第２照明光動画としてプレビュー再生される。上記構成により、ユーザーが第２照明光動画（特殊光動画）を観察したい部分を選択できる。
　なお、表示領域設定画面１１２において、図３１に示すように、第１再生画面１３２に表示されている再生表示用第１照明光動画上の領域設定した部分を、再生表示用第２照明光動画を再生する第２再生画面１１６にドラッグアンドドロップし、第２再生画面１１６において再生表示用第２照明光動画のプレビュー再生を行ってもよい。
　次に、表示方式設定について説明する。再生設定画面１３０において、表示方式設定ボタン１３５が選択されると、図２４に示す、再生設定部１１０の表示方式設定部１１３に指令が届き、表示制御部１２０を介し、図３２に示す、表示方式設定画面１１４がディスプレイ１５に表示される。
　表示方式設定画面１１４では、再生表示用第１照明光動画を表示する第１再生画面１３２に対する表示方式設定操作が選択できる。表示方式設定操作には、単純強調操作、透過強調操作、点滅強調操作及び第２再生画面表示操作の４態様がある。表示方式設定画面１１４では、単純強調操作ボタン１１４ａを選択することで単純強調操作が、透過強調操作ボタン１１４ｂを選択することで透過強調操作が、点滅強調操作ボタン１１４ｃを選択することで点滅強調操作が、第２再生画面表示操作ボタン１１４ｄを選択することで第２再生画面表示操作が可能な状態になる。
　単純強調操作ボタン１１４ａを選択すると、図３２に示す、第１再生画面１３２上の再生表示用第１照明光動画において、領域設定操作によって領域設定された部分（ここでは、具体例として自動判別指定形状１１２ｆとしている）が、再生表示用第２照明光動画に切り替わる。再生表示用第２照明光動画は、後述する、設定された表示内容で、透過度０％で再生表示用第１照明光動画に重畳され、再生される。
　透過強調操作ボタン１１４ｂを選択すると、図３２に示す、第１再生画面１３２上の再生表示用第１照明光動画において、領域設定操作によって領域設定された部分（ここでは、具体例として自動判別指定形状１１２ｆとしている）に、保存用動画のうち、設定された表示内容の第２照明光動画が、再生表示用第２照明光動画として透過して重畳され、再生される。なお、再生表示用第２照明光動画の透過度に関しては、１～９９％の間の任意の値をユーザーが透過度入力フォーム１１４ｅに入力し、入力された透過度で再生表示用第２照明光動画を再生する。
　点滅強調操作ボタン１１４ｃを選択すると、図３２に示す、第１再生画面１３２上の再生表示用第１照明光動画において、領域設定操作によって領域設定された部分（ここでは、具体例として自動判別指定形状１１２ｆとしている）に、保存用動画のうちの設定された表示内容の第２照明光動画が、再生表示用第２照明光動画として任意の透過度で重畳され、点滅再生される。なお、第１再生画面１３２に表示される第１照明光動画に透過して重畳する再生表示用第２照明光動画の透過度は、０～９９％の間の任意の値をユーザーが透過度入力フォーム１１４ｅに入力し、入力された透過度で再生する。
　第２再生画面表示操作ボタン１１４ｄを選択すると、図３２で示す表示方式設定画面１１４が、図３３に示す、第２再生画面表示画面１１５に切り替わる。第２再生画面表示画面１１５では、現在の検査画像１３１と、再生表示用第１照明光動画を再生する第１再生画面１３２と、設定された表示内容の再生表示用第２照明光動画を再生する第２再生画面１１６と、を一画面として表示する。この表示方式では、再生表示用第２照明光動画では、注目領域１１５Ｉ－２が、再生表示用第１照明光動画における注目領域１１５Ｉ－１よりも強調されて表示される。上記構成により、ユーザーが観察したい部分を、再生表示用第２照明光動画として任意の方法により再生できる。
　次に、表示内容設定について説明する。再生設定画面１３０において、表示内容設定ボタン１３６が選択されると、図２４に示す、再生設定部１１０の表示内容設定部１１７に指令が届き、表示制御部１２０を介し、図３４に示す、表示内容設定画面１１８がディスプレイ１５に表示される。
　表示内容設定画面１１８では、再生表示用第１照明光動画を表示する第１再生画面１３２に対して設定された領域において、設定された表示方式で再生表示する第２照明光動画の種類を選択できる。本実施形態においては、第１解析用画像、第２解析用画像、第３解析用画像又は第４解析用画像のうちいずれか１つを、再生表示用第２照明光動画として選択する。
　表示内容設定操作を行う表示内容設定画面１１８では、図３４で示すように、第１解析用画像ボタン１１８ａを選択することで第１解析用画像を、第２解析用画像ボタン１１８ｂを選択することで第２解析用画像を、第３解析用画像ボタン１１８ｃを選択することで第３解析用画像を、第４解析用画像ボタン１１８ｄを選択することで第４解析用画像を、再生する第２照明光動画として選択する。上記構成により、注目領域やユーザーが観察したい部位に合わせて、適切な第２照明光動画を選択できる。なお、ＡＩ等が、注目領域に合わせて、自動的に再生表示用第２照明光動画を選択してもよい。また、選択できる再生表示用第２照明光動画の種類は、適宜増減させてよい。
　また、再生設定画面１３０では、表示方式及び表示内容に関しては、表示方式設定画面１１４又は表示内容設定画面１１８に切り替えず、タブにより設定を行ってもよい。スワイプにより設定選択を変えてもよい。また、表示方式と表示内容に関しては、予め設定されていてもよい。
　再生設定画面１３０において、設定完了ボタン１３８が選択されると、デコード部１０４から再生設定部１１０に送信された第２照明光動画が、設定内容が反映された再生表示用第２照明光動画として、再生設定部１１０から表示制御部１２０に送信される。送信が完了すると、図３５に示す再生表示画面１４０がディスプレイ１５に表示される。
　図３５に示す再生表示画面１４０では、第１再生画面１３２上の、再生表示用第１照明光動画内において指定された領域内の再生表示用第２照明光動画（図３５に示す具体例では、自動判別指定形状１１２ｆによって囲まれた部分）及び／又は第１再生画面１３２全体の表示について設定ができることが好ましい。具体的には、倍率指定、回転指定、明るさ指定及びフォーカス指定ができることが好ましい。
　表示倍率指定ボタン１４１を選択すると、再生表示用第２照明光動画の表示又は第１再生画面１３２全体の表示を拡大又は縮小できる。操作方法としては、タッチパネル上のピンチイン／ピンチアウトによる拡大／縮小操作であることが好ましい。図３５に示す具体例では、等倍であることを示す１００％としている。
　回転指定ボタン１４２を選択すると、再生表示用第２照明光動画の表示又は第１再生画面１３２全体の表示を、２次元又は３次元的な角度で回転できる。操作方法としては、回転角度の入力、タッチパネル上のマルチタッチ操作であることが好ましい。図３５に示す具体例では、回転していないことを示す０°としている。３次元回転は、検査画像を基に作成した３次元再生モデル（図示しない）上で回転させてもよい。
　明るさ指定ボタン１４３を選択すると、再生表示用第２照明光動画の表示又は第１再生画面１３２全体の表示の明るさを調節することができる。操作方法としては、明るさ度合いの数値の入力、タッチパネル上の操作であることが好ましい。図３５に示す具体例では、元の表示画像から２５％明るい、１２５％としている。
　フォーカス指定ボタン１４４を選択すると、再生表示用第２照明光動画の表示又は第１再生画面１３２の表示の焦点深度を調節することができる。操作方法としては、焦点深度の数値の入力、タッチパネル上の操作であることが好ましい。図３５に示す具体例では、＋０．５としている。
　再生表示画面１４０では、シークバー１４７ａで全体の再生時間を、シークボタン１４７ｂの位置で、現在の再生時間を表示する。現在の再生時間は、シークボタン１４７ｂのシークバー１４７ａ上における操作、再生動画巻き戻しボタン１４８ａ及び再生動画早送りボタン１４８ｂで調節できる。なお、一時停止ボタン１４９で、再生中の動画を一時停止できる。
　再生表示画面１４０の再生設定ボタン１４５を選択すると、再生表示画面１４０から再生設定画面１３０に戻ることができる。本実施形態では、図３５の画面から、図２３の画面に切り替わる。
　再生表示画面１４０のスクリーンショットボタン１４６を選択すると、第１再生画面１３２を静止画として取得し、メモリ（図示しない）や動画記憶メモリ１０３に保存できる。上記構成により、検査記録システムや電子カルテ等の保存媒体に第１再生画面１３２を記録することができる。
　なお、表示方式設定において、２画面表示を選択した場合は、図３６に示すような、再生表示画面１４０が表示される。図３６では、第１再生画面１３２と第２再生画面１１６のどちらに対して再生表示設定を行うかを選択できることが好ましい。再生表示設定は上記と同様であるため省略する。なお、第１再生画面１３２と第２再生画面１１６との両方に対して同時に再生表示設定を行い、設定を同期させてもよい。
　本実施形態の再生モードの一連の流れについて、図３７に示すフローチャートに沿って説明を行う。まず、検査画像が取得される（ステップＳ１０１）。再生モード切替スイッチ１２ｇが押されると、再生モード切替部１００を操作して、観察モードから再生モードに切り替える（動画再生指示）（ステップＳ１０２）。動画再生指示がない場合は、検査画像を表示制御部１２０に送信する（ステップＳ１０３）。再生モードの場合、動画記憶メモリ１０３に記憶された動画をデコード部１０４が解凍する（ステップＳ１０４）。次に、解凍済みの第１照明光動画が表示制御部１２０に、解凍済みの第２照明光動画が再生設定部１１０に送信される（ステップＳ１０５）。次に、再生表示用第１照明光動画上で領域設定を行う（ステップＳ１０６）。最終的に、指定された領域で、指定された表示方式及び内容で、再生表示用第２照明光動画を再生する（ステップＳ１０７）。
　なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡等、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MRI画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像等を取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。
　上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４４、画像取得部５０、ＤＳＰ５２、ノイズ低減部５３、画像処理切替部５４、解析処理部５５ｅ、中央制御部５５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　観察モード切替スイッチ
１２ｇ　再生モード切替スイッチ
１２ｈ　静止画像取得指示スイッチ
１２ｉ　ズーム操作部
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　ＵＩ
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２２　光路結合部
２３　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３１　照明レンズ
４１　対物レンズ
４２　ズームレンズ
４３　撮像センサ
４４　撮像用プロセッサ
４５　ＣＤＳ／ＡＧＣ回路
４６　Ａ／Ｄコンバータ
５０　画像取得部
５２　ＤＳＰ
５３　ノイズ低減部
５４　画像処理切替部
５５　中央制御部
６０　検査画像取得部
７０　第１照明光画像生成部
８０　第２照明光画像生成部
９０　強調画像生成部
９１　表示用画像生成部
９２　第１解析用画像処理部
９３　第２解析用画像処理部
９４　第３解析用画像処理部
９４ａ　第３解析用信号比算出部
９４ｂ　酸素飽和度算出用テーブル
９４ｃ　酸素飽和度算出部
９４ｄ　酸素飽和度画像生成部
９５　第４解析用画像処理部
９５ａ　第４解析用信号比算出部
９５ｂ　色差拡張処理部
９５ｃ　色差拡張画像生成部
９６　強調処理部
１００　再生モード切替部
１０２　エンコード部
１０３　動画記憶メモリ
１０４　デコード部
１１０　再生設定部
１１１　表示領域設定部
１１２　表示領域設定画面
１１２ａ　描画指定操作ボタン
１１２ｂ　自動判別指定操作ボタン
１１２ｃ　図形描画指定操作ボタン
１１２ｅ　描画指定形状
１１２ｆ　自動判別指定形状
１１２ｇ－１　図形描画指定形状
１１２ｇ－２　図形描画指定形状（小）
１１２ｇ－３　矢印
１１２ｈ　決定ボタン
１１３　表示方式設定部
１１４　表示方式設定画面
１１４ａ　単純強調操作ボタン
１１４ｂ　透過強調操作ボタン
１１４ｃ　点滅強調操作ボタン
１１４ｄ　第２再生画面表示操作ボタン
１１４ｅ　透過度入力フォーム
１１５　第２再生画面表示画面
１１５Ｉ－１　再生表示用第１照明光動画における注目領域
１１５Ｉ－２　再生表示用第２照明光動画における注目領域
１１６　第２再生画面
１１７　表示内容設定部
１１８　表示内容設定画面
１１８ａ　第１解析用画像ボタン
１１８ｂ　第２解析用画像ボタン
１１８ｃ　第３解析用画像ボタン
１１８ｄ　第４解析用画像ボタン
１２０　表示制御部
１３０　再生設定画面
１３１　現在の検査画像
１３２　第１再生画面
１３２ａ　再生表示用第１照明光動画
１３２ｂ　再生表示用第２照明光動画
１３４　表示領域設定ボタン
１３５　表示方式設定ボタン
１３６　表示内容設定ボタン
１３７　観察モードに戻るボタン
１３８　設定完了ボタン
１４０　再生表示画面
１４１　表示倍率指定ボタン
１４２　回転指定ボタン
１４３　明るさ指定ボタン
１４４　フォーカス指定ボタン
１４５　再生設定ボタン
１４６　スクリーンショットボタン
１４７ａ　シークバー
１４７ｂ　シークボタン
１４８ａ　再生動画巻き戻しボタン
１４８ｂ　再生動画早送りボタン
１４９　一時停止ボタン

Claims (11)

  1. 　光源用プロセッサと画像制御用プロセッサとを備え、
    　前記光源用プロセッサは、
    　互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、
    　前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光し、
    　前記画像制御用プロセッサは、
    　前記第１照明光に基づく第１照明光画像からなる第１照明光動画と、前記第２照明光に基づく第２照明光画像からなる第２照明光動画とを、保存用動画として動画記憶メモリに保存し、
    　動画再生指示が行われた場合、前記保存用動画のうち前記第１照明光動画を再生表示用第１照明光動画とし、ディスプレイに表示された第１再生画面で再生する場合において、前記再生表示用第１照明光動画にて表示領域設定を行い、
    　前記再生表示用第１照明光動画のうち、前記表示領域設定された部分に、前記保存用動画のうち前記第２照明光動画を、表示方式設定及び表示内容設定がなされた再生表示用第２照明光動画として前記ディスプレイに表示する内視鏡システム。
  2. 　前記表示領域設定では、前記第１再生画面に対し、描画指定操作、自動判別指定操作又は図形描画指定操作の内、いずれか１つを選択する請求項１に記載の内視鏡システム。
  3. 　前記表示方式設定では、前記第１再生画面で前記表示領域設定された部分において、前記第２照明光動画を、単純強調操作、透過強調操作、点滅強調操作又は前記第１再生画面とは別の第２再生画面にて表示する第２再生画面表示操作のいずれか１つを選択して再生する請求項１又は２に記載の内視鏡システム。
  4. 　前記表示内容設定では、前記第１再生画面で前記表示領域設定された部分において、第２照明光用第１発光スペクトルで発光する前記第２照明光に基づく第１解析処理画像、第２照明光用第２発光スペクトルで発光する前記第２照明光に基づく第２解析処理画像、第２照明光用第３発光スペクトルで発光する前記第２照明光に基づく第３解析処理画像又は第２照明光用第４発光スペクトルで発光する前記第２照明光に基づく第４解析処理画像のいずれか１つを前記再生表示用第２照明光動画として再生することを選択する請求項１ないし３のいずれか１項に記載の内視鏡システム。
  5. 　前記動画再生指示が行われた場合、前記表示領域設定、前記表示方式設定及び前記表示内容設定を行うための画面である再生設定画面を前記ディスプレイに表示する請求項１に記載の内視鏡システム。
  6. 　前記第１再生画面で、前記再生表示用第１照明光動画又は前記再生表示用第２照明光動画の倍率指定、回転指定、明るさ指定、フォーカス指定を行う請求項１ないし５のいずれか１項に記載の内視鏡システム。
  7. 　前記第１再生画面に表示する前記再生表示用第１照明光動画及び／又は前記再生表示用第２照明光動画を静止画として取得する請求項１ないし６のいずれか１項に記載の内視鏡システム。
  8. 　前記第１発光パターンは、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において同じである第１Ａ発光パターンと、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つである請求項１ないし７のいずれか１項に記載の内視鏡システム。
  9. 　前記第２発光パターンは、
    　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ａパターン、
    　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｂパターン、
    　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ｃパターン、及び、
    　前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｄパターンのうちのいずれか１つである請求項１ないし８のいずれか１項に記載の内視鏡システム。
  10. 　前記第２照明光用第１発光スペクトルで発光する前記第２照明光は、紫色光のピークの強度が他の色の青色光、緑色光、赤色光よりも大きく、前記第２照明光用第２発光スペクトルで発光する前記第２照明光は、紫色の波長帯域の光のみを有し、前記第２照明光用第３発光スペクトルで発光する前記第２照明光は、青緑色の波長帯域の光のみを有し、前記第２照明光用第４発光スペクトルで発光する前記第２照明光は、紫色光及び青色光のピーク強度が、緑色光及び赤色光のピーク強度よりも大きく、かつ、赤色光の強度が前記第２照明光用第１発光スペクトルで発光する前記第２照明光よりも大きい請求項４に記載の内視鏡システム。
  11. 　光源用プロセッサと画像制御用プロセッサとを備える内視鏡システムの作動方法において、
    　前記光源用プロセッサは、
    　互いに発光スペクトルが異なる第１照明光及び第２照明光の発光を制御し、
    　前記第１照明光を発光する第１照明期間と前記第２照明光を発光する第２照明期間とを自動的に切り替える場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光し、
    　前記画像制御用プロセッサは、
    　前記第１照明光に基づく第１照明光画像からなる第１照明光動画と、前記第２照明光に基づく第２照明光画像からなる第２照明光動画とを、保存用動画として動画記憶メモリに保存し、
    　動画再生指示が行われた場合、前記保存用動画のうち前記第１照明光動画を再生表示用第１照明光動画とし、ディスプレイの第１再生画面で再生する場合において、前記再生表示用第１照明光動画にて表示領域設定を行い、
    　前記再生表示用第１照明光動画のうち、前記表示領域設定された部分に、前記保存用動画のうち前記第２照明光動画を、表示方式設定及び表示内容設定がなされた再生表示用第２照明光動画として前記ディスプレイに表示する内視鏡システムの作動方法。
PCT/JP2021/004827 2020-08-26 2021-02-09 内視鏡システム及びその作動方法 WO2022044371A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022545278A JP7495503B2 (ja) 2020-08-26 2021-02-09 内視鏡システム及びその作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020142974 2020-08-26
JP2020-142974 2020-08-26

Publications (1)

Publication Number Publication Date
WO2022044371A1 true WO2022044371A1 (ja) 2022-03-03

Family

ID=80355061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004827 WO2022044371A1 (ja) 2020-08-26 2021-02-09 内視鏡システム及びその作動方法

Country Status (2)

Country Link
JP (1) JP7495503B2 (ja)
WO (1) WO2022044371A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207522A (ja) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp 医療用画像処理装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
JP2012050598A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 撮像表示方法および装置
JP2016019569A (ja) * 2014-07-11 2016-02-04 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム
JP2016022325A (ja) * 2014-07-24 2016-02-08 オリンパス株式会社 観察装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207522A (ja) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp 医療用画像処理装置
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
JP2012050598A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 撮像表示方法および装置
JP2016019569A (ja) * 2014-07-11 2016-02-04 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム
JP2016022325A (ja) * 2014-07-24 2016-02-08 オリンパス株式会社 観察装置

Also Published As

Publication number Publication date
JPWO2022044371A1 (ja) 2022-03-03
JP7495503B2 (ja) 2024-06-04

Similar Documents

Publication Publication Date Title
JP4951256B2 (ja) 生体観測装置
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6917518B2 (ja) 内視鏡システム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
JP6077340B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
WO2022018894A1 (ja) 内視鏡システム及びその作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7402314B2 (ja) 医用画像処理システム、医用画像処理システムの作動方法
WO2022044371A1 (ja) 内視鏡システム及びその作動方法
WO2021210676A1 (ja) 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
JP6731065B2 (ja) 内視鏡システム及びその作動方法
JP6267372B2 (ja) 内視鏡システム
WO2022071413A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2023007896A1 (ja) 内視鏡システム、プロセッサ装置及びその作動方法
JP7556960B2 (ja) 内視鏡システム及びその作動方法
WO2021106452A1 (ja) 内視鏡システム及びその作動方法
JP2022047319A (ja) 処置具管理システム、内視鏡システム及びその作動方法
JP7506159B2 (ja) 内視鏡システム及びその作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
JP7196196B2 (ja) 内視鏡システム
JP6999597B2 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21860803

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545278

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21860803

Country of ref document: EP

Kind code of ref document: A1