WO2021229900A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2021229900A1
WO2021229900A1 PCT/JP2021/008525 JP2021008525W WO2021229900A1 WO 2021229900 A1 WO2021229900 A1 WO 2021229900A1 JP 2021008525 W JP2021008525 W JP 2021008525W WO 2021229900 A1 WO2021229900 A1 WO 2021229900A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
amount ratio
light amount
period
ratio
Prior art date
Application number
PCT/JP2021/008525
Other languages
English (en)
French (fr)
Inventor
昌之 蔵本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022522531A priority Critical patent/JP7390482B2/ja
Publication of WO2021229900A1 publication Critical patent/WO2021229900A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor

Definitions

  • the present invention relates to an endoscope system that switches and emits a plurality of illumination lights having different emission spectra and a method of operating the same.
  • an endoscope system including a light source device, an endoscope, and a processor device.
  • an observation object is irradiated with illumination light, and the observation object illuminated by the illumination light is imaged to acquire an endoscope image as a medical image.
  • the endoscopic image is displayed on the display and used for diagnosis.
  • CMOS Complementary Metal Oxide Semiconductor
  • the CMOS type image pickup sensor when there are a plurality of pixels arranged in the row direction and the column direction, the charge is accumulated in the pixels, and the signal is sequentially read out in the order of the column direction in the row direction line unit.
  • the rolling shutter method is adopted. When imaging by the rolling shutter method, color mixing may occur when switching between a plurality of illumination lights.
  • Patent Document 1 when the first light and the second light are switched and emitted, each light is emitted only during the accumulation period in which the electric charge is accumulated, and the reading period during which the signal is read out is extinguished. This prevents color mixing due to switching between the first light and the second light.
  • the present invention provides an endoscope system capable of ensuring the brightness of an image while maintaining a frame rate when a rolling shutter type image pickup sensor is used when a plurality of illumination lights are switched to emit light.
  • the purpose is to provide a method of operation thereof.
  • the endoscope system of the present invention controls a light source unit that emits light in a plurality of wavelength bands having different wavelength bands from each other, and controls the light source unit to combine light in a plurality of wavelength bands to emit illumination light at a specific light amount ratio.
  • a light source processor that emits light, a light source processor that switches the light amount ratio for each light emission mode as a specific light amount ratio, an image sensor in which a plurality of pixels are arranged in a row direction and a column direction, and a charge in the pixels.
  • the light source processor is provided with an image pickup processor that accumulates and reads out signals in the order from pixels to columns in line units in the row direction, and the light source processor has a set exposure time for the image pickup sensor set to the first exposure time.
  • the light In the first light emission mode in which the first illumination light having the first light amount ratio is emitted, the light is emitted at the light amount ratio for the first storage period in the first storage period in which the charge is accumulated, and the signal is read out.
  • the second light emission mode in which the light amount ratio for the first storage period is switched from the light amount ratio for the first read period to emit light in one read period and the second illumination light having the second light amount ratio is emitted, the charge is accumulated.
  • the second storage period to be performed light is emitted at the light amount ratio for the second storage period, and in the second read period in which the signal is read, the light source is switched from the light amount ratio for the second storage period to the light amount ratio for the second read period.
  • the light amount ratio for the first read period and the light amount ratio for the first storage period are added to obtain the first light amount ratio
  • the light amount ratio for the second read period and the light amount ratio for the second storage period are added to obtain the first light amount ratio. 2 Light source ratio.
  • the same common light amount ratio for the read period for the light amount ratio for the first read period and the light amount ratio for the second read period.
  • the ratio of each wavelength band in the common light amount ratio for the read period it is preferable to use a smaller ratio of the ratio of each wavelength band of the first light amount ratio or the second light amount ratio.
  • the first illumination light and the second illumination light include at least purple light whose wavelength band is the purple band, the ratio of purple light in the second light amount ratio is larger than the ratio of purple light in the first light amount ratio. Is preferable.
  • the first emission mode or the second emission mode or the second when the first illumination light and the second illumination light include at least purple light whose wavelength band is the purple band and the first read period is longer than the first storage period.
  • the ratio of purple light in the reading period is larger than the ratio of purple light in the accumulation period.
  • the light source processor causes the first light emission.
  • the light is emitted at the first light amount ratio in the first storage period, the light is switched from the first light amount ratio to the dimmed state in the first read period, and in the second light emission mode, in the second storage period. It is preferable to emit light at the second light intensity ratio and switch from the second light intensity ratio to the dimmed state in the second readout period.
  • the light source processor When the exposure time of the image pickup sensor is set to the first exposure time, the light source processor accumulates charge in the third emission mode of emitting the third illumination light having the third light amount ratio. By emitting light at the light amount ratio for the third storage period in the three storage periods and switching from the light amount ratio for the third storage period to the light amount ratio for the third read period in the third read period in which the signal is read out. , It is preferable to add the light amount ratio for the third read period and the light amount ratio for the third storage period to obtain the third light amount ratio.
  • the light source processor automatically switches between the first light emitting mode and the second light emitting mode, automatically switches between the first light emitting mode and the third light emitting mode, or the second light emitting mode and the third light emitting mode. It is preferable to perform one of the three automatic light source switching of automatically switching between and.
  • the number of frames of the lighting period in which each lighting light is emitted is the same in each lighting period, and the number of frames in the same number of frames and the number of frames in the lighting period are different in each lighting period. It is preferably one of the different frame number emission patterns.
  • the image control processor automatically switches between the first image obtained in the first light emitting mode and the second image obtained in the second light emitting mode and displays them on the display. .. It has an image control processor, and the image control processor displays the analysis result obtained from the analysis process based on the second image obtained in the second light emission mode with respect to the first image obtained in the first light emission mode. It is preferable to display the display image with the analysis result on the display.
  • the present invention is a light source processor that controls a light source unit that emits light in a plurality of wavelength bands having different wavelength bands and a light source unit that combines light in a plurality of wavelength bands to emit illumination light at a specific light amount ratio. Therefore, as a specific light amount ratio, a light source processor that switches the light amount ratio for each light emission mode, an image sensor in which a plurality of pixels are arranged in a row direction and a column direction, and a pixel accumulates charge in a row.
  • the light source processor has a set exposure time for the image pickup sensor set to the first exposure time.
  • the light In the first light emission mode in which the first illumination light having the first light amount ratio is emitted, the light is emitted at the light amount ratio for the first storage period in the first storage period in which the charge is accumulated, and the signal is read out.
  • the second light emission mode in which the light amount ratio for the first storage period is switched to the light amount ratio for the first read period and the light is emitted, and the second illumination light having the second light amount ratio is emitted, the charge is charged.
  • the second storage period in which the light is accumulated the light is emitted at the light amount ratio for the second storage period, and in the second read period in which the signal is read out, the light amount ratio for the second storage period is switched to the light amount ratio for the second read period.
  • the light amount ratio for the first read period and the light amount ratio for the first storage period are added to obtain the first light amount ratio, and the light amount ratio for the second read period and the light amount ratio for the second storage period are added. Then, it is used as the second light amount ratio.
  • a rolling shutter type image pickup sensor when a plurality of illumination lights are switched to emit light, it is possible to secure the brightness of the image while maintaining the frame rate.
  • the endoscope system 10 has an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a portion 12d.
  • the curved portion 12c bends by operating the angle knob 12e of the operating portion 12b.
  • the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b includes a mode switching switch (mode switching switch) 12f used for mode switching operation, and a still image acquisition instruction unit 12g used for instructing acquisition of a still image to be observed.
  • a zoom operation unit 12h used for operating the zoom lens 43 (see FIG. 2) is provided.
  • the endoscope system 10 has four modes: a first light emitting mode, a second light emitting mode, a third light emitting mode, and a multi-light emitting mode.
  • the first light emission mode the first image having a natural color is displayed on the display 18 by illuminating the observation target with the first illumination light which is a wide band light such as white light and taking an image.
  • the second light emission mode the display 18 displays the second image in which the first structure is emphasized by illuminating the observation target with the second illumination light having a wavelength band different from that of the first illumination light and taking an image.
  • the first structure includes blood vessel information on the surface layer of the mucosa. By using the second illumination light, it is possible to emphasize the blood vessel information on the mucosal surface layer as compared with the case of the first illumination light.
  • the display 18 displays a second image emphasizing the second structure by illuminating the observation target with a third illumination light having a wavelength band different from that of the first illumination light and the second illumination light. do.
  • the second structure contains blood vessel information deeper than the mucosal surface layer.
  • the third illumination light it is possible to emphasize blood vessel information deeper than the mucosal surface layer than in the case of the first illumination light.
  • the first light emission mode and the second light emission mode are automatically switched to emit light, the first light emission mode and the third light emission mode are automatically switched to emit light, or the second light emission mode is emitted.
  • One of the three automatic light emission switching of automatically switching between the mode and the third light emission mode to emit light is performed. Which automatic light emission switching is set is performed by operating the user interface 19. Further, in the multi-flash mode, an image corresponding to a specific purpose is displayed on the display 18 based on a plurality of images obtained by automatic flash switching.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
  • the user interface 19 has a keyboard, a mouse, a touch pad, and the like, and has a function of accepting input operations such as function settings.
  • An external recording unit (not shown) for recording an image, image information, or the like may be connected to the processor device 16.
  • the light source device 14 includes a light source unit 20 and a light source processor 21 that controls the light source unit 20.
  • the light source unit 20 emits light having a plurality of wavelength bands having different wavelength bands from each other.
  • the light source unit 20 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 20 is turned on, the light emission amount of each semiconductor light source is controlled to emit illumination light for illuminating the observation target.
  • the light source unit 20 is a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light).
  • Emitting Diode It has a 20d 4-color LED.
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength band of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength band of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength band of 480 to 600 nm.
  • the R-LED 20d generates red light R having a central wavelength of 620 to 630 nm and a wavelength band of 600 to 650 nm.
  • the light source processor 21 controls the light source unit 20 to combine light in a plurality of wavelength bands to emit illumination light at a specific light amount ratio.
  • the light source processor 21 controls V-LED20a, B-LED20b, G-LED20c, and R-LED20d. By controlling each of the LEDs 20a to 20d independently, the light source processor 21 can emit purple light V, blue light B, green light G, or red light R by independently changing the amount of light.
  • the light source processor 21 switches the light amount ratio for each light emission mode as a specific light amount ratio.
  • the light source processor 21 emits the first illumination light, the second illumination light, and the third illumination light in the first emission mode, the second emission mode, the third emission mode, or the multi emission mode.
  • light emission control is performed for each of the LEDs 20a to 20d as follows.
  • the first light amount ratio between the purple light V, the blue light B, the green light G, and the red light R is 0.4: 0.6: 0.6: 0.5.
  • Each LED 20a to 20d is controlled so as to be.
  • the second illumination light is emitted
  • the second light amount ratio between the purple light V, the blue light B, the green light G, and the red light R is 1: 0.3: 0.3: 0.3.
  • Each LED 20a to 20d is controlled so as to be.
  • the third illumination light is emitted, the third light amount ratio between the purple light V, the blue light B, the green light G, and the red light R is 1: 0.6: 0.3: 0.5.
  • Each LED 20a to 20d is controlled so as to be.
  • the ratio of purple light V is "V”
  • the ratio of blue light B is “B”
  • the ratio of green light G is “G”
  • the ratio of red light R is “R”.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light amount ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the light source processor 21 automatically switches between the first light emission mode and the second light emission mode to emit light, and automatically switches between the first light emission mode and the third light emission mode.
  • One of three automatic light emission switching of switching and emitting light or automatically switching between the second light emitting mode and the third light emitting mode to emit light is performed.
  • the light source processor 21 controls to emit the illumination light not only in the storage period but also in the read period when the CMOS type image pickup sensor 44 is used. .. This light emission control will be described later.
  • the number of frames for the illumination period in which each illumination light is emitted is the same in each illumination period, and the number of emission patterns is equal to the number of frames.
  • One of the patterns For example, when the illumination period of the first illumination light is one frame and the illumination period of the second illumination light is one frame as the equal number of frames emission pattern, as shown in FIG. 5, the first illumination period is set to one frame.
  • the 1-illumination light and the 2nd illumination light are automatically switched and emitted.
  • the frame refers to a period required to acquire an image for one frame displayed on the display 18, and when a CMOS type image pickup sensor 44 is used as in the present embodiment, charge accumulation is accumulated. It is preferable that the storage period to be performed and the period including the read period for reading the signal are set to one frame.
  • the light emitted by each of the LEDs 20a to 20d is incident on the light guide 25 via the optical path coupling portion 23 composed of a mirror, a lens, or the like.
  • the light guide 25 is built in the endoscope 12 and a universal cord (a cord connecting the endoscope 12, the light source device 14 and the processor device 16).
  • the light guide 25 propagates the light from the optical path coupling portion 23 to the tip portion 12d of the endoscope 12.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an image pickup optical system 30b.
  • the illumination optical system 30a has an illumination lens 32, and the illumination light propagated by the light guide 25 is applied to the observation target through the illumination lens 32.
  • the image pickup optical system 30b has an objective lens 42 and an image pickup sensor 44. The light from the observation target due to the irradiation of the illumination light is incident on the image pickup sensor 44 via the objective lens 42 and the zoom lens 43. As a result, an image to be observed is formed on the image pickup sensor 44.
  • the zoom lens 43 is a lens for enlarging the observation target, and moves between the telephoto end and the wide end by operating the zoom operation unit 12h.
  • the image pickup sensor 44 is a CMOS (Complementary Metal Oxide Semiconductor) type, and details such as image pickup control will be described later.
  • the image pickup sensor 44 is a primary color sensor, and has a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel (red pixel) having a red color filter. It is provided with three types of pixels (pixels).
  • the blue color filter BF mainly transmits light in the blue band, specifically, light in the wavelength band having a wavelength band of 380 to 560 nm.
  • the transmittance of the blue color filter BF peaks in the vicinity of the wavelength of 460 to 470 nm.
  • the green color filter transmits GF, mainly light in the green band, specifically, light in the wavelength band of 460 to 620 nm.
  • the red color filter RF mainly transmits light in the red band, specifically, light in the wavelength band of 580 to 760 nm.
  • the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image pickup sensor 44.
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by the A / D (Analog / Digital) converter 48.
  • the digital image signal after A / D conversion is input to the processor device 16.
  • the processor device 16 includes an image acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing switching unit 56, an image processing unit 58, a display control unit 60, and a central control unit 68. It is equipped with.
  • the image processing unit 58 includes a first image generation unit 62, a second image generation unit 64, a third image generation unit 66, and an analysis processing unit 67.
  • programs related to various processes such as automatic display switching and analysis processing are incorporated in a program memory (not shown).
  • the central control unit 68 configured by the image control processor executes the program
  • the image acquisition unit 50, the DSP 52, the noise reduction unit 54, the image processing switching unit 56, and the image processing unit are executed.
  • the functions of 58 and the display control unit 60 are realized. Further, the functions of the first image generation unit 62, the second image generation unit 64, the third image generation unit 66, and the analysis processing unit 67 included in the image processing unit 58 are also realized.
  • the image acquisition unit 50 acquires a color image input from the endoscope 12.
  • the acquired color image is transmitted to the DSP 52.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received color image.
  • defect correction process the signal of the defective pixel of the image sensor 44 is corrected.
  • offset processing the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
  • the gain correction process adjusts the signal level of the color image by multiplying the image signal of each color after the offset process by a specific gain.
  • the image signal of each color after the gain correction processing is subjected to matrix processing for enhancing color reproducibility.
  • the color image after the matrix processing is subjected to demosaic processing (also referred to as isotropic processing and simultaneous processing), and a signal of the missing color of each pixel is generated by interpolation.
  • demosaic processing also referred to as isotropic processing and simultaneous processing
  • all the pixels have the signals of each color of RGB.
  • the DSP 52 performs a YC conversion process on the color image after the demosaic process, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54.
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method, a median filter method, or the like on a color image that has been demosaic processed by DSP 56.
  • the color image with reduced noise is input to the image processing switching unit 56.
  • the image processing switching unit 56 sets the transmission destination of the image signal from the noise reduction unit 54 to the first image generation unit 62, the second image generation unit 64, and the third image generation unit 66 according to the set light emission mode. Switch to one of. Specifically, when the first light emission mode is set, the image signal from the noise reduction unit 54 is input to the first image generation unit 62. When the second light emission mode is set, the image signal from the noise reduction unit 54 is input to the second image generation unit 64. When the third light emission mode is set, the image signal from the noise reduction unit 54 is input to the third image generation unit 66.
  • the first image generation unit 62 performs image processing for a normal observation image on the input image signal for one frame.
  • the image processing for the first image includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as three-dimensional LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
  • the first image processing for an image is used to obtain a natural hue.
  • the image signal subjected to the image processing for the first image is input to the display control unit 60 as the first image.
  • the other second image generation unit 64 and the third image generation unit 66 are also subjected to image processing for the second image and image processing for the third image on the image signal.
  • the second image, and the third image are input to the display control unit 60.
  • the image processing for the second image is used to emphasize the first structure.
  • the image processing for the third image is used to emphasize the second structure.
  • the analysis processing unit 67 performs analysis processing using at least one of the image signal input from the noise reduction unit 54 or the first image, the second image, and the third image. For example, when the analysis process is performed based on the second image, a display image with an analysis result displaying the analysis result of the analysis process is generated for the first image used as the display image. The generated display image with analysis results is input to the display control unit 60.
  • a blood vessel extraction process for extracting blood vessel shape information for extracting blood vessel shape information
  • an index value calculation process for calculating an index value related to a blood vessel based on the extracted blood vessel shape information for calculating an index value related to a blood vessel based on the extracted blood vessel shape information
  • an index value calculated is displayed.
  • a superimposition display control process for superimposing and displaying on the image.
  • the analysis process may be an AI (Artificial Intelligence) related process such as a process using machine learning.
  • the display control unit 60 controls to display the image output from the image processing unit 58 on the display 18. Specifically, the display control unit 60 converts the first image, the second image, the third image, or the display image with the analysis result into a video signal that can be displayed in full color on the display 18. The converted video signal is input to the display 18. As a result, the first image, the second image, the third image, or the display image with the analysis result is displayed on the display 18.
  • Which image is displayed on the display 60 is appropriately set by operating the user interface 19 or the like.
  • the multi-flash mode is set and the automatic display switching is set to automatically switch and display the first image and the second image, as shown in FIG. 7, the first image is set.
  • the first image and the second image are switched and displayed on the display 18 as display images.
  • the first illumination from the illumination of the first illumination light is set.
  • An image (display image) is generated, and an analysis process is performed on the second image obtained by the illumination of the second illumination light emitted after the first illumination light. Then, a display image with an analysis result for displaying the analysis result obtained by the analysis process is displayed on the display 18 as a display image.
  • the CMOS type image pickup sensor 44 has a plurality of pixels Px arranged in the row direction and the column direction.
  • the plurality of pixels Px include B pixels, G pixels, and R pixels.
  • the CMOS type image pickup sensor 44 is image pickup controlled by the image pickup processor 45 (see FIG. 2). Specifically, the imaging processor 45 accumulates electric charges in the pixels Px, and then reads out signals from the pixels Px in the order of the column direction in line unit LUs in the row direction. This signal readout method is called a rolling shutter.
  • the image pickup sensor 44 has the pixels Px of the first to Nth lines in the column direction, as shown in FIG.
  • the read completion line FL in FIG. 10 represents the timing at which the read of the pixel group of each line is completed.
  • the T1, T2, and TN on the read-out completion line FL represent the timing at which the read-out of the pixel groups of the first, second, and Nth lines is completed, and T1 ⁇ T2 ⁇ TN.
  • the accumulation period for accumulating electric charges is represented as “CP”
  • the read period for reading signals is represented as “RP”.
  • the read period is represented by the total between T1 and TN.
  • the light emission control when the CMOS type image pickup sensor 44 is used will be described below.
  • the light source processor 21 automatically switches between the first light emitting mode and the second light emitting mode, when the set exposure time for the image pickup sensor 44 is set to the first exposure time, as shown in FIG.
  • the first light emission mode the light is emitted at the light amount ratio LCP1 for the first storage period in the first storage period CP1 for accumulating charges, and the signal is read out in the first read period RP1 for the first storage period.
  • Light emission is performed by switching from the light amount ratio LCP1 to the light amount ratio LRP1 for the first read period.
  • the light is emitted at the light amount ratio LCP2 for the second storage period, and in the second read period RP2 where the signal is read out, the second storage period.
  • Light emission is performed by switching from the light intensity ratio LCP2 to the light intensity ratio LRP2 for the second readout period.
  • the set exposure time corresponds to the shutter speed, and in the present embodiment, it means the time for exposing the same type of illumination light to the image pickup sensor 44 in one frame unit.
  • the set exposure time is preset by the user or the like using the user interface 19.
  • the light source processor 21 controls the light emission not only in the storage period but also in the read period, and adds the light amount ratio LCP1 for the first storage period and the light amount ratio LRP1 for the first read period.
  • the first light amount ratio X1 required for the first illumination light can be obtained.
  • the second light amount ratio X2 required for the second illumination light can be obtained. In this way, by emitting light during both the accumulation period and the reading period, it is possible to obtain a larger amount of light and improve the brightness of the observation target as compared with the case where the emission is performed only during the accumulation period. Can be done.
  • the same common light amount ratio for the read period is preferable to use the same common light amount ratio for the read period as the light amount ratio for the first read period and the light amount ratio for the second read period.
  • the same common light amount ratio for the reading period it is possible to improve the light amount and reduce color unevenness when the first image and the second image are switched and displayed.
  • the ratio of each wavelength band in the common light amount ratio for the read period it is preferable to use the smallest minimum light amount ratio among the ratios of each wavelength band of the first light amount ratio or the second light amount ratio.
  • the smaller ratio when comparing the ratio of purple light V in the first light amount ratio and the second light amount ratio, the smaller ratio is "0.4" (see FIG. 4). Further, when the ratio of the blue light B is compared between the first light amount ratio and the second light amount ratio, the smaller ratio is "0.3". Further, when the ratio of the green light G is compared between the first light amount ratio and the second light amount ratio, the smaller ratio is "0.3”. Further, when the ratio of the red light R is compared between the first light amount ratio and the second light amount ratio, the smaller ratio is "0.3". Therefore, the common light intensity ratio for the read period is "0.4: 0.3: 0.3: 0.3".
  • the light amount ratio for the first storage period is set to "0: 0.3: 0.3: It is preferably 0.3 ".
  • the ratio of purple light V of the light amount ratio for the first storage period "0” and the ratio of purple light V of the common light amount ratio for the read period "0.4” the purple light in the first light amount ratio A ratio of V "0.4" can be obtained.
  • the ratio "0.3" of the blue light B of the light amount ratio for the first storage period and the ratio "0.3” of the blue light B of the common light amount ratio for the read period the blue color in the first light amount ratio is added.
  • the ratio of light B "0.6" can be obtained. Further, by adding the ratio "0.3” of the green light G of the light amount ratio for the first storage period and the ratio "0.3” of the green light G of the common light amount ratio for the read period, green in the first light amount ratio. The ratio of light G "0.6” can be obtained. Further, by adding the ratio "0.3” of the red light R of the light amount ratio for the first storage period and the ratio "0.2" of the red light R of the common light amount ratio for the read period, the red color in the first light amount ratio The ratio of light R "0.5" can be obtained.
  • the second light amount ratio it is preferable to set the light amount ratio for the second storage period to "0.6: 0: 0: 0".
  • the ratio of purple light V of the light amount ratio for the second storage period "0.6” and the ratio of purple light V of the common light amount ratio for the read period "0.4” the ratio of the second light amount is increased.
  • the ratio "1" of purple light V can be obtained.
  • the blue light B of the light amount ratio for the second storage period and the ratio "0.3" of the blue light B of the common light amount ratio for the read period the blue light B in the second light amount ratio The ratio of "0.3" can be obtained.
  • the green light G in the second light amount ratio The ratio of "0.3” can be obtained. Further, by adding the ratio "0" of the red light R of the light amount ratio for the second storage period and the ratio "0.3" of the red light R of the common light amount ratio for the read period, the red light R in the second light amount ratio The ratio of "0.3" can be obtained.
  • the ratio of purple light V in the second light amount ratio is larger than the ratio of purple light V in the first light amount ratio. This makes it possible to emphasize the blood vessel information of the mucosal surface layer, which is the first structure, as compared with the case of the first illumination light having the first light amount ratio. Further, in the case where the read period is longer than the accumulation period and the ratio of the purple light V is low in the first light emission mode or the second light emission mode, the ratio of the purple light V in the read period is set as the accumulation period. It is preferable to make it larger than the ratio of purple light V.
  • the light emission mode in which the ratio of purple light V is low among the first light emission mode and the second light emission mode is the first light emission mode, and therefore the ratio of purple light V in the light amount ratio for the first read period (FIG. In 12, "0.4") is larger than the ratio of purple light V in the light amount ratio for the first storage period ("0" in FIG. 12).
  • the light source processor 21 switches between the first light emission mode and the second light emission mode, and the set exposure time for the image pickup sensor 44 is shorter than the first exposure time, and the first storage period or the second light emission period or the second.
  • the second exposure time is set to be shorter than the storage period, as shown in FIG. 13, in the first light emission mode, the light is emitted at the first light intensity ratio X1 in the first storage period CP1. 1 In the read period RP1, the first light amount ratio X1 is switched to the dimmed state BP, and in the second light emission mode, in the second storage period CP1, the light is emitted at the second light amount ratio X2, and in the second read period RP2.
  • the second light amount ratio X2 is switched to the dimmed state BP.
  • the set exposure time is shorter than the sum of the storage period and the read period, such as the second exposure time, the light is emitted not in the read period but in the storage period in which a larger amount of light can be obtained.
  • the first image and the second image are switched and displayed by setting the light amount to be smaller than the first light amount ratio or the second light amount ratio, preferably to be a dimmed state BP in which the light is almost turned off. Color unevenness can be made inconspicuous in some cases.
  • the light source processor 21 switches between the first light emitting mode and the third light emitting mode, when the set exposure time for the image pickup sensor 44 is set to the first exposure time, as shown in FIG.
  • the first light emission mode light is emitted at the light amount ratio LCP1 for the first storage period in the first storage period CP1, and the light amount for the first read period from the light amount ratio LCP1 for the first storage period in the first read period RP1. It switches to the ratio LRP1 and emits light.
  • the third light emission mode in the third storage period CP3 where the electric charge is accumulated, the light is emitted at the light amount ratio LCP3 for the third storage period, and in the third read period RP3 where the signal is read out, the third storage period.
  • the light emission ratio is switched from the light intensity ratio LCP3 to the light intensity ratio LRP3 for the third read period.
  • the light source processor 21 controls the light emission not only in the storage period but also in the read period, and adds the light amount ratio LCP2 for the first storage period and the light amount ratio LRP1 for the first read period.
  • the first light amount ratio X1 required for the first illumination light can be obtained.
  • the third light amount ratio X3 required for the third illumination light can be obtained. In this way, by emitting light during both the accumulation period and the reading period, it is possible to obtain a larger amount of light and improve the brightness of the observation target as compared with the case where the emission is performed only during the accumulation period. Can be done.
  • the same common light amount ratio for the read period in the light amount ratio for the second read period and the light amount ratio for the third read period shall use the same calculation method as above, "0.4: 0.6: 0.3: It becomes "0.3".
  • the light amount ratio for the first storage period is set to "0: 0: 0.3: 0.2". It is preferable to say.
  • the ratio of light G "0.6" can be obtained. Further, by adding the ratio "0.2" of the red light R of the light amount ratio for the first storage period and the ratio "0.3” of the red light R of the common light amount ratio for the read period, the red color in the first light amount ratio The ratio of light R "0.5" can be obtained.
  • the third light amount ratio it is preferable to set the light amount ratio for the third storage period to "0.6: 0: 0: 0".
  • the ratio of the third light amount is increased.
  • the ratio "1" of purple light V can be obtained.
  • the blue light B of the light amount ratio for the third storage period by adding the ratio "0" of the blue light B of the light amount ratio for the third storage period and the ratio "0.6" of the blue light B of the common light amount ratio for the read period, the blue light B in the third light amount ratio The ratio of "0.6" can be obtained.
  • the green light G in the third light amount ratio The ratio of "0.3” can be obtained. Further, by adding the ratio "0" of the red light R of the light amount ratio for the third storage period and the ratio "0.3" of the red light R of the common light amount ratio for the read period, the red light R in the third light amount ratio The ratio of "0.3" can be obtained.
  • the light source processor 21 switches between the second light emitting mode and the third light emitting mode, when the set exposure time for the image pickup sensor 44 is set to the first exposure time, as shown in FIG.
  • the second light emission mode light is emitted at the light amount ratio LCP2 for the second storage period in the second storage period CP1, and the light amount for the second read period from the light amount ratio LCP2 for the second storage period in the second read period RP2. It switches to the ratio LRP2 and emits light.
  • the third light emission mode light is emitted at the light amount ratio LCP3 for the third storage period in the third storage period CP3, and the light amount ratio LCP3 to the third read period for the third storage period is set in the third read period RP3. It switches to the light intensity ratio LRP3 and emits light.
  • the light source processor 21 controls the light emission not only in the storage period but also in the read period, and adds the light amount ratio LCP2 for the second storage period and the light amount ratio LRP2 for the second read period.
  • the second light amount ratio X2 required for the second illumination light can be obtained.
  • the third light amount ratio X3 required for the third illumination light can be obtained. In this way, by emitting light during both the accumulation period and the reading period, it is possible to obtain a larger amount of light and improve the brightness of the observation target as compared with the case where the emission is performed only during the accumulation period. Can be done.
  • the same common light amount ratio for the read period in the light amount ratio for the second read period and the light amount ratio for the third read period is "0.67: 0.3: 0.3: 0". .3 ".
  • the light amount ratio for the second storage period is set to "0.33: 0: 0: 0". It is preferable to do so.
  • the green light G in the first light amount ratio The ratio of "0.3” can be obtained.
  • the red light R in the second light amount ratio The ratio of "0.3" can be obtained.
  • the third light amount ratio it is preferable to set the light amount ratio for the third storage period to "0.33: 0.3: 0: 0".
  • the ratio of the third light amount is increased.
  • the ratio "1" of purple light V can be obtained.
  • the blue light B of the light amount ratio for the third storage period by adding the ratio "0" of the blue light B of the light amount ratio for the third storage period and the ratio "0.6" of the blue light B of the common light amount ratio for the read period, the blue light B in the third light amount ratio The ratio of "0.6" can be obtained.
  • the green light G in the third light amount ratio The ratio of "0.3” can be obtained. Further, by adding the ratio "0" of the red light R of the light amount ratio for the third storage period and the ratio "0.3" of the red light R of the common light amount ratio for the read period, the red light R in the third light amount ratio The ratio of "0.3" can be obtained.
  • the mode changeover switch 12f Operate the mode changeover switch 12f to switch to the multi-flash mode.
  • the mode is switched to the multi-light emission mode
  • the first light emission mode and the second light emission mode are automatically switched.
  • the set exposure time is the first exposure time
  • in the first light emission mode light is emitted at the light amount ratio LCP1 for the first storage period in the first storage period CP1, and the first read is performed in the first read period RP1.
  • Light emission is performed at a light intensity ratio LRP1 for a period.
  • the first light amount ratio X1 is obtained by adding the light amount ratio LCP1 for the first storage period and the light amount ratio LRP1 for the first read period. Further, in the second light emission mode, light is emitted at the light amount ratio LCP2 for the second storage period in the second storage period CP2, and light is emitted at the light amount ratio LRP2 for the second read period in the second read period RP2.
  • the second light amount ratio X2 is obtained by adding the light amount ratio LCP2 for the second storage period and the light amount ratio LRP2 for the second read period.
  • the set exposure time is the second exposure time
  • the first light emission mode light is emitted at the first light amount ratio X1 in the first storage period CP1, and in the first read period RP1, the light is dimmed. Let it be BP. Further, in the second light emission mode, light emission is performed at the second light amount ratio X2 in the second storage period CP2, and the dimming state BP is set in the second read period RP2.
  • the first light emission mode for emitting the first illumination light having the first light amount ratio (V: B: G: R) of "0.6: 1: 1: 1" and the second light amount ratio (V). : B: G: R) is set to "1: 0.3: 0.3: 0.3", and the second light emission mode for emitting the second illumination light is automatically switched to emit light.
  • the frame rate was set to 1/60 seconds
  • the reading period of the image sensor 44 was set to 1/90 seconds
  • the storage period was set to 1/180 seconds
  • light emission was performed during both the reading period and the storage period.
  • the smaller ratio "0.6: 0.3: 0.3: 0.3" of the light in each wavelength band is used as the common light amount ratio in the read period. board.
  • the first light emission mode when the storage period is 1/180 seconds with respect to the light amount ratio at which the light amount of the first light emission mode and the second light emission mode is maximum when the storage period is 1/60 seconds.
  • the maximum light amount ratio calculation for comparison of the accumulation period was calculated, which indicates how much the light amount ratio at which the light amount in the second light emission mode is maximum is.
  • the light amount of "2.2/3" is obtained with respect to the ratio of purple light V
  • the light amount of "1/3" is obtained with respect to the ratio of purple light V. Only the amount of light could be obtained.
  • the ratios of the other blue light B, green light G, and red light R it was possible to obtain a larger amount of light in the examples than in the comparative examples.
  • the hardware-like structure of the processing unit that executes various processes is various processors as shown below. ..
  • the circuit configuration is changed after manufacturing CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

複数の照明光を切り替えて発光する場合に、ローリングシャッタ方式の撮像センサを使用する場合において、フレームレートを維持しつつ、画像の明るさを確保することができる内視鏡システム及びその作動方法を提供する。 光源用プロセッサ(21)は、第1発光モードにおいては、第1蓄積期間(CP1)にて、第1蓄積期間用光量比(LCP1)で発光し、第1読出期間(RP1)にて、第1読出期間用光量比(LRP1)で発光する。第2発光モードにおいては、第2蓄積期間(CP2)にて、第2蓄積期間用光量比(LCP2)で発光し、第2読出期間(RP2)にて、第2読出期間用光量比(LRP2)で発光する。

Description

内視鏡システム及びその作動方法
 本発明は、発光スペクトルが異なる複数の照明光を切り替えて発光する内視鏡システム及びその作動方法に関する。
 医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、ディスプレイに表示され、診断に使用される。
 また、近年では、光量比が異なる複数の照明光を切り替えて発光し、各照明光に対応する複数の画像を取得し、表示することが行われつつある。このように複数の照明光を切り替えて発光する場合において、観察対象の撮像には、CMOS(Complementary Metal Oxide Semiconductor)型の撮像センサが用いられつつある。CMOS型の撮像センサでは、行方向と列方向に配列された複数の画素を有する場合において、画素にて電荷の蓄積を行い、行方向のライン単位で、列方向の順で順次信号読み出しを行うローリングシャッタ方式を採用している。ローリングシャッタ方式による撮像を行う場合には、複数の照明光の切り替え時に混色が生ずるおそれがある。
 これに対して、特許文献1では、第1光と第2光を切り替えて発光する場合において、各光の発光は、電荷を蓄積する蓄積期間のみ行い、信号読み出しを行う読出期間は消灯することで、第1光と第2光の切り替えに伴う混色を防止している。
特開2018-33719号公報
 上記のように、複数の照明光を切り替えて発光し、各照明光に対応する複数の画像を取得し、ディスプレイに表示する場合においては、ユーザーにとって動きが滑らかな画像を見せるためには、フレームレートを一定以上に維持する必要がある。また、有意な診断を行うためには、画像の明るさも必要となる。しかしながら、特許文献1のように、蓄積期間のみ発光を行う場合には、蓄積期間で十分な光量が得られず、明るさが不足するおそれがある。これに対して、蓄積期間で十分な光量を得るために、蓄積期間を長くすることが考えられるが、蓄積期間を長くすることに伴って、フレームレートを低くする必要が生じる。この場合には、動きが滑らかな画像を表示することができない場合がある。
 本発明は、複数の照明光を切り替えて発光する場合に、ローリングシャッタ方式の撮像センサを使用する場合において、フレームレートを維持しつつ、画像の明るさを確保することができる内視鏡システム及びその作動方法を提供することを目的とする。
 本発明の内視鏡システムは、互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、画素にて電荷の蓄積を行い、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備え、光源用プロセッサは、撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、第1光量比を有する第1照明光を発する第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、信号読み出しを行う第1読出期間にて、第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、第2光量比を有する第2照明光を発する第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、信号読み出しを行う第2読出期間にて、第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、第1読出期間用光量比と第1蓄積期間用光量比とを加算して第1光量比とし、第2読出期間用光量比と第2蓄積期間用光量比とを加算して第2光量比とする。
 第1読出期間用光量比と第2読出期間用光量比は、それぞれ同じ読出期間用共通光量比を用いることが好ましい。読出期間用共通光量比における各波長帯域の比率は、第1光量比又は第2光量比の各波長帯域の比率のうち小さい比率を用いることが好ましい。第1照明光及び第2照明光が、波長帯域が紫色帯域である紫色光を少なくとも含む場合において、第2光量比における紫色光の比率は、第1光量比における紫色光の比率よりも大きいことが好ましい。
 第1照明光及び第2照明光が、波長帯域が紫色帯域である紫色光を少なくとも含む場合であって、第1読出期間が第1蓄積期間よりも長い場合において、第1発光モード又は第2発光モードのうち紫色光の比率が低い発光モードに関しては、読出期間における紫色光の比率を蓄積期間の紫色光の比率よりも大きくすることが好ましい。
 光源用プロセッサは、撮像センサの露光時間が、第1露光時間よりも短く、且つ、第1蓄積期間又は第2蓄積期間よりも短い第2露光時間に設定されている場合には、第1発光モードにおいては、第1蓄積期間にて、第1光量比で発光し、第1読出期間にて、第1光量比から減光状態に切り替え、第2発光モードにおいては、第2蓄積期間にて、第2光量比で発光し、第2読出期間にて、第2光量比から減光状態に切り替えることが好ましい。
 光源用プロセッサは、撮像センサの露光時間が第1露光時間に設定されている場合には、第3光量比を有する第3照明光を発光する第3発光モードにおいては、電荷の蓄積を行う第3蓄積期間にて、第3蓄積期間用光量比で発光し、信号読み出しを行う第3読出期間にて、第3蓄積期間用光量比から第3読出期間用光量比に切り替えて発光することにより、第3読出期間用光量比と第3蓄積期間用光量比とを加算して第3光量比とすることが好ましい。
 光源用プロセッサは、第1発光モードと第2発光モードとを自動的に切り替えること、第1発光モードと第3発光モードとを自動的に切り替えること、又は、第2発光モードと第3発光モードとを自動的に切り替えることの3つの自動発光切替のうちいずれかを行うことが好ましい。
 自動発光切替の発光パターンは、各照明光を発光する照明期間のフレーム数が、それぞれの照明期間において同じである等フレーム数発光パターンと、照明期間のフレーム数が、それぞれの照明期間において異なっている異フレーム数発光パターンとのうちのいずれかであることが好ましい。
 画像制御用プロセッサを有し、画像制御用プロセッサは、第1発光モードで得られる第1画像と、第2発光モードで得られる第2画像とを自動的に切り替えてディスプレイに表示することが好ましい。画像制御用プロセッサを有し、画像制御用プロセッサは、第1発光モードで得られる第1画像に対して、第2発光モードで得られる第2画像に基づく解析処理から得られる解析結果を表示する解析結果付き表示用画像をディスプレイに表示することが好ましい。
 本発明は、互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、画素にて電荷の蓄積を行い、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、光源用プロセッサは、撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、第1光量比を有する第1照明光を発する第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、信号読み出しを行う第1読出期間にて、第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、第2光量比を有する第2照明光を発する第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、信号読み出しを行う第2読出期間にて、第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、第1読出期間用光量比と第1蓄積期間用光量比とを加算して第1光量比とし、第2読出期間用光量比と第2蓄積期間用光量比とを加算して第2光量比とする。
 本発明によれば、複数の照明光を切り替えて発光する場合に、ローリングシャッタ方式の撮像センサを使用する場合において、フレームレートを維持しつつ、画像の明るさを確保することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。 第1、第2、第3光量比を示す表である。 第1照明光と第2照明光の自動発光切替を示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第1画像と第2画像の自動表示切替を示す説明図である。 1フレーム間隔で表示される解析結果付き表示用画像を示す説明図である。 撮像センサにおける画素の配列を示す説明図である。 蓄積期間CPと読出期間RPを示す説明図である。 設定露光時間が第1露光時間に設定されている場合であって第1照明光と第2照明光とを切り替えて発光する場合における蓄積期間及び読出期間と光量比との関係を示す説明図である。 第1蓄積期間用光量比、第2蓄積期間用光量比、及び読出期間用共通光量比を示す表である。 設定露光時間が第2露光時間に設定されている場合における蓄積期間及び読出期間と光量比との関係を示す説明図である。 設定露光時間が第1露光時間に設定されている場合であって第1照明光と第3照明光とを切り替えて発光する場合における蓄積期間及び読出期間と光量比との関係を示す説明図である。 第1蓄積期間用光量比、第3蓄積期間用光量比、及び読出期間用共通光量比を示す表である。 設定露光時間が第1露光時間に設定されている場合であって第2照明光と第3照明光とを切り替えて発光する場合における蓄積期間及び読出期間と光量比との関係を示す説明図である。 第2蓄積期間用光量比、第3蓄積期間用光量比、及び読出期間用共通光量比を示す表である。 マルチ発光モードにおける一連の流れを示すフローチャートである。
 図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
 また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gと、ズームレンズ43(図2参照)の操作に用いられるズーム操作部12hとが設けられている。
 なお、内視鏡システム10は、第1発光モード、第2発光モード、第3発光モード、マルチ発光モードの4つのモードを有している。第1発光モードでは、白色光などの広帯域光である第1照明光を観察対象に照明して撮像することによって、自然な色合いの第1画像をディスプレイ18に表示する。第2発光モードでは、第1照明光と波長帯域が異なる第2照明光を観察対象に照明して撮像することによって、第1構造を強調した第2画像をディスプレイ18に表示する。第1構造としては、粘膜表層の血管情報が含まれる。第2照明光を用いることで、第1照明光の場合よりも、粘膜表層の血管情報を強調することができる。
 第3発光モードでは、第1照明光及び第2照明光と波長帯域が異なる第3照明光を観察対象に照明して撮像することによって、第2構造を強調した第2画像をディスプレイ18に表示する。第2構造としては、粘膜表層よりも深い血管情報が含まれる。第3照明光を用いることで、第1照明光の場合よりも、粘膜表層よりも深い血管情報を強調することができる。マルチ発光モードでは、第1発光モードと第2発光モードとを自動的に切り替えて発光すること、第1発光モードと第3発光モードとを自動的に切り替えて発光すること、又は、第2発光モードと第3発光モードとを自動的に切り替えて発光することの3つの自動発光切り替えのいずれかを行う。いずれの自動発光切り替えを設定するかについては、ユーザーインターフェース19を操作することにより行われる。また、マルチ発光モードでは、自動発光切り替えにより得られた複数の画像に基づいて、特定の目的に対応する画像をディスプレイ18に表示する。
 プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース19は、キーボード、マウス、タッチパッドなどを有し、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
 図2において、光源装置14は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、互いに波長帯域が異なる複数の波長帯域の光を発する。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
 図3に示すように、V-LED20aは、中心波長405±10nm、波長帯域380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長帯域420~500nmの青色光Bを発生する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光Rを発生する。
 光源用プロセッサ21は、光源部20を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる。本実施形態では、光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、各LED20a~20dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。
 図4に示すように、光源用プロセッサ21は、特定の光量比として、発光モード毎に光量比を切り替えている。本実施形態では、光源用プロセッサ21は、第1発光モード、第2発光モード、第3発光モード、又は、マルチ発光モードにおいて、第1照明光、第2照明光、第3照明光を発光する場合には、以下のようにして、各LED20a~20dに対する発光制御を行う。
 第1照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第1光量比が0.4:0.6:0.6:0.5となるように、各LED20a~20dを制御する。また、第2照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第2光量比が1:0.3:0.3:0.3となるように、各LED20a~20dを制御する。また、第3照明光を発光する場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の第3光量比が1:0.6:0.3:0.5となるように、各LED20a~20dを制御する。
 なお、図4では、紫色光Vの比率を「V」とし、青色光Bの比率を「B」とし、緑色光Gの比率を「G」とし、赤色光Rの比率を「R」として表している(図12、図15、図17も同様)。また、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
 また、光源用プロセッサ21は、マルチ発光モードの場合には、第1発光モードと第2発光モードとを自動的に切り替えて発光すること、第1発光モードと第3発光モードとを自動的に切り替えて発光すること、又は、第2発光モードと第3発光モードとを自動的に切り替えて発光することの3つの自動発光切り替えのいずれかを行う。また、本実施形態では、マルチ発光モードの場合には、光源プロセッサ21は、CMOS型の撮像センサ44を用いる場合において、蓄積期間だけでなく、読出期間にも、照明光を発光させる制御を行う。この発光制御については、後述する。
 なお、自動発光切り替えの発光パターンとして、各照明光を発光する照明期間のフレーム数が、それぞれの照明期間において同じである等フレーム数発光パターンと、それぞれの照明期間において異なっている異フレーム数発光パターンのうちのいずれかである。例えば、等フレーム数発光パターンとして、第1照明光の照明期間を1フレームとし、第2照明光の照明期間を1フレームとする場合には、図5に示すように、1フレーム毎に、第1照明光と第2照明光とが自動的に切り替えて発光される。なお、フレームとは、ディスプレイ18に表示する1フレーム分の画像を取得するために必要な期間をいい、本実施形態のように、CMOS型の撮像センサ44を用いる場合には、電荷の蓄積を行う蓄積期間と、信号読み出しを行う読出期間を含む期間を1フレームとすることが好ましい。
 図2に示すように、各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42及びズームレンズ43を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。ズームレンズ43は観察対象を拡大するためのレンズであり、ズーム操作部12hを操作することによって、テレ端とワイド端と間を移動する。
 撮像センサ44は、CMOS(Complementary Metal Oxide Semiconductor)型であり、撮像制御等の詳細については後述する。なお、撮像センサ44は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図6に示すように、青色カラーフィルタBFは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタはGF、主として緑色帯域の光、具体的には、460~620nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
 CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
 プロセッサ装置16は、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60と、中央制御部68とを備えている。画像処理部58は、第1画像生成部62と、第2画像生成部64と、第3画像生成部66と、解析処理部67とを備えている。
 プロセッサ装置16では、自動表示切替、解析処理など各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。画像制御用プロセッサによって構成される中央制御部68がプログラムを実行することによって、プロセッサ装置16では、画像取得部50と、DSP52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60の機能が実現する。また、画像処理部58に含まれる第1画像生成部62と、第2画像生成部64と、第3画像生成部66と、解析処理部67との機能も実現する。
 画像取得部50は、内視鏡12から入力されるカラー画像を取得する。取得したカラー画像はDSP52に送信される。DSP52は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることによりカラー画像の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。
 その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後のカラー画像にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
 ノイズ低減部54は、DSP56でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部56に入力される。
 画像処理切替部56は、設定されている発光モードによって、ノイズ低減部54からの画像信号の送信先を、第1画像生成部62と、第2画像生成部64と、第3画像生成部66のいずれかに切り替える。具体的には、第1発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第1画像生成部62に入力する。第2発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第2画像生成部64に入力する。第3発光モードにセットされている場合には、ノイズ低減部54からの画像信号を第3画像生成部66に入力する。
 第1画像生成部62は、入力した1フレーム分の画像信号に対して、通常観察画像用画像処理を施す。第1画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。なお、第1画像用画像処理は、自然な色合いを出すために用いられる。第1画像用画像処理が施された画像信号は、第1画像として表示制御部60に入力される。
 その他の第2画像生成部64、第3画像生成部66についても、第1画像生成部62と同様に、第2画像用画像処理、第3画像用画像処理が画像信号に対して施されて、第2画像、第3画像として表示制御部60に入力される。なお、第2画像用画像処理は、第1構造を強調するために用いられる。第3画像用画像処理は、第2構造を強調するために用いられる。
 解析処理部67は、ノイズ低減部54から入力した画像信号、又は、第1画像、第2画像、第3画像うち、少なくともいずれかを用いて、解析処理を行う。例えば、第2画像に基づいて解析処理を行った場合には、表示用画像として使用する第1画像に対して、解析処理の解析結果を表示した解析結果付き表示用画像を生成する。生成された解析結果付き表示用画像は、表示制御部60に入力される。
 なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。その他、解析処理は、機械学習を用いた処理などAI(Artificial Intelligence)関連処理であってもよい。
 表示制御部60は、画像処理部58から出力される画像をディスプレイ18に表示するための制御を行う。具体的には、表示制御部60は、第1画像、第2画像、第3画像、又は、解析結果付き表示用画像を、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には第1画像、第2画像、第3画像、又は、解析結果付き表示用画像が表示される。
 ディスプレイ60においていずれの画像を表示するかについては、ユーザーインターフェース19等を操作することによって、適宜設定される。例えば、マルチ発光モードに設定されており、且つ、第1画像と第2画像とを自動的に切り替えて表示する自動表示切替に設定されている場合には、図7に示すように、第1照明光と第2照明光との自動発光切り替えに伴って、表示画像として、第1画像と第2画像とが切り替えてディスプレイ18に表示される。第1画像と第2画像の切替表示によって、第1照明光と第2照明光の違いによる色調及びコントラストの差分効果で、第1構造など特定の対象(表層血管、病変など)を認識しやすくなる。
 また、マルチ発光モードに設定されており、且つ、解析結果付き表示用画像を表示する解析結果表示に設定されている場合には、図8に示すように、第1照明光の照明から第1画像(表示用画像)を生成し、第1照明光の後に発光される第2照明光の照明により得られる第2画像に対し、解析処理を施す。そして、解析処理によって得られる解析結果を表示させる解析結果付き表示用画像を、表示画像として、ディスプレイ18に表示する。
 以下、CMOS型の撮像センサ44について、説明する。撮像センサ44は、図9に示すように、行方向と列方向に配列された複数の画素Pxを有している。複数の画素Pxには、B画素、G画素、及びR画素が含まれる。CMOS型の撮像センサ44は、撮像用プロセッサ45(図2参照)によって撮像制御される。具体的には、撮像用プロセッサ45は、画素Pxにて電荷の蓄積を行った後に、行方向のライン単位LUで、画素Pxから列方向の順で信号読み出しを行う。この信号読み出し方式は、ローリングシャッタと呼ばれている。撮像センサ44が、列方向に対して、第1~第Nラインの画素Pxを有する場合には、図10に示すように、第1ラインの画素群、第2ラインの画素群、・・・、第Nラインの画素群の時間順で、信号読み出しが行われる(Nは2以上の自然数)。図10の読み出し完了線FLは、各ラインの画素群の読み出しが完了したタイミングを表している。読み出し完了線FL上のT1、T2、TNは、第1、第2、第Nラインの画素群の読み出しが完了したタイミングを表しており、T1<T2<TNとなっている。なお、図10では、電荷の蓄積を行う蓄積期間を「CP」として、信号読み出しを行う読出期間を「RP」として表している。読出期間は、T1~TNまでの間の合計で表される。
 また、CMOS型の撮像センサ44を用いる場合の発光制御について、以下説明する。光源用プロセッサ21は、第1発光モードと第2発光モードを自動的に切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図11に示すように、第1発光モードにおいては、電荷の蓄積を行う第1蓄積期間CP1にて、第1蓄積期間用光量比LCP1で発光し、信号読み出しを行う第1読出期間RP1にて、第1蓄積期間用光量比LCP1から第1読出期間用光量比LRP1に切り替えて発光する。また、第2発光モードにおいては、電荷の蓄積を行う第2蓄積期間CP2にて、第2蓄積期間用光量比LCP2で発光し、信号読み出しを行う第2読出期間RP2にて、第2蓄積期間用光量比LCP2から第2読出期間用光量比LRP2に切り替えて発光する。なお、設定露光時間は、シャッタースピードに相当し、本実施形態では、1フレーム単位において、撮像センサ44に対して同一種類の照明光を露光する時間をいう。設定露光時間は、ユーザーなどによって、ユーザーインターフェース19を用いて予め設定される。
 上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第1蓄積期間用光量比LCP1と第1読出期間用光量比LRP1とを加算することで、第1照明光に必要な第1光量比X1を得ることができる。同様にして、第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算することで、第2照明光に必要な第2光量比X2を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
 ここで、第1読出期間用光量比と第2読出期間用光量比とはそれぞれ同じ読出期間用共通光量比を用いることが好ましい。同一の読出期間用共通光量比を用いることで、光量を向上させるとともに、第1画像と第2画像を切り替えて表示する場合などに色ムラを軽減することができる。また、読出期間用共通光量比における各波長帯域の比率は、第1光量比又は第2光量比の各波長帯域の比率のうち最も小さい最小光量比を用いることが好ましい。
 例えば、第1光量比と第2光量比において紫色光Vの比率を比較すると、小さいほうの比率は「0.4」である(図4参照)。また、第1光量比と第2光量比において青色光Bの比率を比較すると、小さいほうの比率は「0.3」である。また、第1光量比と第2光量比において緑色光Gの比率を比較すると、小さいほうの比率は「0.3」である。また、第1光量比と第2光量比において赤色光Rの比率を比較すると、小さいほうの比率は「0.3」である。したがって、読出期間用共通光量比は、「0.4:0.3:0.3:0.3」となる。なお、第1読出期間用光量比と第3読出期間用光量比についても、同一の共通光量比を用いることが好ましく、第2読出期間用光量比と第3読出期間用光量比についても、同一の共通光量比を用いることが好ましい。
 以上のような読出期間用共通光量比を用いる場合、図12に示すように、第1光量比を得るためには、第1蓄積期間用光量比を「0:0.3:0.3:0.3」とすることが好ましい。これにより、第1蓄積期間用光量比の紫色光Vの比率「0」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第1光量比における紫色光Vの比率「0.4」を得ることができる。また、第1蓄積期間用光量比の青色光Bの比率「0.3」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第1光量比における青色光Bの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の緑色光Gの比率「0.3」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の赤色光Rの比率「0.3」と読出期間用共通光量比の赤色光Rの比率「0.2」を加算することで、第1光量比における赤色光Rの比率「0.5」を得ることができる。
 また、第2光量比を得るためには、第2蓄積期間用光量比を「0.6:0:0:0」とすることが好ましい。これにより、第2蓄積期間用光量比の紫色光Vの比率「0.6」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第2光量比における紫色光Vの比率「1」を得ることができる。また、第2蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第2光量比における青色光Bの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第2光量比における緑色光Gの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第2光量比における赤色光Rの比率「0.3」を得ることができる。
 なお、第2光量比における紫色光Vの比率は、第1光量比における紫色光Vの比率よりも大きいことが好ましい。これにより、第1光量比を有する第1照明光の場合よりも、第1構造である粘膜表層の血管情報を強調することができる。また、読出期間が蓄積期間よりも長い場合であって、第1発光モード又は第2発光モードのうち紫色光Vの比率が低い発光モードに関しては、読出期間における紫色光Vの比率を蓄積期間の紫色光Vの比率よりも大きくすることが好ましい。本実施形態では、第1発光モード又は第2発光モードのうち紫色光Vの比率が低い発光モードは、第1発光モードであるので、第1読出期間用光量比における紫色光Vの比率(図12では「0.4」)は、第1蓄積期間用光量比における紫色光Vの比率(図12では「0」)よりも大きくしている。
 一方、光源用プロセッサ21は、第1発光モードと第2発光モードを切り替える場合であって、撮像センサ44に対する設定露光時間が、第1露光時間よりも短く、且つ、第1蓄積期間又は第2蓄積期間よりも短い第2露光時間に設定されている場合には、図13に示すように、第1発光モードにおいては、第1蓄積期間CP1にて、第1光量比X1で発光し、第1読出期間RP1にて、第1光量比X1から減光状態BPに切り替え、第2発光モードにおいては、第2蓄積期間CP1にて、第2光量比X2で発光し、第2読出期間RP2にて、第2光量比X2から減光状態BPに切り替える。設定露光時間が、第2露光時間のように、蓄積期間と読出期間の和よりも短い場合には、読出期間ではなく、より多くの光量を得ることができる蓄積期間に発光するようにする。一方、読出期間は、第1光量比又は第2光量比よりも光量を小さくした、好ましくはほぼ消灯状態となる減光状態BPとすることで、第1画像と第2画像を切り替えて表示する場合などに色ムラを目立たなくすることができる。
 また、光源用プロセッサ21は、第1発光モードと第3発光モードと切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図14に示すように、第1発光モードにおいては、第1蓄積期間CP1にて、第1蓄積期間用光量比LCP1で発光し、第1読出期間RP1にて、第1蓄積期間用光量比LCP1から第1読出期間用光量比LRP1に切り替えて発光する。また、第3発光モードにおいては、電荷の蓄積を行う第3蓄積期間CP3にて、第3蓄積期間用光量比LCP3で発光し、信号読み出しを行う第3読出期間RP3にて、第3蓄積期間用光量比LCP3から第3読出期間用光量比LRP3に切り替えて発光する。
 上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第1蓄積期間用光量比LCP2と第1読出期間用光量比LRP1とを加算することで、第1照明光に必要な第1光量比X1を得ることができる。同様にして、第3蓄積期間用光量比LCP3と第3読出期間用光量比LRP3とを加算することで、第3照明光に必要な第3光量比X3を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
 ここで、第1読出期間用光量比と第3読出期間用光量比については、上記と同様に、同一の読出期間用共通光量比を用いることが好ましい。第2読出期間用光量比と第3読出期間用光量比における同一の読出期間用共通光量比は、上記と同様の算出方法をもちいること、「0.4:0.6:0.3:0.3」となる。このような読出期間用共通光量比を用いる場合、図15に示すように、第1光量比を得るためには、第1蓄積期間用光量比を「0:0:0.3:0.2」とすることが好ましい。これにより、第1蓄積期間用光量比の紫色光Vの比率「0」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第1光量比における紫色光Vの比率「0.4」を得ることができる。また、第1蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第1光量比における青色光Bの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の緑色光Gの比率「0.3」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.6」を得ることができる。また、第1蓄積期間用光量比の赤色光Rの比率「0.2」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第1光量比における赤色光Rの比率「0.5」を得ることができる。
 また、第3光量比を得るためには、第3蓄積期間用光量比を「0.6:0:0:0」とすることが好ましい。これにより、第3蓄積期間用光量比の紫色光Vの比率「0.6」と読出期間用共通光量比の紫色光Vの比率「0.4」を加算することで、第3光量比における紫色光Vの比率「1」を得ることができる。また、第3蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第3光量比における青色光Bの比率「0.6」を得ることができる。また、第3蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第3光量比における緑色光Gの比率「0.3」を得ることができる。また、第3蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第3光量比における赤色光Rの比率「0.3」を得ることができる。
 また、光源用プロセッサ21は、第2発光モードと第3発光モードと切り替える場合において、撮像センサ44に対する設定露光時間が第1露光時間に設定されている場合には、図16に示すように、第2発光モードにおいては、第2蓄積期間CP1にて、第2蓄積期間用光量比LCP2で発光し、第2読出期間RP2にて、第2蓄積期間用光量比LCP2から第2読出期間用光量比LRP2に切り替えて発光する。また、第3発光モードにおいては、第3蓄積期間CP3にて、第3蓄積期間用光量比LCP3で発光し、第3読出期間RP3にて、第3蓄積期間用光量比LCP3から第3読出期間用光量比LRP3に切り替えて発光する。
 上記のように、光源用プロセッサ21によって、蓄積期間だけでなく読出期間にも発光制御を行って、第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算することで、第2照明光に必要な第2光量比X2を得ることができる。同様にして、第3蓄積期間用光量比LCP3と第3読出期間用光量比LRP3とを加算することで、第3照明光に必要な第3光量比X3を得ることができる。このように、蓄積期間と読出期間の両方で発光を行うことで、蓄積期間だけ発光を行う場合と比較して、より多くの光量を得ることができて、観察対象の明るさを向上させることができる。
 ここで、第2読出期間用光量比と第3読出期間用光量比については、上記と同様に、同一の読出期間用共通光量比を用いることが好ましい。第2読出期間用光量比と第3読出期間用光量比における同一の読出期間用共通光量比は、上記と同様の算出方法を用いると、「0.67:0.3:0.3:0.3」となる。このような読出期間用共通光量比を用いる場合、図17に示すように、第2光量比を得るためには、第2蓄積期間用光量比を「0.33:0:0:0」とすることが好ましい。これにより、第2蓄積期間用光量比の紫色光Vの比率「0.33」と読出期間用共通光量比の紫色光Vの比率「0.67」を加算することで、第2光量比における紫色光Vの比率「1」を得ることができる。また、第2蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.3」を加算することで、第2光量比における青色光Bの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第1光量比における緑色光Gの比率「0.3」を得ることができる。また、第2蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第2光量比における赤色光Rの比率「0.3」を得ることができる。
 また、第3光量比を得るためには、第3蓄積期間用光量比を「0.33:0.3:0:0」とすることが好ましい。これにより、第3蓄積期間用光量比の紫色光Vの比率「0.33」と読出期間用共通光量比の紫色光Vの比率「0.67」を加算することで、第3光量比における紫色光Vの比率「1」を得ることができる。また、第3蓄積期間用光量比の青色光Bの比率「0」と読出期間用共通光量比の青色光Bの比率「0.6」を加算することで、第3光量比における青色光Bの比率「0.6」を得ることができる。また、第3蓄積期間用光量比の緑色光Gの比率「0」と読出期間用共通光量比の緑色光Gの比率「0.3」を加算することで、第3光量比における緑色光Gの比率「0.3」を得ることができる。また、第3蓄積期間用光量比の赤色光Rの比率「0」と読出期間用共通光量比の赤色光Rの比率「0.3」を加算することで、第3光量比における赤色光Rの比率「0.3」を得ることができる。
 次に、マルチ発光モードにおける一連の流れについて、図18のフローチャートにそって説明する。モード切替スイッチ12fを操作して、マルチ発光モードに切り替える。マルチ発光モードに切り替えられると、第1発光モードと第2発光モードとが自動的に切り替えて行われる。また、マルチ発光モードでは、設定露光時間が第1露光時間であるかどうかが判定される。設定露光時間が第1露光時間である場合には、第1発光モードでは、第1蓄積期間CP1において第1蓄積期間用光量比LCP1で発光が行われ、第1読出期間RP1において、第1読出期間用光量比LRP1で発光が行われる。以上の第1蓄積期間用光量比LCP1と第1読出期間用光量比LRP1とを加算して、第1光量比X1が得られる。また、第2発光モードでは、第2蓄積期間CP2において第2蓄積期間用光量比LCP2で発光が行われ、第2読出期間RP2において、第2読出期間用光量比LRP2で発光が行われる。以上の第2蓄積期間用光量比LCP2と第2読出期間用光量比LRP2とを加算して、第2光量比X2が得られる。
 一方、設定露光時間が第2露光時間である場合には、第1発光モードでは、第1蓄積期間CP1において第1光量比X1で発光が行われ、第1読出期間RP1においては、減光状態BPとする。また、第2発光モードでは、第2蓄積期間CP2において第2光量比X2で発光が行われ、第2読出期間RP2においては、減光状態BPとする。
[実施例]
 実施例では、第1光量比(V:B:G:R)を「0.6:1:1:1」とする第1照明光を発光する第1発光モードと、第2光量比(V:B:G:R)を「1:0.3:0.3:0.3」とする第2照明光を発光する第2発光モードを自動的に切り替えて発光した。また、フレームレートを1/60秒、撮像センサ44における読出期間を1/90秒、蓄積期間を1/180秒とし、読出期間と蓄積期間の両方で発光を行った。第1発光モードと第2発光モードにおいては、読出期間において共通の光量比として、各波長帯域の光で小さいほうの比率「0.6:0.3:0.3:0.3」を用いた。
 そして、蓄積期間が1/60秒である場合における第1発光モードと第2発光モードの光量が最大となる光量比に対して、蓄積期間を1/180秒とした場合における第1発光モードと第2発光モードの光量が最大となる光量比がどの程度になるかを示す蓄積期間比較用の最大光量比算を出した。
[比較例]
 比較例では、蓄積期間のみ発光を行った(特許文献1参照)。それ以外は比較例と同様の条件で実施した。
[結果]
 実施例では、蓄積期間比較用の最大光量比(V:B:G:R)は、
「0.6×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3:0.3×2/3+1/3」となった。
 一方比較例では、蓄積期間比較用の最大光量比(V:B:G:R)は、
「1/3:1/3:1/3:1/3」となった。
 以上から、実施例では、紫色光Vの比率に関しては、「2.2/3」の光量が得られるのに対して、比較例では、紫色光Vの比率に関しては、「1/3」の光量しか得ることができなかった。その他の青色光B、緑色光G、赤色光Rの比率に関しても、比較例より実施例のほうが大きい光量を得ることができた。
 上記実施形態において、光源用プロセッサ21、撮像用プロセッサ45、画像取得部50、ノイズ低減部54、画像処理切替部56、画像処理部58、表示制御部60、第1画像生成部62、第2画像生成部64、第3画像生成部66、解析処理部67といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像用プロセッサ
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 表示制御部
62 第1画像生成部
64 第2画像生成部
66 第3画像生成部
67 解析処理部
68 中央制御部
Px 画素
LU ライン単位
CP1 第1蓄積期間
CP2 第2蓄積期間
RP1 第1読出期間
RP2 第2読出期間
FL 読み出し完了線
LCP1 第1蓄積期間用光量比
LCP2 第2蓄積期間用光量比
LRP1 第1読出期間用光量比
LRP2 第2読出期間用光量比
X1 第1光量比
X2 第2光量比
BP 減光状態

Claims (12)

  1.  互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、
     前記光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、前記特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、
     複数の画素が行方向と列方向に配列された撮像センサと、
     前記画素にて電荷の蓄積を行い、前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備え、
     前記光源用プロセッサは、
     前記撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、
     第1光量比を有する第1照明光を発する第1発光モードにおいては、前記電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、前記信号読み出しを行う第1読出期間にて、前記第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、
     第2光量比を有する第2照明光を発する第2発光モードにおいては、前記電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、前記信号読み出しを行う第2読出期間にて、前記第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、
     前記第1読出期間用光量比と前記第1蓄積期間用光量比とを加算して第1光量比とし、前記第2読出期間用光量比と前記第2蓄積期間用光量比とを加算して第2光量比とする内視鏡システム。
  2.  前記第1読出期間用光量比と前記第2読出期間用光量比は、それぞれ同じ読出期間用共通光量比を用いる請求項1記載の内視鏡システム。
  3.  前記読出期間用共通光量比における各波長帯域の比率は、前記第1光量比又は前記第2光量比の各波長帯域の比率のうち小さい比率を用いる請求項2記載の内視鏡システム。
  4.  前記第1照明光及び前記第2照明光が、前記波長帯域が紫色帯域である紫色光を少なくとも含む場合において、前記第2光量比における前記紫色光の比率は、前記第1光量比における前記紫色光の比率よりも大きい請求項1ないし3いずれか1項記載の内視鏡システム。
  5.  前記第1照明光及び前記第2照明光が、前記波長帯域が紫色帯域である紫色光を少なくとも含む場合であって、前記第1読出期間が前記第1蓄積期間よりも長い場合において、前記第1発光モード又は前記第2発光モードのうち紫色光の比率が低い発光モードに関しては、読出期間における紫色光の比率を蓄積期間の紫色光の比率よりも大きくする請求項1ないし3いずれか1項記載の内視鏡システム。
  6.  前記光源用プロセッサは、
     前記撮像センサの露光時間が、前記第1露光時間よりも短く、且つ、前記第1蓄積期間又は前記第2蓄積期間よりも短い第2露光時間に設定されている場合には、
     前記第1発光モードにおいては、前記第1蓄積期間にて、前記第1光量比で発光し、前記第1読出期間にて、前記第1光量比から減光状態に切り替え、
     前記第2発光モードにおいては、前記第2蓄積期間にて、前記第2光量比で発光し、前記第2読出期間にて、前記第2光量比から前記減光状態に切り替える請求項1ないし5いずれか1項記載の内視鏡システム。
  7.  前記光源用プロセッサは、
     前記撮像センサの露光時間が第1露光時間に設定されている場合には、
     第3光量比を有する第3照明光を発光する第3発光モードにおいては、前記電荷の蓄積を行う第3蓄積期間にて、第3蓄積期間用光量比で発光し、前記信号読み出しを行う第3読出期間にて、前記第3蓄積期間用光量比から第3読出期間用光量比に切り替えて発光することにより、
     前記第3読出期間用光量比と前記第3蓄積期間用光量比とを加算して前記第3光量比とする請求項1ないし6いずれか1項記載の内視鏡システム。
  8.  前記光源用プロセッサは、前記第1発光モードと前記第2発光モードとを自動的に切り替えること、前記第1発光モードと前記第3発光モードとを自動的に切り替えること、又は、前記第2発光モードと前記第3発光モードとを自動的に切り替えることの3つの自動発光切替のうちいずれかを行う請求項7記載の内視鏡システム。
  9.  前記自動発光切替の発光パターンは、各照明光を発光する照明期間のフレーム数が、それぞれの前記照明期間において同じである等フレーム数発光パターンと、前記照明期間のフレーム数が、それぞれの前記照明期間において異なっている異フレーム数発光パターンとのうちのいずれかである請求項8記載の内視鏡システム。
  10.  画像制御用プロセッサを有し、
     前記画像制御用プロセッサは、
     前記第1発光モードで得られる第1画像と、前記第2発光モードで得られる第2画像とを自動的に切り替えてディスプレイに表示する請求項1ないし9いずれか1項記載の内視鏡システム。
  11.  画像制御用プロセッサを有し、
     前記画像制御用プロセッサは、前記第1発光モードで得られる第1画像に対して、前記第2発光モードで得られる第2画像に基づく解析処理から得られる解析結果を表示する解析結果付き表示用画像をディスプレイに表示する請求項1ないし9いずれか1項記載の内視鏡システム。
  12.  互いに波長帯域が異なる複数の波長帯域の光を発する光源部と、
     前記光源部を制御して、複数の波長帯域の光を組み合わせて特定の光量比で照明光を発光させる光源用プロセッサであって、前記特定の光量比として、発光モード毎に光量比を切り替える光源用プロセッサと、
     複数の画素が行方向と列方向に配列された撮像センサと、
     前記画素にて電荷の蓄積を行い、前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、
     前記光源用プロセッサは、
     前記撮像センサに対する設定露光時間が第1露光時間に設定されている場合には、
     第1光量比を有する第1照明光を発する第1発光モードにおいては、前記電荷の蓄積を行う第1蓄積期間にて、第1蓄積期間用光量比で発光し、前記信号読み出しを行う第1読出期間にて、前記第1蓄積期間用光量比から第1読出期間用光量比に切り替えて発光し、
     第2光量比を有する第2照明光を発する第2発光モードにおいては、前記電荷の蓄積を行う第2蓄積期間にて、第2蓄積期間用光量比で発光し、前記信号読み出しを行う第2読出期間にて、前記第2蓄積期間用光量比から第2読出期間用光量比に切り替えて発光することにより、
     前記第1読出期間用光量比と前記第1蓄積期間用光量比とを加算して第1光量比とし、前記第2読出期間用光量比と前記第2蓄積期間用光量比とを加算して第2光量比とする内視鏡システムの作動方法。
PCT/JP2021/008525 2020-05-13 2021-03-04 内視鏡システム及びその作動方法 WO2021229900A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022522531A JP7390482B2 (ja) 2020-05-13 2021-03-04 内視鏡システム及びその作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-084490 2020-05-13
JP2020084490 2020-05-13

Publications (1)

Publication Number Publication Date
WO2021229900A1 true WO2021229900A1 (ja) 2021-11-18

Family

ID=78525680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008525 WO2021229900A1 (ja) 2020-05-13 2021-03-04 内視鏡システム及びその作動方法

Country Status (2)

Country Link
JP (1) JP7390482B2 (ja)
WO (1) WO2021229900A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161900A1 (ja) * 2012-04-26 2013-10-31 オリンパスメディカルシステムズ株式会社 撮像システム
WO2016056476A1 (ja) * 2014-10-10 2016-04-14 オリンパス株式会社 撮像システム
US20190191974A1 (en) * 2017-12-27 2019-06-27 Ethicon Llc Fluorescence imaging in a light deficient environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161900A1 (ja) * 2012-04-26 2013-10-31 オリンパスメディカルシステムズ株式会社 撮像システム
WO2016056476A1 (ja) * 2014-10-10 2016-04-14 オリンパス株式会社 撮像システム
US20190191974A1 (en) * 2017-12-27 2019-06-27 Ethicon Llc Fluorescence imaging in a light deficient environment

Also Published As

Publication number Publication date
JP7390482B2 (ja) 2023-12-01
JPWO2021229900A1 (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
WO2019093355A1 (ja) 内視鏡システム及びその作動方法
JP6891294B2 (ja) 内視鏡システム及びその作動方法
CN111712178B (zh) 内窥镜系统及其工作方法
WO2021229900A1 (ja) 内視鏡システム及びその作動方法
WO2021070688A1 (ja) 内視鏡システム及びその作動方法
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
US11547272B2 (en) Endoscope system and method of operating the same
WO2021106452A1 (ja) 内視鏡システム及びその作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
US20220265129A1 (en) Endoscope system
US12004723B2 (en) Endoscope system for controlling an amount of illumination light
US11911009B2 (en) Light source device, endoscope system, and operation method for light source device
JP7171885B2 (ja) 内視鏡システム
US11969152B2 (en) Medical image processing system
JP7390465B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
US20230132998A1 (en) Endoscope system and operation method therefor
WO2022004056A1 (ja) 内視鏡システム及びその作動方法
JP7362778B2 (ja) 内視鏡システム及びその作動方法
WO2021140766A1 (ja) 内視鏡システム及びその作動方法
CN115956870A (zh) 内窥镜系统及其工作方法
CN112472011A (zh) 内窥镜系统及其工作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21804757

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022522531

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21804757

Country of ref document: EP

Kind code of ref document: A1