WO2019208235A1 - 医療画像処理システム - Google Patents

医療画像処理システム Download PDF

Info

Publication number
WO2019208235A1
WO2019208235A1 PCT/JP2019/015757 JP2019015757W WO2019208235A1 WO 2019208235 A1 WO2019208235 A1 WO 2019208235A1 JP 2019015757 W JP2019015757 W JP 2019015757W WO 2019208235 A1 WO2019208235 A1 WO 2019208235A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light
short wavelength
sensitivity
adjustment coefficient
Prior art date
Application number
PCT/JP2019/015757
Other languages
English (en)
French (fr)
Inventor
青山　達也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020516211A priority Critical patent/JP6987980B2/ja
Priority to CN201980027208.3A priority patent/CN112004455B/zh
Publication of WO2019208235A1 publication Critical patent/WO2019208235A1/ja
Priority to US17/035,936 priority patent/US11744437B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a medical image processing system that controls the light emission amount of narrow-band light having a short wavelength used for illumination of an observation target.
  • an endoscope system including a light source device, an endoscope, and a processor device is widely used.
  • an observation target is irradiated based on an RGB image signal obtained by irradiating an observation target with illumination light from the endoscope, and imaging the observation target under illumination with the imaging light of the endoscope. Is displayed on the monitor.
  • the brightness information of the observation object changes because the brightness of the observation object changes as the distance between the distal end of the endoscope having the imaging sensor and the observation object changes.
  • the amount of illumination light emitted is controlled.
  • observation corresponding to the light of the plurality of red bands The brightness information (light control reference signal) of the object is calculated, and the light emission amount of the illumination light is controlled (see Patent Document 1).
  • narrow-band light having a short wavelength of about 410 nm and around 450 nm is being used for illumination of an observation target. Even when using an observation target illuminated with such short-wavelength narrow-band light, the brightness information of the observation target is accurately calculated, and the amount of light emitted from the short-wavelength narrow-band light can be controlled stably. Was demanded.
  • An object of the present invention is to provide a medical image processing system capable of stably controlling the light emission amount of short-wavelength narrow-band light when short-wavelength narrow-band light is used for illumination of an observation target.
  • a medical image processing system of the present invention is a light source unit that emits a specific narrowband light having a short wavelength and an imaging sensor that images an observation target illuminated with the specific narrowband light, and includes a first pixel group including a first pixel And a second pixel group including at least a second pixel, and a light source control unit that controls a light emission amount of the specific narrowband light.
  • the first pixel has a specific narrowband light higher than the second pixel.
  • the second pixel is more sensitive to the first long wave light and the specific narrow band light, which are longer than the specific narrow band light, and the light source control unit obtains the first pixel obtained by the first pixel. Based on the pixel value of the pixel and the pixel value of the second pixel obtained by the second pixel, the light emission amount of the specific narrowband light is controlled.
  • the second pixel group includes a third pixel having sensitivity to broadband illumination light including the specific narrowband light and the first long wave light, and the light source control unit includes the pixel value of the first pixel and the pixel of the second pixel. In addition to the value, it is preferable to control the emission amount of the specific narrowband light based on the pixel value of the third pixel.
  • the second pixel group includes a fourth pixel that is more sensitive to the second long wave light and the specific narrow band light than the first long wave light, and the light source control unit includes the pixel value of the first pixel and the first pixel value. It is preferable to control the light emission amount of the specific narrowband light based on the pixel value of the fourth pixel in addition to the pixel value of the two pixels.
  • the brightness of the observation target is determined.
  • a light source control unit that controls the light emission amount of the specific narrowband light based on the brightness information, and a brightness adjustment coefficient for the first pixel, The ratio of the brightness adjustment coefficient for the second pixel is determined based on the short wavelength side sensitivity to the short wavelength light including the specific narrow band light and the short wavelength side sensitivity of the second pixel among the sensitivity of the first pixel. Is preferred.
  • the short wavelength side sensitivity of the second pixel is 10% or more of the maximum sensitivity of the second pixel, or 10% or more of the short wavelength side sensitivity of the first pixel.
  • the short wavelength side sensitivity of the second pixel is preferably 35% or less of the maximum sensitivity of the second pixel or 35% or less of the short wavelength side sensitivity of the first pixel.
  • the pixel value of the first pixel multiplied by the brightness adjustment coefficient for the first pixel, the pixel value of the second pixel multiplied by the brightness adjustment coefficient for the second pixel, and the brightness adjustment coefficient for the third pixel Based on the pixel value of the third pixel multiplied by the brightness information calculation unit that calculates the brightness information indicating the brightness of the observation target.
  • the light source control unit The light emission amount of the band light is controlled, and the ratio of the brightness adjustment coefficient for the first pixel, the brightness adjustment coefficient for the second pixel, and the brightness adjustment coefficient for the third pixel is determined based on the sensitivity of the first pixel. Of these, it is preferable to be determined based on the short wavelength side sensitivity to the short wavelength light including the specific narrow band light, the short wavelength side sensitivity of the second pixel, and the short wavelength side sensitivity of the third pixel.
  • the pixel value of the first pixel multiplied by the brightness adjustment coefficient for the first pixel, the pixel value of the second pixel multiplied by the brightness adjustment coefficient for the second pixel, and the brightness adjustment coefficient for the fourth pixel Based on the pixel value of the fourth pixel multiplied by the brightness information calculation unit that calculates the brightness information indicating the brightness of the observation target.
  • the light source control unit The light emission amount of the band light is controlled, and the ratio of the brightness adjustment coefficient for the first pixel, the brightness adjustment coefficient for the second pixel, and the brightness adjustment coefficient for the fourth pixel is determined by the sensitivity of the first pixel. Among these, it is preferable to be determined based on the short wavelength side sensitivity to the short wavelength light including the specific narrow band light, the short wavelength side sensitivity of the second pixel, and the short wavelength side sensitivity of the fourth pixel.
  • the number of pixels in the second pixel group is preferably larger than the number of pixels in the first pixel group.
  • the center wavelength of the specific narrow band light is preferably included in the range of 400 nm to 450 nm, and the half width of the specific narrow band light is preferably 40 nm or less.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion 12d provided at the distal end side of the insertion portion 12a. have.
  • the angle knob 12e of the operation unit 12b By operating the angle knob 12e of the operation unit 12b, the bending unit 12c performs a bending operation. With this bending operation, the tip 12d is directed in a desired direction.
  • the user interface 19 includes a mouse as well as the illustrated keyboard.
  • the operation unit 12b is provided with a mode switching SW 13a and a still image acquisition instruction unit 13b.
  • the mode switching SW 13a is used for switching operation between the normal observation mode, the special observation mode, and the short wavelength observation mode.
  • the normal observation mode is a mode in which the normal image is displayed on the monitor 18 by illuminating the observation target with normal light such as white light (see FIGS. 9 and 10).
  • the special observation mode is a mode in which the observation target is illuminated with special light such as blue narrow-band light, and a special observation image in which a structure such as a blood vessel having a specific depth is emphasized is displayed on the monitor 18.
  • the short wavelength observation mode is a short wavelength representing a structure that can be observed with a specific narrow band light having a short wavelength by using a specific wavelength narrow band light (corresponding to violet light V described later) for illumination of an observation target.
  • a specific wavelength narrow band light corresponding to violet light V described later
  • the observation image is displayed on the monitor 18.
  • a foot switch may be used as the mode switching unit for switching the mode.
  • the processor device 16 is electrically connected to the monitor 18 and the user interface 19.
  • the monitor 18 outputs and displays image information and the like.
  • the user interface 19 functions as a UI (User Interface) that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording image information and the like.
  • the light source device 14 includes a light source unit 20, a light source control unit 21, and an optical path coupling unit 23.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d. is doing.
  • the light source control unit 21 controls driving of the LEDs 20a to 20d.
  • the optical path coupling unit 23 couples the optical paths of the four colors of light emitted from the four colors of LEDs 20a to 20d.
  • the light coupled by the optical path coupling unit 23 is irradiated into the subject through the light guide 41 and the illumination lens 45 inserted into the insertion unit 12a.
  • An LD Laser Diode
  • the V-LED 20a generates violet light V having a center wavelength in the range of 400 nm to 450 nm (for example, 405 nm) and a half width of 40 nm or less.
  • the B-LED 20b generates blue light B having a center wavelength in the range of 450 nm to 500 nm (for example, 460 nm) and a half width of 40 nm or less.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source control unit 21 performs control to turn on the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d in the normal observation mode and the special observation mode.
  • the light source control unit 21 emits normal light in which the light intensity ratio among the violet light V, blue light B, green light G, and red light R is Vc: Bc: Gc: Rc.
  • the LEDs 20a to 20d are controlled.
  • the special observation mode the light source control unit 21 emits special light whose light intensity ratio among the violet light V, blue light B, green light G, and red light R is Vs: Bs: Gs: Rs.
  • the LEDs 20a to 20d are controlled.
  • the light source control unit 21 controls each of the LEDs 20a to 20d so as to emit violet light V, which is a specific narrowband light having a short wavelength, in the short wavelength observation mode.
  • the light intensity ratio includes a case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, the case where any one or two or more of the respective semiconductor light sources are not lit is included. For example, as in the case where the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other 3 Even if one does not light, it shall have a light intensity ratio.
  • the light source control unit 21 controls the amount of illumination light emitted from each of the LEDs 20a to 20d based on the brightness information transmitted from the brightness information calculation unit 54 of the processor device 16.
  • the light source control unit 21 controls the light emission amount of the normal light so as to satisfy the following formula A) based on the brightness information for the normal observation mode. For example, when “brightness information for normal observation mode / 256” is lower than a specified number, control for increasing the light emission amount of normal light is performed. On the other hand, when “brightness information for normal observation mode / 256” is higher than the specified number, control is performed to reduce the light emission amount of normal light.
  • Formula A) Brightness information for normal observation mode / 256 specified number
  • the light source control unit 21 controls the emission amount of the special light so as to satisfy the following formula B) based on the brightness information for the special observation mode. For example, when “(brightness information for special observation mode + addition coefficient for special observation mode) / 256” is lower than a specified number, control is performed to increase the emission amount of special light. On the other hand, when “(brightness information for special observation mode + addition coefficient for special observation mode) / 256” is higher than the specified number, control is performed to reduce the emission amount of special light.
  • Formula B) (Brightness information for special observation mode + addition coefficient for special observation mode) / 256 specified number
  • the light source controller 21 controls the light emission amount of the short wavelength specific narrowband light so as to satisfy the following formula C) based on the brightness information for the short wavelength observation mode.
  • the light source controller 21 controls the light emission amount of the short wavelength specific narrowband light so as to satisfy the following formula C) based on the brightness information for the short wavelength observation mode.
  • control is performed to increase the emission amount of specific narrowband light having a short wavelength.
  • the light emission amount of the specific narrowband light having a short wavelength is decreased.
  • Formula C) (Brightness information for short wavelength observation mode + addition coefficient for short wavelength observation mode) / 256 specified number
  • the brightness information for the short wavelength observation mode is calculated by including the G image signal having a signal value corresponding to the specific narrowband light in addition to the B image signal.
  • the amount of emitted light can be controlled stably. For example, when a blue-related pigment is scattered in the observation target, if the brightness information for the short wavelength observation mode is calculated based only on the B image signal, the specific narrow band of the short wavelength It is difficult to stably control the light emission amount.
  • the brightness information for the short wavelength observation mode is calculated based on the G image signal in addition to the B image signal, so that it is less susceptible to the influence of the blue-related pigment. Therefore, it is possible to stably control the light emission amount of the specific narrowband light having a short wavelength.
  • the W image signal is less affected by the blue-related pigment. Therefore, the emission amount of the specific narrow band light can be stably controlled according to the brightness information based on the B image signal, the G image signal, and the W image signal. Similarly, even when the brightness information for the short wavelength observation mode is calculated based on the B image signal, the G image signal, and the R image signal, the R image signal is hardly affected by the blue-related pigment. Therefore, the emission amount of the specific narrow band light can be stably controlled according to the brightness information based on the B image signal, the G image signal, and the R image signal.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16).
  • the combined light propagates to the distal end portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer shell can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and light from the light guide 41 is irradiated to the observation target via the illumination lens 45.
  • the imaging optical system 30 b includes an objective lens 46 and an imaging sensor 48. Reflected light from the observation object enters the image sensor 48 through the objective lens 46. As a result, a reflected image of the observation object is formed on the image sensor 48.
  • the imaging sensor 48 is a color imaging sensor that captures a reflection image of a subject and outputs an image signal.
  • the image sensor 48 is a CCD (Charge Coupled Device) image sensor or a CMOS. (Complementary Metal-Oxide Semiconductor) An imaging sensor or the like is preferable.
  • the image sensor 48 used in the present invention is a color image sensor for obtaining RGBW image signals of four colors of R (red), G (green), B (blue), and W (white).
  • the image sensor 48 is 5, an R pixel (fourth pixel) provided with an R filter, a G pixel (second pixel) provided with a G filter, a B pixel (first pixel) provided with a B filter, and W A W pixel (third pixel) provided with a filter is provided.
  • the imaging sensor 48 is divided into two first pixel groups and a second pixel group, and the number of pixels in the second pixel group is larger than the number of pixels in the first pixel group.
  • the first pixel group includes B pixels
  • the second pixel group includes G pixels, R pixels, and W pixels.
  • the W pixels are arranged in a checkered pattern.
  • the sensitivity to the specific narrowband light is also constant in the G pixel as shown in a demosaicing process described later in order to improve the resolution.
  • a signal of specific narrowband light is obtained even at the G pixel position.
  • the R pixel a certain abnormal sensitivity to the specific narrow band light and using the correlation between the W pixel and the R pixel, a signal of the specific narrow band light can be obtained even at the R pixel position. ing.
  • the G pixel has a green band of 500 nm to 600 nm.
  • the short wavelength side sensitivity to the light of the short wavelength (the wavelength band is 450 nm or less, for example, 400 nm to 450 nm) including the specific narrow band light of the short wavelength is Set the transmittance of the filter.
  • the transmittance of the specific narrow band light, the G filter, and the reflectance of each part (in the case of FIG. 7, the reflectance of “esophagus” is used.
  • the reflectance of the stomach and large intestine is a dotted line.
  • the received light intensity corresponding to the wavelength range of the specific narrow band light is obtained as the received light intensity of the G pixel.
  • the light reception intensity of the B pixel is obtained by multiplying the specific narrow band light, the transmittance of the B filter (blue band of 400 nm to 500 nm) and the reflectance of each part, and is a certain multiple of the intensity value of the light reception intensity of the G pixel. It has become.
  • the G pixel at 400 to 450 nm The maximum sensitivity is preferably 10% or more. That is, in the G filter, the transmittance of 400 to 450 nm is preferably 10% or more of the transmittance in the wavelength range (for example, 540 to 560 nm) corresponding to the highest sensitivity of the G pixel.
  • the short wavelength side sensitivity of the G pixel is preferably 10% or more of the short wavelength side sensitivity of the B pixel.
  • the transmittance of 400 to 450 nm is preferably 10% or more of the transmittance of 400 to 450 nm of the B filter.
  • the maximum sensitivity of the G pixel means sensitivity to light in a wavelength region where the transmittance of the G color filter is equal to or higher than a certain value (for example, 70%). The same applies to the maximum sensitivity of the R pixel.
  • the short wavelength side sensitivity of the G pixel is 35% or less of the maximum sensitivity of the G pixel at 400 to 450 nm. It is preferable to do. That is, in the G filter, the transmittance of 400 to 450 nm is preferably 35% or less of the transmittance in the wavelength range (for example, 540 to 560 nm) corresponding to the highest sensitivity of the G pixel. Alternatively, the short wavelength side sensitivity of the G pixel is preferably 35% or less of the short wavelength side sensitivity of the B pixel. That is, in the G filter, the transmittance of 400 to 450 nm is preferably 35% or less of the transmittance of 400 to 450 nm of the B filter.
  • a red band light of 600 nm to 700 nm (The transmittance of the R filter is set so that it has not only the sensitivity to the second long wave light) but also the short wavelength side sensitivity to the short wavelength light (400 nm to 450 nm) including the specific narrow band light having the short wavelength.
  • the specific narrowband light, the transmittance of the R filter, and the reflectance for each part (In the case of FIG. 8, the reflectance of “esophagus” is used.
  • the received light intensity of the R pixel is the wavelength of the specific narrowband light.
  • the received light intensity corresponding to the area is obtained.
  • the light reception intensity of the B pixel is a fixed multiple of the light reception intensity of the R pixel.
  • the R pixel is 400 to 450 nm.
  • the maximum sensitivity is preferably 10% or more. That is, in the R filter, the transmittance of 400 to 450 nm is preferably 10% or more of the transmittance in the wavelength range (for example, 640 to 660 nm) corresponding to the highest sensitivity of the R pixel.
  • the short wavelength side sensitivity of the R pixel is preferably 10% or more of the short wavelength side sensitivity of the B pixel. That is, in the R filter, the transmittance of 400 to 450 nm is preferably 10% or more of the transmittance of 400 to 450 nm of the B filter.
  • the short wavelength side sensitivity of the R pixel is 35% or less of the maximum sensitivity of the R pixel at 400 to 450 nm. It is preferable to do. That is, in the R filter, the transmittance of 400 to 450 nm is preferably 35% or less of the transmittance in the wavelength range (for example, 640 to 660 nm) corresponding to the highest sensitivity of the R pixel. Alternatively, the short wavelength side sensitivity of the R pixel is preferably 35% or less of the short wavelength side sensitivity of the B pixel. That is, in the R filter, the transmittance of 400 to 450 nm is preferably 35% or less of the transmittance of 400 to 450 nm of the B filter.
  • spectral sensitivity is applied to illumination light of broadband light from the blue band to the red band so as to include specific narrow band light of short wavelength, light of green band, and light of red band. Therefore, the pixel value is saturated more quickly than other pixels such as B pixel, G pixel, and R pixel. Therefore, the sensitivity of the W pixel is set lower than the sensitivity of other pixels such as the B pixel, the G pixel, and the R pixel.
  • the sensitivity of the W pixel is 30% to 50% with respect to the highest sensitivity of the B pixel (for example, a sensitivity of 440 to 460 nm) or the highest sensitivity of the G pixel (for example, a sensitivity of 540 to 560 nm). It is preferable to do.
  • the received light intensity of the W pixel obtained by multiplying the light source spectrum of the normal light and the transmittance of the W filter is equal to that of the normal light.
  • the transmittance of the W filter is set so as to be about 50% (for example, 45% to 55%) of the received light intensity of the G pixel obtained by multiplying the light source spectrum and the transmittance of the G filter.
  • the received light intensity of the W pixel obtained by multiplying the light source spectrum of the normal light and the transmittance of the W filter is equal to that of the normal light.
  • the transmittance of the W filter is set so that it is about 50% (for example, 45% to 55%) of the received light intensity of the B pixel obtained by multiplying the light source spectrum, the transmittance of the B filter and the reflectance of the esophagus. To do.
  • the image sensor 48 is a so-called complementary color image sensor that includes complementary filters for C (cyan), M (magenta), Y (yellow), and G (green) instead of the RGBW color image sensor. May be.
  • complementary color imaging sensor When the complementary color imaging sensor is used, four color image signals of CMYG are output. Therefore, it is necessary to convert the four color image signals of CMYG to the three color image signals of RGB by complementary color-primary color conversion.
  • the image sensor 48 may be a monochrome image sensor not provided with a color filter.
  • the image signal output from the image sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by an A / D converter (A / D (Analog / Digital) converter) 52.
  • a / D converted digital image signal is input to the processor device 16.
  • the processor device 16 includes an image acquisition unit 53, a brightness information calculation unit 54, a DSP (Digital Signal Processor) 56, a noise removal unit 58, an image processing unit 60, a parameter switching unit 62, and a display control unit 64. And.
  • a DSP Digital Signal Processor
  • the image acquisition unit 53 acquires an observation image obtained by imaging an observation target with the endoscope 12. Specifically, a digital color image signal from the endoscope 12 is input to the image acquisition unit 53 as an observation image.
  • the color image signal includes an R image signal (pixel value of R pixel) output from the R pixel of the imaging sensor 48, a G image signal (pixel value of G pixel) output from the G pixel of the imaging sensor 48, and imaging. It is an RGBW image signal composed of a B image signal (pixel value of B pixel) output from the B pixel of the sensor 48 and a W image signal (pixel value of W pixel) output from the W pixel of the image sensor 48. .
  • the brightness information calculation unit 54 calculates brightness information indicating the brightness of the observation target for each observation mode based on the RGBW image signal input from the image acquisition unit 53.
  • the calculated brightness information is sent to the light source control unit 21 and used for controlling the amount of illumination light emitted.
  • the brightness information is represented by, for example, the number of bits.
  • brightness information for the normal observation mode is calculated by the following equation K).
  • Brightness information for normal observation mode brightness adjustment coefficient kcr ⁇ R image signal + brightness adjustment coefficient kcg ⁇ G image signal + brightness adjustment coefficient kcb ⁇ B image signal + brightness adjustment coefficient kcw ⁇ W image signal
  • brightness information for the special observation mode is calculated by the following formula L).
  • Brightness information for special observation mode brightness adjustment coefficient ksr ⁇ R image signal + brightness adjustment coefficient ksg ⁇ G image signal + brightness adjustment coefficient ksb ⁇ B image signal + brightness adjustment coefficient ksw ⁇ W image signal
  • brightness information for the short wavelength observation mode is calculated by the following equation M).
  • Brightness information for short wavelength observation mode brightness adjustment coefficient ktr ⁇ R image signal + brightness adjustment coefficient ktg ⁇ G image signal + brightness adjustment coefficient ktb ⁇ B image signal + brightness adjustment coefficient ktw ⁇ W Image signal
  • the B image having a pixel value corresponding to the short wavelength specific narrowband light in the calculation of the brightness information for the short wavelength observation mode.
  • the G pixel and the R pixel have short wavelength side sensitivity, the G image is used for calculating the brightness information for the short wavelength observation mode.
  • a signal and an R image signal are also used together.
  • Brightness adjustment coefficient ktr (brightness adjustment coefficient for the fourth pixel) and brightness adjustment to accurately calculate the brightness information for the short wavelength observation mode corresponding to the illumination of only the short wavelength specific narrowband light
  • the ratio of the coefficient ktg (brightness adjustment coefficient for the second pixel), the brightness adjustment coefficient ktb (brightness adjustment coefficient for the first pixel), and the brightness adjustment coefficient ktw (brightness adjustment coefficient for the third pixel) Is preferably determined based on the short wavelength side sensitivity of the R pixel, the G pixel, the B pixel, and the W pixel and the reflectance of the mucous membrane.
  • the spectral sensitivity of the W pixel is about 45% of the spectral sensitivity of 420 to 420 nm of the B pixel and 15 to 20% of the spectral sensitivity of 400 to 420 nm of the G pixel and R pixel.
  • the ratio of the brightness adjustment coefficient ktr, the brightness adjustment coefficient ktg, the brightness adjustment coefficient ktb, and the brightness adjustment coefficient ktw is set to “2: 2: 5: 4”. It is preferable.
  • the brightness information for the short wavelength observation mode is preferably calculated based on at least two image signals of the B image signal and the G image signal.
  • the calculation is performed by the equation M1).
  • 400 to 420 nm of the G pixel Is set to 15 to 20% of the B-pixel spectral sensitivity of 400 to 420 nm the mucosal reflectance is also taken into consideration, and the ratio of the brightness adjustment coefficient ktg to the brightness adjustment coefficient ktb is set to “2”. : 5 "is preferable.
  • the brightness adjustment coefficient ktg when the spectral sensitivity of the W pixel is set to about 45% of the spectral sensitivity of the B pixel of 400 to 420 nm, the brightness adjustment coefficient ktg, The ratio between the brightness adjustment coefficient ktb and the brightness adjustment coefficient ktw is preferably set to “2: 5: 4”.
  • the spectral sensitivity of 400 to 420 nm of G pixel and R pixel Is 15 to 20% of the spectral sensitivity of 400 to 420 nm of the B pixel, the ratio of the brightness adjustment coefficient ktr, the brightness adjustment coefficient ktg, and the brightness adjustment coefficient ktb in consideration of the reflectance of the mucous membrane Is preferably "2: 2: 5".
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, or gamma conversion processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process the signal level is adjusted by multiplying the image signal after the offset process by a specific gain.
  • the image signal after gain correction processing is subjected to linear matrix processing for improving color reproducibility. After that, brightness and saturation are adjusted by gamma conversion processing.
  • the demosaicization processing unit 56a performs demosaicization processing (also referred to as isotropic processing or synchronization processing) on the image signal after the linear matrix processing.
  • demosaicization processing also referred to as isotropic processing or synchronization processing
  • a signal of insufficient color in each pixel is generated by interpolation.
  • all the pixels have RGB signals.
  • a method described in Japanese Patent Application Laid-Open No. 2011-55038 can be used for demosaicing when a color imaging sensor for obtaining an RGBW image signal is used.
  • the short-wavelength observation mode only a specific narrow-band light having a short wavelength is illuminated on the observation target, but a normal RGB image sensor (image sensor composed of R, G, and B pixels) is as shown in FIG.
  • the G filter and the R filter have almost no transmittance in the specific narrow band, and the G pixel and the R pixel have little sensitivity to the specific narrow band light.
  • the short-wavelength observation image obtained based on the short wavelength specific narrowband light can only obtain signals from the B pixel and the W pixel having sensitivity to the specific narrowband light, and is almost from the G pixel and the R pixel. No signal is available.
  • each signal is called a short wavelength observation signal.
  • a method of calculating the pixel value of the B pixel at the G pixel position as the short wavelength observation signal by demosaicing processing based on the correlation with the pixel value of the W pixel is as follows. For example, as shown in FIG. 11, when calculating the pixel value Bd of the B pixel at the G pixel position at the specific position SP in the image signal 80 output from the imaging sensor 48, the discrete value included in the image signal 80 is used. For a typical W pixel signal, W pixel values at all pixel positions are calculated by direction discrimination interpolation according to neighboring W pixel values, and image blur is reduced by the Wiener filter processing for the calculated W pixel values.
  • a W pixel signal ( Wd) (a signal after the image blur reduction process) after the image blur reduction process is calculated.
  • the low-frequency component mW (first smoothing) is obtained by multiplying the pixel value of the 5 ⁇ 5 pixel region (specific pixel region) by the first smoothing filter 82. Filtered component).
  • the first smoothing filter 82 is provided with filter coefficients (“1”, “2”, etc.) for the position where the W pixel is present in the image signal 80.
  • the second smoothing filter 84 is a filter that is applied to each 5 ⁇ 5 pixel region in which the G pixel is located at the specific position SP, and a filter coefficient ( “1”) is provided.
  • filter coefficient setting is performed so that the pixel values of the B pixels at positions close to the specific position SP are obtained evenly.
  • the pixel value Bd of the B pixel at the G pixel position is calculated by the following equation X).
  • Formula X) Bd (mBx / mW) ⁇ Wd
  • the third smoothing filter 86 is a filter that is applied to each 5 ⁇ 5 pixel region in which the R pixel is located at the specific position SP, and the filter coefficient ( “1”) is provided. Then, the pixel value Bd of the B pixel at the R pixel position is calculated by the following equation Y).
  • Formula Y) Bd (mBy / mW) ⁇ Wd
  • the noise removal unit 58 removes noise from the RGB image signal by performing noise removal processing (for example, a moving average method, a median filter method, etc.) on the image signal that has been subjected to gamma correction or the like by the DSP 56.
  • the image signal from which the noise has been removed is transmitted to the image processing unit 60.
  • the image processing unit 60 performs image processing corresponding to each observation mode.
  • an image processing method for example, there is a method of preparing image processing parameters such as gradation processing and saturation enhancement corresponding to each observation mode, and multiplying the image signal according to each observation mode.
  • the normal observation mode parameter is multiplied by the RGB image signal.
  • the special observation mode parameter is multiplied by the RGB image signal.
  • the B image signal is multiplied by the short wavelength observation mode parameter.
  • the normal observation mode parameter, the special observation mode parameter, and the short wavelength observation parameter are switched by the parameter switching unit 62 in accordance with the mode switching of the mode switching SW 13a.
  • the display control unit 64 performs control for displaying the image signal input from the image signal as an image that can be displayed on the monitor 18.
  • the R image signal is assigned to the R channel of the monitor 18
  • the G image signal is assigned to the G channel of the monitor 18
  • the B image signal is assigned to the B channel of the monitor 18.
  • the special observation image is displayed on the monitor 18 by assigning the G image signal to the R channel of the monitor 18 and assigning the B image signal to the G channel and B channel of the monitor 18 ( When assigning, it is preferable to perform gradation processing and saturation enhancement).
  • the short wavelength observation signal is assigned to each of the R, G, and B channels of the monitor 18 and the short wavelength observation image is displayed on the monitor 18.
  • the short wavelength observation image is assigned to each channel after multiplying the gain for each channel of R, G, B and the like.
  • the short wavelength observation image showing the structure that can be observed with the specific narrowband light having the short wavelength is displayed on the monitor 18 as an image having a specific background color that is more visible than the gray image. Can be displayed.
  • an RGBW image sensor is used as the image sensor 48, but as shown in FIG. 15, the ratio of the number of G pixels, B pixels, and R pixels is 2: 1: 1.
  • An array of image sensors may be used.
  • the pixel value of the B pixel at the G pixel position is as follows. It is preferable to calculate the pixel value Br of the B pixel at the Bg and R pixel positions.
  • the demosaicing process in the short wavelength observation mode calculates the pixel value (B image signal) of the B pixel at the G pixel position and the R pixel position.
  • the pixel values of the R pixel, the G pixel, and the B pixel may be calculated at each pixel position.
  • the processing unit processing such as the image acquisition unit 53, the brightness information calculation unit 54, the DSP 56, the noise removal unit 58, the image processing unit 60, the parameter switching unit 62, the display control unit 64, etc.
  • the hardware structure of unit is the following various processors.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that functions as various processing units by executing software (programs).
  • a programmable logic device which is a possible processor, a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute various processes, and the like are included.
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units. Second, as represented by System On Chip (SoC), etc., the function of the entire system including a plurality of processing units is integrated into one IC (Integrated Circuit). There is a form in which a processor realized by a chip is used. As described above, various processing units are configured using one or more of the various processors as a hardware structure.
  • SoC System On Chip
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the present invention is applied to an endoscope system that processes an endoscopic image that is one of medical images.
  • a medical image other than an endoscopic image is processed.
  • the present invention can also be applied to a medical image processing system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

観察対象の照明に短波長の狭帯域光を用いた場合において、短波長の狭帯域光の発光量の制御を安定的に行うことができる医療画像処理システムを提供する。光源部は、短波長の特定狭帯域光を発する。撮像センサは、Ｂ画素を含む第１画素群と、Ｇ画素を含む第２画素群を備えている。Ｂ画素はＧ画素よりも特定狭帯域光に対する感度が高くなっている。Ｇ画素は、緑色帯域の光と特定狭帯域光に対して感度を有している。光源制御部は、Ｂ画素の画素値及びＧ画素の画素値に基づいて、特定狭帯域光の発光量の制御を行う。

Description

医療画像処理システム

　本発明は、観察対象の照明に用いる短波長の狭帯域光の発光量の制御を行う医療画像処理システムに関する。

　医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像センサで撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。

　また、内視鏡を用いる診断においては、撮像センサを有する内視鏡の先端部と観察対象との距離が変化することによって観察対象の明るさが変わることから、観察対象の明るさ情報の変化に合わせて、照明光の発光量を制御することが行われている。また、粘膜組織の深い位置ある血管を観察するために、照明光として、複数の赤色帯域（５４０ｎｍ、６００ｎｍ、６３０ｎｍ）の光を用いる場合には、それら複数の赤色帯域の光に対応させた観察対象の明るさ情報（調光基準信号）を算出して、照明光の発光量の制御を行うようにしている（特許文献１参照）。

国際公開２０１３／１４５４１０号

　近年の内視鏡診断においては、表層血管や赤血球など特定の構造を観察するために、中心波長が４１０ｎｍ、４５０ｎｍ前後の短波長の狭帯域光が観察対象の照明に用いられつつある。このような短波長の狭帯域光が照明された観察対象を用いる場合においても、観察対象の明るさ情報を正確に算出し、短波長の狭帯域光の発光量の制御を安定的に行うことが求められていた。

　本発明は、観察対象の照明に短波長の狭帯域光を用いた場合において、短波長の狭帯域光の発光量の制御を安定的に行うことができる医療画像処理システムを提供することを目的とする。

　本発明の医療画像処理システムは、短波長の特定狭帯域光を発する光源部と、特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素を少なくとも含む第２画素群とを備える撮像センサと、特定狭帯域光の発光量を制御する光源制御部とを備え、第１画素は、第２画素よりも特定狭帯域光への感度が高く、第２画素は、特定狭帯域光よりも長波の第１長波光と特定狭帯域光に対して感度を有し、光源制御部は、第１画素にて得られる第１画素の画素値及び第２画素にて得られる第２画素の画素値に基づいて、特定狭帯域光の発光量の制御を行う。

　第２画素群には、特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有する第３画素が含まれ、光源制御部は、第１画素の画素値及び第２画素の画素値に加えて、第３画素の画素値に基づいて、特定狭帯域光の発光量の制御を行うことが好ましい。第２画素群には、第１長波光よりも長波の第２長波光と特定狭帯域光に対して感度を有する第４画素が含まれ、光源制御部は、第１画素の画素値及び第２画素の画素値に加えて、第４画素の画素値に基づいて、特定狭帯域光の発光量の制御を行うことが好ましい。

　第１画素用の明るさ調整係数を掛け合わせた第１画素の画素値と第２画素用の明るさ調整係数を掛け合わせた第２画素の画素値とに基づいて、観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、光源制御部は、明るさ情報に基づいて、特定狭帯域光の発光量の制御を行い、第１画素用の明るさ調整係数と第２画素用の明るさ調整係数の比率は、第１画素の感度のうち特定狭帯域光を含む短波長の光に対する短波長側感度と第２画素の短波長側感度に基づいて定められることが好ましい。

　第２画素の短波長側感度は、第２画素の最高感度の１０％以上、又は、第１画素の短波長側感度の１０％以上であることが好ましい。第２画素の短波長側感度は、第２画素の最高感度の３５％以下、又は、第１画素の短波長側感度の３５％以下であることが好ましい。

　第１画素用の明るさ調整係数を掛け合わせた第１画素の画素値、第２画素用の明るさ調整係数を掛け合わせた第２画素の画素値、及び第３画素用の明るさ調整係数を掛け合わせた第３画素の画素値に基づいて、観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、光源制御部は、明るさ情報に基づいて、特定狭帯域光の発光量の制御を行い、第１画素用の明るさ調整係数、第２画素用の明るさ調整係数、及び第３画素用の明るさ調整係数の比率は、第１画素の感度のうち特定狭帯域光を含む短波長の光に対する短波長側感度、第２画素の短波長側感度、及び第３画素の短波長側感度に基づいて定められることが好ましい。

　第１画素用の明るさ調整係数を掛け合わせた第１画素の画素値、第２画素用の明るさ調整係数を掛け合わせた第２画素の画素値、及び第４画素用の明るさ調整係数を掛け合わせた第４画素の画素値に基づいて、観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、光源制御部は、明るさ情報に基づいて、特定狭帯域光の発光量の制御を行い、第１画素用の明るさ調整係数、第２画素用の明るさ調整係数、及び第４画素用の明るさ調整係数の比率は、第１画素の感度のうち特定狭帯域光を含む短波長の光に対する短波長側感度、第２画素の短波長側感度、及び第４画素の短波長側感度に基づいて定められることが好ましい。

　第２画素群の画素数は第１画素群の画素数よりも多いことが好ましい。特定狭帯域光の中心波長は４００ｎｍ以上４５０ｎｍ以下に含まれ、特定狭帯域光の半値幅は４０ｎｍ以下であることが好ましい。

　本発明によれば、観察対象の照明に短波長の狭帯域光を用いた場合において、短波長の狭帯域光の発光量の制御を安定的に行うことができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのスペクトルを示すグラフである。 短波長の特定狭帯域光のスペクトルを示すグラフである。 撮像センサに設けられたＲ画素（Ｒ）、Ｇ画素（Ｇ）、Ｂ画素（Ｂ）、Ｗ画素（Ｗ）を示す説明図である。 本実施形態の撮像センサが有するＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率を示すグラフである。 短波長の特定狭帯域光を食道に照明した場合のＢ画素及びＧ画素の受光強度を示す説明図である。 短波長の特定狭帯域光を食道に照明した場合のＢ画素及びＲ画素の受光強度を示す説明図である。 通常光を観察対象に照明した場合のＷ画素及びＧ画素の受光強度を示す説明図である。 通常光を食道に照明した場合のＷ画素及びＲ画素の受光強度を示す説明図である。 画像信号のうち特定位置ＳＰに位置するＧ画素を示す説明図である。 低周波成分ｍＷの算出方法を示す説明図である。 低周波成分ｍＢｘの算出方法を示す説明図である。 低周波成分ｍＢｙの算出方法を示す説明図である。 ベイヤー配列の撮像センサを示す説明図である。 ベイヤー配列の撮像センサにおけるＧ画素位置のＢ画素の画素値の算出方法の説明に用いる説明図である。 ベイヤー配列の撮像センサにおけるＲ画素位置のＢ画素の画素値の算出方法に用いる説明図である。 通常の撮像センサが有するＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率を示すグラフである。

　［第１実施形態］

　図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

　また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、静止画取得指示部１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、特殊観察モードと、短波長観察モードとの切替操作に用いられる。通常観察モードは、白色光などの通常光（図９、図１０参照）により観察対象の照明を行って、通常画像をモニタ１８上に表示するモードである。特殊観察モードは、青色狭帯域光などの特殊光により観察対象の照明を行って、特定深さの血管などの構造を強調した特殊観察画像をモニタ１８上に表示するモードである。短波長観察モードは、観察対象の照明に短波長の特定狭帯域光（後述の紫色光Ｖに対応する）を用いることによって、短波長の特定狭帯域光で観察可能な構造物を表す短波長観察画像をモニタ１８上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。

　プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

　図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０a～２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a～２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。

　図３に示すように、V-LED２０ａは、中心波長が４００ｎｍ以上４５０ｎｍ（例えば、４０５ｎｍ）に含まれ、且つ、半値幅が４０ｎｍ以下である紫色光Ｖを発生する。B-LED２０ｂは、中心波長が４５０ｎｍ以上５００ｎｍ以下（例えば、４６０ｎｍ）に含まれ、且つ、半値幅が４０ｎｍ以下である青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。

　光源制御部２１は、通常観察モード及び特殊観察モードにおいて、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する制御を行う。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。また、光源制御部２１は、特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。特殊光は、特定深さの血管などの構造を強調できることが好ましい。また、光源制御部２１は、図４に示すように、短波長観察モード時には、短波長の特定狭帯域光である紫色光Ｖを発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。

　なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

　また、光源制御部２１は、プロセッサ装置１６の明るさ情報算出部５４から送られる明るさ情報に基づいて、各ＬＥＤ２０ａ～２０ｄから発せられる照明光の発光量を制御する。通常観察モードの場合であれば、光源制御部２１は、通常観察モード用の明るさ情報に基づいて、下記式Ａ）を満たすように、通常光の発光量を制御する。例えば、「通常観察モード用の明るさ情報／２５６」が規定数よりも低い場合には、通常光の発光量を上げる制御を行う。これに対して、「通常観察モード用の明るさ情報／２５６」が規定数よりも高い場合には、通常光の発光量を下げる制御を行う。

式Ａ）通常観察モード用の明るさ情報／２５６＝規定数

　特殊観察モードの場合であれば、光源制御部２１は、特殊観察モード用の明るさ情報に基づいて、下記式Ｂ）を満たすように、特殊光の発光量を制御する。例えば、「（特殊観察モード用の明るさ情報＋特殊観察モード用加算係数）／２５６」が規定数よりも低い場合には、特殊光の発光量を上げる制御を行う。これに対して、「（特殊観察モード用の明るさ情報＋特殊観察モード用加算係数）／２５６」が規定数よりも高い場合には、特殊光の発光量を下げる制御を行う。

式Ｂ）（特殊観察モード用の明るさ情報＋特殊観察モード用加算係数）／２５６＝規定数

　短波長観察モードの場合であれば、光源制御部２１は、短波長観察モード用の明るさ情報に基づいて、下記式Ｃ）を満たすように、短波長の特定狭帯域光の発光量を制御する。例えば、「（短波長観察モード用の明るさ情報＋短波長観察モード用加算係数）／２５６」が規定数よりも低い場合には、短波長の特定狭帯域光の発光量を上げる制御を行う。これに対して、「（短波長観察モード用の明るさ情報＋短波長観察モード用加算係数）／２５６」が規定数よりも高い場合には、短波長の特定狭帯域光の発光量を下げる制御を行う。式Ｃ）（短波長観察モード用の明るさ情報＋短波長観察モード用加算係数）／２５６＝規定数

　なお、短波長観察モード用の明るさ情報は、Ｂ画像信号の他に、特定狭帯域光に対応する信号値を有するＧ画像信号を含めて、算出されたものであるため、特定狭帯域光の発光量の制御を安定して行うことができる。例えば、観察対象において青色関連の色素が散布されている場合には、短波長観察モード用の明るさ情報がＢ画像信号にのみ基づいて算出されているものであれば、短波長の特定狭帯域光の発光量の制御を安定的に行うことは難しい。本実施形態のように、短波長観察モード用の明るさ情報が、Ｂ画像信号の他に、Ｇ画像信号に基づいて算出されていることにより、青色関連の色素の影響を受けにくくなっているため、短波長の特定狭帯域光の発光量の制御を安定的に行うことができる。

　なお、短波長観察モード用の明るさ情報がＢ画像信号、Ｇ画像信号、Ｗ画像信号に基づいて算出されている場合においても、Ｗ画像信号は、青色関連の色素の影響を受けにくくなっているため、特定狭帯域光の発光量の制御は、Ｂ画像信号、Ｇ画像信号、Ｗ画像信号に基づく明るさ情報に従って、安定的に行うことができる。同様にして、短波長観察モード用の明るさ情報がＢ画像信号、Ｇ画像信号、Ｒ画像信号に基づいて算出されている場合においても、Ｒ画像信号は、青色関連の色素の影響を受けにくくなっているため、特定狭帯域光の発光量の制御は、Ｂ画像信号、Ｇ画像信号、Ｒ画像信号に基づく明るさ情報に従って、安定的に行うことができる。

　図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。

　内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

　撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ

(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）Ｂ（青）、及びＷ（白）の４色のＲＧＢＷ画像信号を得るためのカラーの撮像センサである。即ち、撮像センサ４８は、図

５に示すように、Ｒフィルタが設けられたＲ画素（第４画素）、Ｇフィルタが設けられたＧ画素（第２画素）、Ｂフィルタが設けられたＢ画素（第１画素）、及びＷフィルタが設けられたＷ画素（第３画素）を備えている。なお、撮像センサ４８は２つの第１画素群と第２画素群に分けられ、第２画素群の画素数は第１画素群の画素数よりも多くなっている。第１画素群にはＢ画素が含まれ、第２画素群にはＧ画素、Ｒ画素、Ｗ画素が含まれる。

　撮像センサ４８において、Ｗ画素は市松模様となるように配列されている。また、短波長観察モード時において撮像センサ４８で得られる信号に対しては、解像度を向上させるために、後述のデモザイク化処理に示すように、Ｇ画素にも特定狭帯域光への感度を一定異常持たせて、Ｗ画素とＧ画素の相関を用いることによって、Ｇ画素位置においても特定狭帯域光の信号が得られるようにしている。同様にして、Ｒ画素にも特定狭帯域光への感度を一定異常持たせて、Ｗ画素とＲ画素の相関を用いることによって、Ｒ画素位置においても特定狭帯域光の信号が得られるようにしている。

　以上のように、短波長の特定狭帯域光の照明時に、Ｇ画素位置で特定狭帯域光の信号を得るためには、図６に示すように、Ｇ画素については、５００ｎｍ～６００ｎｍの緑色帯域の光（第１長波光）に対する感度だけでなく、短波長の特定狭帯域光を含む短波長（波長帯域は４５０ｎｍ以下、例えば４００ｎｍ～４５０ｎｍ）の光に対する短波長側感度も有するように、Ｇフィルタの透過率を設定する。これにより、図７に示すように、特定狭帯域光とＧフィルタの透過率と部位別反射率（図７の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。）を掛け合わせた場合には、Ｇ画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、Ｂ画素の受光強度は、特定狭帯域光とＢフィルタの透過率（４００ｎｍ～５００ｎｍの青色帯域）と部位別反射率を掛け合わせて得られ、Ｇ画素の受光強度の強度値の一定倍となっている。

　なお、Ｇ画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、Ｇ画素の短波長側感度については、４００～４５０ｎｍにおいてＧ画素の最高感度の１０％以上とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｇ画素の最高感度に対応する波長範囲（例えば、５４０～５６０ｎｍ）の透過率の１０％以上とすることが好ましい。もしくは、Ｇ画素の短波長側感度については、Ｂ画素の短波長側感度の１０％以上とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の１０％以上とすることが好ましい。なお、Ｇ画素の最高感度とは、Ｇカラーフィルタの透過率が一定以上（例えば、７０％）である波長域の光に対する感度のことをいう。Ｒ画素の最高感度についても同様である。

　一方、Ｇ画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、Ｇ画素の短波長側感度については、４００～４５０ｎｍにおいてＧ画素の最高感度の３５％以下とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｇ画素の最高感度に対応する波長範囲（例えば、５４０～５６０ｎｍ）の透過率の３５％以下とすることが好ましい。もしくは、Ｇ画素の短波長側感度については、Ｂ画素の短波長側感度の３５％以下とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の３５％以下とすることが好ましい。

　また、短波長の特定狭帯域光の照明時に、Ｒ画素位置で特定狭帯域光の信号を得るためには、図６に示すように、Ｒ画素については、６００ｎｍ～７００ｎｍの赤色帯域の光（第２長波光）に対する感度だけでなく、短波長の特定狭帯域光を含む短波長の光（４００ｎｍ～４５０ｎｍ）に対する短波長側感度も有するように、Ｒフィルタの透過率を設定する。これにより、図８に示すように、特定狭帯域光とＲフィルタの透過率と部位別反射率

（図８の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。）を掛け合わせた場合には、Ｒ画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、Ｂ画素の受光強度は、Ｒ画素の受光強度の一定倍となっている。

　ただし、Ｒ画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、Ｒ画素の短波長側感度については、４００～４５０ｎｍにおいてＲ画素の最高感度の１０％以上とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｒ画素の最高感度に対応する波長範囲（例えば、６４０～６６０ｎｍ）の透過率の１０％以上とすることが好ましい。もしくは、Ｒ画素の短波長側感度については、Ｂ画素の短波長側感度の１０％以上とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の１０％以上とすることが好ましい。

　一方、Ｒ画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、Ｒ画素の短波長側感度については、４００～４５０ｎｍにおいてＲ画素の最高感度の３５％以下とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｒ画素の最高感度に対応する波長範囲（例えば、６４０～６６０ｎｍ）の透過率の３５％以下とすることが好ましい。もしくは、Ｒ画素の短波長側感度については、Ｂ画素の短波長側感度の３５％以下とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の３５％以下とすることが好ましい。

　撮像センサ４８において、Ｗ画素については、短波長の特定狭帯域光、緑色帯域の光、赤色帯域の光を含むように、青色帯域から赤色帯域に至るまでの広帯域光の照明光に分光感度を有していることから、Ｂ画素、Ｇ画素、Ｒ画素など他の画素と比較して、画素値の飽和が速い。したがって、Ｗ画素の感度は、Ｂ画素、Ｇ画素、Ｒ画素など他の画素の感度よりも低く設定されている。具体的には、Ｗ画素の感度は、Ｂ画素の最高感度（例えば、４４０～４６０ｎｍの感度）又はＧ画素の最高感度（例えば、５４０～５６０ｎｍの感度）に対して、３０％～５０％とすることが好ましい。

　例えば、Ｗ画素とＧ画素との感度に関する関係においては、図９に示すように、通常光の光源スペクトルとＷフィルタの透過率とを掛け合わせて得られるＷ画素の受光強度が、通常光の光源スペクトルとＧフィルタの透過率とを掛け合わせて得られるＧ画素の受光強度の５０％程度（例えば、４５％～５５％）となるように、Ｗフィルタの透過率を設定する。もしくは、Ｗ画素とＢ画素との感度に関する関係においては、図１０に示すように、通常光の光源スペクトルとＷフィルタの透過率とを掛け合わせて得られるＷ画素の受光強度が、通常光の光源スペクトルとＢフィルタの透過率と食道の反射率とを掛け合わせて得られるＢ画素の受光強度の５０％程度（例えば、４５％～５５％）となるように、Ｗフィルタの透過率を設定する。

　なお、撮像センサ４８としては、ＲＧＢＷのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。

　図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

　プロセッサ装置１６は、画像取得部５３と、明るさ情報算出部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理部６０と、パラメータ切替部６２と、表示制御部６４とを備えている。

　画像取得部５３は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５３に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号（Ｒ画素の画素値）と、撮像センサ４８のＧ画素から出力されるＧ画像信号（Ｇ画素の画素値）と、撮像センサ４８のＢ画素から出力されるＢ画像信号（Ｂ画素の画素値）と、撮像センサ４８のＷ画素から出力されるＷ画像信号（Ｗ画素の画素値）から構成されるＲＧＢＷ画像信号である。

　明るさ情報算出部５４は、画像取得部５３から入力されるＲＧＢＷ画像信号に基づいて、観察モード毎に、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部２１に送られ、照明光の発光量の制御に用いられる。明るさ情報は、例えば、ビット数などで表される。

　通常観察モードの場合であれば、下記式Ｋ）によって、通常観察モード用の明るさ情報が算出される。

式Ｋ）通常観察モード用の明るさ情報＝明るさ調整係数ｋｃｒ×Ｒ画像信号＋明るさ調整係数ｋｃｇ×Ｇ画像信号＋明るさ調整係数ｋｃｂ×Ｂ画像信号＋明るさ調整係数ｋｃｗ×Ｗ画像信号

　特殊観察モードの場合であれば、下記式Ｌ）によって、特殊観察モード用の明るさ情報が算出される。

式Ｌ）特殊観察モード用の明るさ情報＝明るさ調整係数ｋｓｒ×Ｒ画像信号＋明るさ調整係数ｋｓｇ×Ｇ画像信号＋明るさ調整係数ｋｓｂ×Ｂ画像信号＋明るさ調整係数ｋｓｗ×Ｗ画像信号

　短波長観察モードの場合であれば、下記式Ｍ）によって、短波長観察モード用の明るさ情報が算出される。

式Ｍ）短波長観察モード用の明るさ情報＝明るさ調整係数ｋｔｒ×Ｒ画像信号＋明るさ調整係数ｋｔｇ×Ｇ画像信号＋明るさ調整係数ｋｔｂ×Ｂ画像信号＋明るさ調整係数ｋｔｗ×Ｗ画像信号

　短波長観察モードにおいては、短波長の特定狭帯域光のみの照明であるため、短波長観察モード用の明るさ情報の算出において、短波長の特定狭帯域光に対応する画素値を有するＢ画像信号とＷ画像信号のみを用いればよいが、本実施形態においては、Ｇ画素及びＲ画素において短波長側感度を有しているため、短波長観察モード用の明るさ情報の算出に、Ｇ画像信号及びＲ画像信号も合わせて用いる。

　短波長の特定狭帯域光のみの照明に対応する短波長観察モード用の明るさ情報を正確に算出するために、明るさ調整係数ｋｔｒ（第４画素用の明るさ調整係数）、明るさ調整係数ｋｔｇ（第２画素用の明るさ調整係数）、明るさ調整係数ｋｔｂ（第１画素用の明るさ調整係数）、明るさ調整係数ｋｔｗ（第３画素用の明るさ調整係数）の比率については、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の短波長側感度と粘膜の反射率に基づいて、定めることが好ましい。

　ここで、式Ｍ）を用いる場合、Ｗ画素の分光感度をＢ画素の４２０～４２０ｎｍの分光感度の４５％程度、Ｇ画素及びＲ画素の４００～４２０ｎｍの分光感度の１５～２０％とする場合には、粘膜の反射率も考慮し、明るさ調整係数ｋｔｒ、明るさ調整係数ｋｔｇ、明るさ調整係数ｋｔｂ、及び明るさ調整係数ｋｔｗの比率を、「２：２：５：４」とすることが好ましい。

　なお、短波長観察モード用の明るさ情報については、少なくともＢ画像信号とＧ画像信号の２つの画像信号に基づいて算出することが好ましい。Ｂ画像信号とＧ画像信号に基づいて、短波長観察モード用の明るさ情報を算出する場合には、式Ｍ１）により算出を行う。式Ｍ１）短波長観察モード用の明るさ情報＝明るさ調整係数ｋｔｇ×Ｇ画像信号＋明るさ調整係数ｋｔｂ×Ｂ画像信号ここで、式Ｍ１）を用いる場合には、Ｇ画素の４００～４２０ｎｍの分光感度を、Ｂ画素の４００～４２０ｎｍの分光感度の１５～２０％とする場合には、粘膜の反射率も考慮し、明るさ調整係数ｋｔｇと明るさ調整係数ｋｔｂとの比率を「２：５」にすることが好ましい。

　また、Ｂ画像信号、Ｇ画像信号、Ｗ画像信号に基づいて、短波長観察モード用の明るさ情報を算出する場合には、式Ｍ２）により算出を行う。

式Ｍ２）短波長観察モード用の明るさ情報＝明るさ調整係数ｋｔｇ×Ｇ画像信号＋明るさ調整係数ｋｔｂ×Ｂ画像信号＋明るさ調整係数ｋｇｗ×Ｗ画像信号

　ここで、式Ｍ２）を用いる場合、Ｗ画素の分光感度を、Ｂ画素の４００～４２０ｎｍの分光感度を４５％程度とする場合には、粘膜の反射率も考慮し、明るさ調整係数ｋｔｇ、明るさ調整係数ｋｔｂ、及び明るさ調整係数ｋｔｗの比率を、「２：５：４」にすることが好ましい。

　また、Ｂ画像信号、Ｇ画像信号、Ｒ画像信号に基づいて、短波長観察モード用の明るさ情報を算出する場合には、式Ｍ３）により算出を行う。

式Ｍ３）短波長観察モード用の明るさ情報＝明るさ調整係数ｋｔｒ×Ｒ画像信号＋明るさ調整係数ｋｔｇ×Ｇ画像信号＋明るさ調整係数ｋｔｂ×Ｂ画像信号ここで、式Ｍ３）を用いる場合には、Ｇ画素及びＲ画素の４００～４２０ｎｍの分光感度

を、Ｂ画素の４００～４２０ｎｍの分光感度の１５～２０％とする場合には、粘膜の反射率も考慮し、明るさ調整係数ｋｔｒ、明るさ調整係数ｋｔｇ、及び明るさ調整係数ｋｔｂの比率を、「２：２：５」にすることが好ましい。

　ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、又はガンマ変換処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。

　リニアマトリクス処理後の画像信号には、デモザイク化処理部５６ａにおいて、デモザイク化処理（等方化処理、同時化処理とも言う）が施される。通常観察モードと特殊観察モードにおいては、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。なお、ＲＧＢＷ画像信号を得るためのカラーの撮像センサを用いる場合のデモザイク処理については、例えば、特開２０１１－５５０３８号公報に記載の方法を用いることができる。

　短波長観察モードでは、短波長の特定狭帯域光のみが観察対象に照明されるが、通常のＲＧＢの撮像センサ（Ｒ画素、Ｇ画素、Ｂ画素からなる撮像センサ）は、図１８に示すように、Ｇフィルタ及びＲフィルタは特定狭帯域においてほとんど透過率を有さず、Ｇ画素及びＲ画素は特定狭帯域光に感度がほとんどない。このため、短波長の特定狭帯域光に基づいて得られる短波長観察画像は、特定狭帯域光に感度を有するＢ画素及びＷ画素から信号が得られるのみで、Ｇ画素とＲ画素からはほとんど信号が得られない。このためＷ画素との相関に基づくデモザイク処理を行っても、解像度の高い短波長観察画像は得られない。しかし、本実施形態に示すように、特定狭帯域光に対する感度をＧ画素とＲ画素に持たせることで、Ｇ画素とＲ画素からも特定狭帯域光に対応する一定の信号が得られるようになり、Ｗ画素との相関に基づくデモザイク処理により、解像度の高い短波長観察画像が得られる。なお、通常のＲＧＢの撮像センサは、図１８に示すように、Ｇフィルタ及びＲフィルタが青色帯域においてほとんど透過率を有しないことから、Ｇ画素及びＲ画素が青色帯域に感度がほとんどない。

　なお、以下において、短波長観察モードにて、Ｂ画素及びＷ画素から得られる信号と、Ｗ画素との相関に基づくデモザイク処理により、Ｇ画素とＲ画素から得られる信号については、特定狭帯域光に対応する一定の信号を有していることから、それぞれの信号を短波長観察信号という。

　Ｗ画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、Ｇ画素位置におけるＢ画素の画素値を算出する方法については、以下のとおりである。例えば、図１１に示すように、撮像センサ４８から出力される画像信号８０において、特定位置ＳＰにあるＧ画素位置のＢ画素の画素値Ｂｄを算出する場合には、画像信号８０に含まれる離散的なＷ画素信号に対して、近傍のＷ画素値に応じた方向判別補間によって全画素位置におけるＷ画素値を算出し、算出されたＷ画素値に対してウィナーフィルタ処理によって画像ぼけを削減する画像ぼけ削減処理を行い、画像ぼけ削減処理後のＷ画素信号（＝Ｗｄ）（画像ぼけ削減処理済みの信号）を算出する。次に、図１２に示すように、５×５の画素領域（特定の画素領域）の画素値に対して、第１平滑化フィルタ８２を掛け合わせることにより、低周波成分ｍＷ（第１平滑化フィルタ済みの成分）を得る。第１平滑化フィルタ８２は、画像信号８０のうちＷ画素がある位置に対して、フィルタ係数（「１」や「２」など）を設けている。

　次に、図１３に示すように、５×５の画素領域の画素値に対して、第２平滑化フィルタ８４を掛け合わせることにより、低周波成分ｍＢｘ（第２平滑化フィルタ済みの成分）を得る。第２平滑化フィルタ８４は、Ｇ画素が特定位置ＳＰに位置する５×５の画素領域毎に施されるフィルタであって、画像信号８０のうちＢ画素がある位置に対して、フィルタ係数（「１」）を設けている。この第２平滑化フィルタ８４では、特定位置ＳＰに近い位置のＢ画素の画素値を均等に取得する設定としたフィルタ係数設定が行われている。そして、以下の式Ｘ）により、Ｇ画素位置におけるＢ画素の画素値Ｂｄを算出する。

式Ｘ）Ｂｄ＝（ｍＢｘ／ｍＷ）×Ｗｄ

　Ｗ画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、Ｒ画素位置におけるＢ画素の画素値を算出する方法については、以下のとおりである。上記の場合と同様に、ぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）と、低周波成分ｍＷを取得する。そして、図１４に示すように、５×５の画素領域の画素値に対して、第３平滑化フィルタ８６を掛け合わせることにより、低周波成分ｍＢｙ（第３平滑化処理済みの成分）を取得する。第３平滑化フィルタ８６は、Ｒ画素が特定位置ＳＰに位置する５×５の画素領域毎に施されるフィルタであって、画像信号８０のうちＢ画素がある位置に対して、フィルタ係数（「１」）を設けている。そして、以下の式Ｙ）により、Ｒ画素位置におけるＢ画素の画素値Ｂｄを算出する。

式Ｙ）Ｂｄ＝（ｍＢｙ／ｍＷ）×Ｗｄ

　ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去された画像信号は、画像処理部６０に送信される。

　画像処理部６０は、各観察モードに対応する画像処理を行う。画像処理の方法としては、例えば、各観察モードに対応する階調処理や彩度強調などの画像処理パラメータを用意しておき、各観察モードに応じて画像信号に掛け合わせる方法がある。通常観察モードの場合であれば、通常観察モード用パラメータをＲＧＢ画像信号に掛け合わせ、特殊観察モードの場合でれば、特殊観察モード用パラメータをＲＧＢ画像信号に掛け合わせる。また、短波長観察モードの場合であれば、短波長観察モード用パラメータをＢ画像信号に掛け合わせる。以上の通常観察モード用パラメータ、特殊観察モード用パラメータ、及び短波長観察用パラメータは、モード切替ＳＷ１３ａのモード切替に伴って、パラメータ切替部６２により切り替えられる。

　表示制御部６４は、画像信号から入力された画像信号を、モニタ１８で表示可能な画像として表示するための制御を行う。通常観察モードの場合であれば、Ｒ画像信号をモニタ１８のＲチャンネルに、Ｇ画像信号をモニタ１８のＧチャンネルに、Ｂ画像信号をモニタ１８のＢチャンネルに割り当てることによって、通常画像をモニタ１８に表示する。また、特殊光観察モードの場合であれば、Ｇ画像信号をモニタ１８のＲチャンネルに、Ｂ画像信号をモニタ１８のＧチャンネル及びＢチャンネルに割り当てることによって、特殊観察画像をモニタ１８に表示する（割り当てる際には、階調処理、彩度強調を行うことが好ましい）。一方、短波長観察モードの場合であれば、短波長観察信号をモニタ１８のＲ、Ｇ、Ｂの各チャンネルに割り当てて、短波長観察画像をモニタ１８に表示する。短波長観察信号を割り当てる際には、短波長観察画像にＲ、Ｇ、Ｂの各チャンネル用のゲイン等を掛け合わせてから各チャンネルに割り当てる。これにより、短波長の特定狭帯域光で観察可能な構造物が表された短波長観察画像を、グレー画像よりも、血管などの構造の視認性が良い特定背景色を持つ画像としてモニタ１８に表示することができる。

　［第２実施形態］

　第１実施形態では、撮像センサ４８として、ＲＧＢＷの撮像センサを用いているが、図１５に示すように、Ｇ画素、Ｂ画素、Ｒ画素の画素数の比率が２：１：１であるベイヤー配列の撮像センサを用いるようにしてもよい。ベイヤー配列の撮像センサを用いる場合には、全画素位置においてモノクロのＢ画像信号を得るための短波長観察モードのデモザイク化処理としては、以下のようにして、Ｇ画素位置におけるＢ画素の画素値ＢｇとＲ画素位置におけるＢ画素の画素値Ｂｒを算出することが好ましい。

　例えば、図１６に示すように、特定位置ＳＰにあるＧ画素（Ｇ２２）の画素位置におけるＢ画素の画素値Ｂｇ（２２）を算出する場合には、式Ｚ１）によって算出を行う。

式Ｚ１）Ｂｇ（２２）＝

Ｇ２２×２（Ｂ２１＋Ｂ２３）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）

この式Ｚ１）によれば、特定位置ＳＰの周辺のＢ画素の画素値だけでなく、Ｇ画素の画素値を用いることで、Ｂｇ（２２）についてより現実に近い画素値を得ることができる。

　なお、図１７に示すように、特定位置ＳＰにあるＲ画素（Ｇ３２）の画素位置におけるＢ画素の画素値Ｂｒ（３２）を算出する場合には、式Ｚ２）によって算出を行う。

式Ｚ２）Ｂｒ（３２）＝（Ｂ２１＋Ｂ２３＋Ｂ４１＋Ｂ４３）／４

　なお、上記第１及び第２実施形態では、短波長観察モードにおけるデモザイク化処理は、Ｇ画素位置及びＲ画素位置におけるＢ画素の画素値（Ｂ画像信号）を算出するようにしているが、通常観察モード又は特殊観察モードと同様にして、各画素位置においてＲ画素、Ｇ画素、Ｂ画素の画素値をそれぞれ算出するようにしてもよい。

　上記実施形態において、画像取得部５３、明るさ情報算出部５４、ＤＳＰ５６、ノイズ除去部５８、画像処理部６０、パラメータ切替部６２、表示制御部６４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）

チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

　なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。

１０　内視鏡システム

１２　内視鏡

１２ａ　挿入部

１２ｂ　操作部

１２ｃ　湾曲部

１２ｄ　先端部

１２ｅ　アングルノブ

１３ａ　モード切替ＳＷ１３ｂ　静止画取得指示部

１４　光源装置

１６　プロセッサ装置

１８　モニタ

１９　ユーザーインターフェース

２０　光源部

２０ａ　Ｖ-ＬＥＤ（Ｖｉｏｌｅｔ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）

２０ｂ　Ｂ-ＬＥＤ（Ｂｌｕｅ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）

２０ｃ　Ｇ-ＬＥＤ（Ｇｒｅｅｎ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）

２０ｄ　Ｒ-ＬＥＤ（Ｒｅｄ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）

２１　光源制御部

２３　光路結合部

３０ａ　照明光学系

３０ｂ　撮像光学系

４１　ライトガイド

４５　照明レンズ

４６　対物レンズ

４８　撮像センサ

５０　ＣＤＳ・ＡＧＣ回路

５２　Ａ／Ｄ５３　画像取得部

５４　明るさ情報算出部

５６　ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）

５６ａ　デモザイク化処理部

５８　ノイズ除去部

６０　画像処理部

６２　パラメータ切替部

６４　表示制御部

８０　画像信号

８２　第１平滑化フィルタ

８４　第２平滑化フィルタ

８６　第３平滑化フィルタ

Claims (10)


  1. 　短波長の特定狭帯域光を発する光源部と、

    　前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素を少なくとも含む第２画素群とを備える撮像センサと、

    　前記特定狭帯域光の発光量を制御する光源制御部とを備え、

    　前記第１画素は、前記第２画素よりも前記特定狭帯域光への感度が高く、

    　前記第２画素は、前記特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、

    　前記光源制御部は、前記第１画素にて得られる前記第１画素の画素値及び前記第２画素にて得られる前記第２画素の画素値に基づいて、前記特定狭帯域光の発光量の制御を行う医療画像処理システム。

  2. 　前記第２画素群には、前記特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有する第３画素が含まれ、

    　前記光源制御部は、前記第１画素の画素値及び前記第２画素の画素値に加えて、前記第３画素の画素値に基づいて、前記特定狭帯域光の発光量の制御を行う請求項１記載の医療画像処理システム。

  3. 　前記第２画素群には、前記第１長波光よりも長波の第２長波光と前記特定狭帯域光に対して感度を有する第４画素が含まれ、

    　前記光源制御部は、前記第１画素の画素値及び前記第２画素の画素値に加えて、前記第４画素の画素値に基づいて、前記特定狭帯域光の発光量の制御を行う請求項１記載の医療画像処理システム。

  4. 　第１画素用の明るさ調整係数を掛け合わせた前記第１画素の画素値と第２画素用の明るさ調整係数を掛け合わせた前記第２画素の画素値とに基づいて、前記観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、

    　前記光源制御部は、前記明るさ情報に基づいて、前記特定狭帯域光の発光量の制御を行い、

    　前記第１画素用の明るさ調整係数と前記第２画素用の明るさ調整係数の比率は、前記第１画素の感度のうち前記特定狭帯域光を含む短波長の光に対する短波長側感度と前記第２画素の前記短波長側感度に基づいて定められる請求項１記載の医療画像処理システム。

  5. 　前記第２画素の前記短波長側感度は、前記第２画素の最高感度の１０％以上、又は、前記第１画素の前記短波長側感度の１０％以上である請求項４記載の医療画像処理システム。

  6. 　前記第２画素の前記短波長側感度は、前記第２画素の最高感度の３５％以下、又は、前記第１画素の前記短波長側感度の３５％以下である請求項４記載の医療画像処理システム。

  7. 　第１画素用の明るさ調整係数を掛け合わせた前記第１画素の画素値、第２画素用の明るさ調整係数を掛け合わせた前記第２画素の画素値、及び第３画素用の明るさ調整係数を掛け合わせた前記第３画素の画素値に基づいて、前記観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、

    　前記光源制御部は、前記明るさ情報に基づいて、前記特定狭帯域光の発光量の制御を行い、

    　前記第１画素用の明るさ調整係数、前記第２画素用の明るさ調整係数、及び前記第３画素用の明るさ調整係数の比率は、前記第１画素の感度のうち前記特定狭帯域光を含む短波長の光に対する短波長側感度、前記第２画素の前記短波長側感度、及び前記第３画素の前記短波長側感度に基づいて定められる請求項２記載の医療画像処理システム。

  8. 　第１画素用の明るさ調整係数を掛け合わせた前記第１画素の画素値、第２画素用の明るさ調整係数を掛け合わせた前記第２画素の画素値、及び第４画素用の明るさ調整係数を掛け合わせた前記第４画素の画素値に基づいて、前記観察対象の明るさを示す明るさ情報を算出する明るさ情報算出部を有し、

    　前記光源制御部は、前記明るさ情報に基づいて、前記特定狭帯域光の発光量の制御を行い、

    　前記第１画素用の明るさ調整係数、前記第２画素用の明るさ調整係数、及び前記第４画素用の明るさ調整係数の比率は、前記第１画素の感度のうち前記特定狭帯域光を含む短波長の光に対する短波長側感度、前記第２画素の前記短波長側感度、及び前記第４画素の前記短波長側感度に基づいて定められる請求項３記載の医療画像処理システム。

  9. 　前記第２画素群の画素数は前記第１画素群の画素数よりも多い請求項１ないし６いずれか１項記載の医療画像処理システム。

  10. 　前記特定狭帯域光の中心波長は４００ｎｍ以上４５０ｎｍ以下に含まれ、前記特定狭帯域光の半値幅は４０ｎｍ以下である請求項１ないし７いずれか１項記載の医療画像処理システム。
PCT/JP2019/015757 2018-04-23 2019-04-11 医療画像処理システム WO2019208235A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020516211A JP6987980B2 (ja) 2018-04-23 2019-04-11 医療画像処理システム
CN201980027208.3A CN112004455B (zh) 2018-04-23 2019-04-11 医疗图像处理系统
US17/035,936 US11744437B2 (en) 2018-04-23 2020-09-29 Medical image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018082158 2018-04-23
JP2018-082158 2018-04-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/035,936 Continuation US11744437B2 (en) 2018-04-23 2020-09-29 Medical image processing system

Publications (1)

Publication Number Publication Date
WO2019208235A1 true WO2019208235A1 (ja) 2019-10-31

Family

ID=68295415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015757 WO2019208235A1 (ja) 2018-04-23 2019-04-11 医療画像処理システム

Country Status (4)

Country Link
US (1) US11744437B2 (ja)
JP (1) JP6987980B2 (ja)
CN (1) CN112004455B (ja)
WO (1) WO2019208235A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6810812B2 (ja) * 2017-09-13 2021-01-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
CN111970954B (zh) * 2018-04-23 2024-07-16 富士胶片株式会社 医疗图像处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080130A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 観察装置
JP2016174921A (ja) * 2016-04-25 2016-10-06 富士フイルム株式会社 内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5485215B2 (ja) * 2011-04-01 2014-05-07 富士フイルム株式会社 内視鏡装置
EP2702927A4 (en) 2012-03-30 2015-08-26 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP6304953B2 (ja) * 2013-06-27 2018-04-04 オリンパス株式会社 観察装置
JP5654167B1 (ja) * 2013-07-03 2015-01-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2017046857A1 (ja) * 2015-09-14 2018-07-05 オリンパス株式会社 内視鏡装置
JP6562554B2 (ja) * 2016-05-13 2019-08-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの信号処理方法
JP6245710B2 (ja) * 2016-09-12 2017-12-13 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080130A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 観察装置
JP2016174921A (ja) * 2016-04-25 2016-10-06 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
US11744437B2 (en) 2023-09-05
JPWO2019208235A1 (ja) 2021-04-08
US20210007578A1 (en) 2021-01-14
CN112004455B (zh) 2024-04-26
JP6987980B2 (ja) 2022-01-05
CN112004455A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
JP6909856B2 (ja) 内視鏡システム
WO2019093355A1 (ja) 内視鏡システム及びその作動方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
US11937788B2 (en) Endoscope system
WO2019163540A1 (ja) 内視鏡システム
US11744437B2 (en) Medical image processing system
US20200260941A1 (en) Endoscope system
US11969152B2 (en) Medical image processing system
JP6891294B2 (ja) 内視鏡システム及びその作動方法
WO2020158165A1 (ja) 内視鏡システム
WO2019159817A1 (ja) 内視鏡システム及びその作動方法
JP7116223B2 (ja) 内視鏡システム及びその作動方法
JP7171885B2 (ja) 内視鏡システム
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JPWO2017170232A1 (ja) 内視鏡画像信号処理装置および方法並びにプログラム
JP2022160298A (ja) 医用画像処理装置及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19792378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020516211

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19792378

Country of ref document: EP

Kind code of ref document: A1