WO2017183339A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2017183339A1
WO2017183339A1 PCT/JP2017/008862 JP2017008862W WO2017183339A1 WO 2017183339 A1 WO2017183339 A1 WO 2017183339A1 JP 2017008862 W JP2017008862 W JP 2017008862W WO 2017183339 A1 WO2017183339 A1 WO 2017183339A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure amount
control unit
color
images
Prior art date
Application number
PCT/JP2017/008862
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018513054A priority Critical patent/JP6840737B2/ja
Priority to EP17785682.0A priority patent/EP3446619B1/en
Publication of WO2017183339A1 publication Critical patent/WO2017183339A1/ja
Priority to US16/161,064 priority patent/US11044416B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to an endoscope system, a processor device, and an operation method of an endoscope system that automatically adjusts an exposure amount when photographing an observation target.
  • diagnosis is generally performed using an endoscope system including a light source device, an endoscope, and a processor device.
  • the light source device generates white light as illumination light.
  • the endoscope images an observation target irradiated with illumination light.
  • the processor device generates and displays an image for observation (hereinafter referred to as an observation image) to be displayed on the monitor, using an image to be observed (hereinafter referred to as a captured image) captured by the endoscope.
  • the amount of illumination light is always set to be constant, the exposure amount in the image sensor changes according to the relative distance or angle between the distal end of the endoscope and the observation target. Not stable. For this reason, in an endoscope system, the amount of illumination light is usually adjusted automatically, and exposure in the image sensor is performed even if the relative distance or angle between the distal end of the endoscope and the observation object changes. Make the amount almost constant. Thereby, the endoscope system can always photograph the observation target with the same brightness.
  • an observation object is sequentially photographed using red light (hereinafter referred to as R light), green light (hereinafter referred to as G light), and blue light (hereinafter referred to as B light), and a red image (hereinafter referred to as R light).
  • R light red light
  • G light green light
  • B light blue light
  • R light red image
  • R light red image
  • G image green image
  • B image blue image
  • an exposure amount adjustment method is known in which the exposure amount of the next photographing is adjusted by weighting the brightness of each color image (Patent Document 1).
  • Patent Document 2 A method of automatically determining the exposure amount in conjunction with the exposure amount is known (Patent Document 2).
  • the exposure amount is automatically adjusted so that the brightness of the observation image is stabilized.
  • doctors who are users of the endoscope system still maintain the brightness of the observation image.
  • a conventional endoscope system captured images of three colors of an R image, a G image, and a B image are acquired simultaneously or sequentially, and an observation image having a natural color is generated and displayed using these images. Then, using the brightness of the observation image or the like, the exposure amount for the next shooting is determined.
  • the blood vessel appears darker than the mucous membrane. For this reason, an observation image in which blood vessels are well imaged is relatively darker than an observation image in which blood vessels are not well imaged.
  • the exposure amount may be adjusted excessively.
  • the exposure amount for the next photographing is determined using an observation image in which there are not many blood vessels, the exposure amount may be adjusted too small. For this reason, in the conventional endoscope system, although the exposure amount is automatically adjusted, the brightness fluctuation of the observation image may be conspicuous.
  • An object of the present invention is to provide an endoscope system, a processor device, and an operation method of the endoscope system that can adjust the exposure amount with higher accuracy than before.
  • the endoscope system acquires a light source unit that emits illumination light, an image sensor that captures an observation target using the illumination light, and a multi-color image obtained by capturing the observation target using the image sensor. And an exposure amount control unit that controls an exposure amount when the image acquisition unit obtains a plurality of color images using a part of the plurality of color images.
  • a light source control unit that controls the amount, wavelength band, or spectral spectrum of illumination light emitted from the light source unit is provided, and the exposure amount control unit obtains an image using an image of a part of a plurality of colors. It is preferable that the exposure amount when the unit obtains an image is calculated and output to the light source control unit to control the exposure amount.
  • the exposure amount control unit controls the exposure amount using an image of a color having the smallest change in pixel value when the angle of view changes among images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount using an image of a color that has the smallest absorption by blood among images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount using an image having a wavelength band of 460 nm or more and 700 nm or less among images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount using an image of a color that has the smallest absorption by the yellow pigment among the images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount using an image of a color having a wavelength band of 525 nm or more and 700 nm or less among images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount using an image of a color that has the smallest absorption by a dye used for endoscopic observation among images of a plurality of colors.
  • the exposure amount control unit controls the exposure amount by setting the light amount, wavelength band, or spectral spectrum of light included in the illumination light.
  • the exposure amount control unit preferably controls the exposure amount by setting the exposure time of the image sensor.
  • the exposure amount control unit weights each of the plurality of color images to use for controlling the exposure amount, and makes the weight of some of the plurality of color images larger than the other color images. It is preferable to control the exposure amount.
  • an area detection unit for detecting an area used for controlling the exposure amount from a plurality of color images is provided, and the exposure amount control unit controls the exposure amount using the area detected by the area detection unit.
  • An observation condition determination unit that determines an observation condition using one or more of a plurality of color images, and the exposure amount control unit uses the observation condition to control an exposure amount from among the plurality of color images. Is preferably selected.
  • the observation condition determination unit preferably determines the observation distance as the observation condition.
  • the observation condition determination unit determines the observation site as the observation condition.
  • the processor device of the present invention acquires an image using an image acquisition unit that acquires an image of a plurality of colors from an image sensor that captures an observation target using illumination light, and an image of a part of the colors of the plurality of colors.
  • An exposure amount control unit that controls an exposure amount when the unit obtains an image of a plurality of colors.
  • the light source unit emits illumination light
  • the image sensor captures an observation object using the illumination light
  • the image acquisition unit uses the image sensor.
  • the present invention controls the exposure amount when obtaining a multi-color image by using a part of the color images, the exposure amount can be adjusted more accurately than in the past.
  • An endoscope system, a processor device, and a method for operating the endoscope system can be provided.
  • the endoscope system 10 includes an endoscope 12 that captures an observation target, a light source device 14, a processor device 16, a monitor 18 that is a display unit, and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion. 12d.
  • the bending portion 12c is bent by operating the angle knob 12e of the operation portion 12b.
  • the distal end portion 12d faces in a desired direction.
  • the distal end portion 12d is provided with an ejection port (not shown) that ejects air, water, or the like toward the observation target.
  • the operation unit 12b is provided with a zoom operation unit 13a.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an observation image in each observation mode and image information attached to the observation object as necessary.
  • the console 19 functions as a user interface that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording images, image information, and the like.
  • the light source device 14 includes a light source unit 20 that emits illumination light and a light source control unit 22 that controls driving of the light source unit 20.
  • the light source unit 20 includes, for example, a red light source that emits R light, a green light source that emits G light, and a blue light source that emits B light.
  • the light sources of these colors are, for example, semiconductor light sources such as LEDs (Light-Emitting-Diodes), and the light amount and the light emission timing can be independently controlled.
  • the light source unit 20 can emit white light including R light, G light, and B light by substantially simultaneously turning on the red light source, the green light source, and the blue light source. “Substantially simultaneous” means that the red light source, the green light source, and the blue light source are turned on or emit light within the same single shooting timing (hereinafter referred to as a shooting frame) in the image sensor 48.
  • the red light source, the green light source, and the blue light source are sequentially turned on while the image sensor 48 captures the observation target once, the R light, the G light, and the B light that are sequentially emitted by them are the same. Since it is used for one shooting, the lighting timing of the red light source, the green light source, and the blue light source is substantially the same, and the light emission of the R light, the G light, and the B light is substantially the same. It is.
  • the light source unit 20 mixes light emitted from each light source using a mirror or prism (not shown) (including a dichroic mirror or dichroic prism that transmits or reflects a part of the wavelength band).
  • a mirror or prism including a dichroic mirror or dichroic prism that transmits or reflects a part of the wavelength band.
  • the structure of the light source part 20 of this embodiment is an example, and the light source part 20 can take arbitrary structures other than the above, as long as it can emit multiple types of illumination light having different wavelengths.
  • a lamp such as a xenon lamp, an LD (Laser Diode), a phosphor, or an optical filter that limits the wavelength band can be used in the light source unit 20 in any combination as necessary.
  • a white light source that emits white light such as a white LED, a light source that emits light of a color intermediate between the blue light source and the green light source, or a green light source and a red light source.
  • the light source unit 20 can be configured using a light source that emits an intermediate color of the light source.
  • the light source control unit 22 independently controls, for example, the light emission timing, light emission amount, wavelength band, spectral spectrum, and the like of each light source constituting the light source unit 20 according to the imaging frame of the image sensor 48. Under the control of the light source control unit 22, the light source unit 20 emits illumination light. In the present embodiment, the light source unit 20 emits white light including R light emitted from a red light source, G light emitted from a green light source, and B light emitted from a blue light source.
  • the illumination light emitted from the light source unit 20 enters the light guide 41.
  • the light guide 41 is built in the endoscope 12 and the universal cord, and propagates the illumination light to the distal end portion 12d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and a photographing optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and illumination light is irradiated to the observation target through the illumination lens 45.
  • the photographing optical system 30b includes an objective lens 46, a zoom lens 47, and an image sensor 48.
  • the image sensor 48 reflects reflected light or the like of illumination light returning from the observation target via the objective lens 46 and the zoom lens 47 (in addition to the reflected light, scattered light, fluorescence emitted from the observation target, or medicine administered to the observation target)
  • the observation object is photographed using the image including the fluorescence caused by
  • the zoom lens 47 moves by operating the zoom operation unit 13a, and observes the observation target to be photographed using the image sensor 48 in an enlarged or reduced manner.
  • the image sensor 48 is a so-called primary color sensor. For this reason, each pixel of the image sensor 48 has, for example, one of an R color filter (red color filter), a G color filter (green color filter), and a B color filter (blue color filter) shown in FIG. .
  • a pixel having an R color filter is an R pixel
  • a pixel having a G color filter is a G pixel
  • a pixel having a B color filter is a B pixel.
  • the image sensor 48 has the three colors of the R pixel, the G pixel, and the B pixel, when the observation object is photographed using the white light as the illumination light, the observation object is photographed by the R pixel.
  • the R image 91 obtained in this way, the G image obtained by photographing the observation object with the G pixel, and the B image 93 (see FIG. 4) obtained by photographing the observation object with the B pixel are obtained simultaneously.
  • the color of an image obtained by photographing with the image sensor 48 or the like is the color of light used for photographing.
  • the R image 91 is a red image.
  • the G image is a green image
  • the B image 93 is a blue image.
  • the color of an image obtained by photographing may be represented by using the name of a color such as red, green, or blue, or using the wavelength band of light used for photographing.
  • the color filter has so-called subsensitivity and the pixel has sensitivity to light of multiple colors, an image of multiple colors can be acquired with one pixel.
  • a green image or a blue image can be obtained using the R pixel provided with the R color filter.
  • the G color filter is sensitive not only to G light but also to R light or B light
  • a red image or a blue image can be obtained using the G pixel provided with the G color filter.
  • the B color filter is sensitive not only to B light but also to G light or R light
  • a green image or a red image can be obtained using the B pixel provided with the B color filter. .
  • the color of the photographed image represents the color of light used for photographing, and does not depend on the spectral transmission characteristics of the pixels or color filters used for photographing. The same applies to the case where the color of an image obtained by photographing is expressed using the wavelength band of light used for photographing.
  • a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor can be used.
  • the image sensor 48 of the present embodiment is a primary color sensor, but a complementary color sensor can also be used.
  • Complementary color sensors include, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter.
  • a complementary color sensor is used, an image obtained from each color pixel can be converted into a B image 93, a G image, and an R image 91 by performing complementary color-primary color conversion.
  • a monochrome sensor not provided with a color filter can be used as the image sensor 48 instead of the color sensor. In this case, the image of each color can be obtained by sequentially photographing the observation target using illumination light of each color such as BGR.
  • the processor device 16 includes an image acquisition unit 54, an image processing unit 61, a display control unit 66, and an overall control unit 72.
  • the image acquisition unit 54 acquires captured images of a plurality of colors obtained by capturing an observation target using the image sensor 48. Specifically, the image acquisition unit 54 acquires a set of the B image 93, the G image, and the R image 91 for each shooting frame.
  • the image acquisition unit 54 includes a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59, and performs various processes on the acquired image using these.
  • DSP Digital Signal Processor
  • the DSP 56 performs various processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the acquired image as necessary.
  • the defect correction process is a process for correcting the pixel value of the pixel corresponding to the defective pixel of the image sensor 48.
  • the offset process is a process for reducing the dark current component from the image subjected to the defect correction process and setting an accurate zero level.
  • the gain correction process is a process for adjusting the signal level of each image by multiplying the image subjected to the offset process by a gain.
  • the linear matrix process is a process for improving the color reproducibility of the image subjected to the offset process, and the gamma conversion process is a process for adjusting the brightness and saturation of the image after the linear matrix process.
  • the demosaic process (also referred to as an isotropic process or a synchronization process) is a process of interpolating the pixel values of the missing pixels, and is applied to the image after the gamma conversion process.
  • the missing pixel is a pixel having no pixel value because pixels of other colors are arranged in the image sensor 48 due to the arrangement of the color filters.
  • the B image 93 is an image obtained by photographing the observation target with the B pixel, the pixel at the position corresponding to the G pixel or the R pixel of the image sensor 48 has no pixel value.
  • the B image 93 is interpolated to generate pixel values of pixels at the positions of the G pixel and the R pixel of the image sensor 48.
  • the YC conversion process is a process for converting the demosaiced image into a luminance channel Y, a color difference channel Cb, and a color difference channel Cr.
  • the noise reduction unit 58 performs noise reduction processing on the luminance channel Y, the color difference channel Cb, and the color difference channel Cr using, for example, a moving average method or a median filter method.
  • the conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an image of each color of BGR again.
  • the image processing unit 61 performs a color conversion process, a color enhancement process, and a structure enhancement process on the B image 93, the G image, and the R image 91 for one shooting frame subjected to the above-described various processes, and converts the observation image into an observation image. Generate.
  • a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (look-up table) process, and the like are performed on an image of each color of BGR.
  • the color enhancement process is a process for enhancing the color of an image
  • the structure enhancement process is a process for enhancing a tissue or structure to be observed such as a blood vessel or a pit pattern.
  • the display control unit 66 sequentially acquires observation images from the image processing unit 61, converts the acquired observation images into a format suitable for display, and sequentially outputs and displays them on the monitor 18. Thereby, a doctor etc. can observe an observation object using a moving picture of an observation image of a natural hue.
  • the overall control unit 72 is, for example, a CPU (Central Processing Unit), and performs overall control of the endoscope system 10 such as illumination light emission timing and imaging frame synchronization control.
  • the overall control unit 72 includes an exposure amount control unit 73. That is, the overall control unit 72 has the function of the exposure amount control unit 73.
  • the exposure amount control unit 73 acquires a plurality of color photographed images that have been subjected to various types of processing from the image acquisition unit 54, and uses a part of the color images among the plurality of color photographed images, and then a plurality of color images. Controls the amount of exposure when obtaining. Specifically, the exposure amount control unit 73 acquires, for example, the R image 91, the G image, and the B image 93 for the latest shooting frame from the image acquisition unit 54.
  • an image of a specific color is selected from the captured images of each color and used, for example, in the next shooting frame
  • An appropriate exposure amount is calculated when a new observation target is photographed and the R image 91, the G image, and the B image 93 are obtained again.
  • the exposure amount control unit 73 inputs the calculated exposure amount to the light source control unit 22.
  • the light source control unit 22 controls the light amounts of the R light, the G light, and the B light using the exposure amount input by the exposure amount control unit 73.
  • the exposure amount control unit 73 controls the amounts of R light, G light, and B light via the light source control unit 22 as described above. Thus, the exposure amount when the R image 91, the G image, and the B image 93 are obtained is controlled.
  • the exposure amount control unit 73 uses the photographed image of the color having the smallest change in pixel value when the angle of view changes among the photographed images of the plurality of colors acquired from the image acquisition unit 54.
  • the exposure amount is controlled as follows.
  • the case where the angle of view is changed is a case where the observation target is enlarged or reduced by operating the zoom operation unit 13a.
  • the smallest change in pixel value when the angle of view changes means that the rate of change of the pixel value of the pixel of interest relative to the angle of view is the smallest, or the region of interest (in the case of all regions)
  • the rate of change of the statistic such as the average or median of the pixel values of
  • the B image 93 is the blood vessel 95 (so-called superficial blood vessel) most when the observation object is enlarged (hereinafter referred to as enlarged) in the R image 91, the G image, and the B image 93. Is a photographed image of a color that often appears. Further, since the blood vessel 95 that appears well in the B image 93 is a relatively fine and thin blood vessel, it does not appear so much when the observation object is not enlarged and observed (hereinafter referred to as non-enlarging). That is, in the B image 93, the average pixel value is small because there are many blood vessels 95 that appear dark when enlarged, but the average pixel value becomes large because the blood vessels 95 do not appear so much when not enlarged. Therefore, the B image 93 is a captured image having the largest change in pixel value with respect to the angle of view among the R image 91, the G image, and the B image 93.
  • the R image 91 is a photographed image of a color in which blood vessels (including blood vessels 95) are most difficult to be seen regardless of the angle of view. That is, as compared with the B image 93 and the G image, the R image 91 has a large average pixel value at the time of enlargement and non-enlargement, and there is no significant difference between the average pixel values at the time of enlargement and non-enlargement. Therefore, the R image 91 is a captured image with the smallest change in pixel value with respect to the angle of view among the R image 91, the G image, and the B image 93.
  • the exposure amount control unit 73 has the smallest change in pixel value when the angle of view changes among a plurality of colors of the captured images of the R image 91, the G image, and the B image 93.
  • the exposure amount is controlled using the image 91.
  • the average pixel value of the G image is equal to the average pixel value of the B image 93 and the R image 91 with respect to the change in the angle of view, unless it is a special case of observing a tissue or structure that is particularly easily reflected in the G image. An intermediate change in the average pixel value is shown.
  • the image acquisition unit 54 acquires a plurality of color images, that is, an R image 91, a G image, and a B image 93 (S11). .
  • the exposure amount control unit 73 uses some of the plurality of color shooting images, The exposure amount for obtaining the R image 91, the G image, and the B image 93 in the next shooting frame is calculated (S12). Specifically, since the captured image of the color with the smallest change in pixel value when the angle of view changes is the R image 91, the exposure amount control unit 73 calculates the exposure amount using the R image 91.
  • the exposure amount control unit 73 controls the exposure amount in the next shooting frame using the calculated exposure amount (S13). Specifically, the exposure amount control unit 73 inputs the calculated exposure amount to the light source control unit 22. As a result, the light source control unit 22 adjusts the amount of white light, which is illumination light, using the exposure amount calculated by the exposure amount control unit 73.
  • the endoscope system 10 repeats the above operations (S10 to S13) until the end of observation, so that the observation target can be photographed almost always with appropriate brightness.
  • the endoscope system 10 acquires the R image 91, the G image, and the B image 93, and generates and displays an observation image using the acquired R image 91, G image, and B image. To do.
  • the exposure amount is controlled using the observation image, and in the endoscope system 10, the photographed images of some colors among the photographed images of the plurality of colors are used. Used to control the exposure amount.
  • the exposure amount to be set varies depending on, for example, the appearance of a blood vessel that appears dark on the mucous membrane, and observation is performed at a substantially constant brightness. Even if the object can be photographed, the brightness of the observation image displayed on the monitor 18 may flicker depending on the situation such as the appearance of blood vessels.
  • the endoscope system 10 instead of using the observation image for controlling the exposure amount, among the captured images of a plurality of colors such as the R image 91, the G image, and the B image 93, the degree of reflection of the blood vessel and the like.
  • the exposure amount control unit 73 uses the image having the smallest change in pixel value when the angle of view changes from among a plurality of color captured images obtained from the image acquisition unit 54, and determines the exposure amount. The calculation is performed to control the exposure amount of the next shooting frame. This is the same when the shooting images of a plurality of colors are other than the R image 91, the G image, and the B image 93. That is, when a complementary color image sensor is used or when an image sensor having a color filter of another color is used, the color of the photographed image used for controlling the exposure amount can be selected based on the same reference.
  • the exposure amount can be automatically adjusted as in the first embodiment.
  • the image having the smallest change in pixel value when the angle of view changes is used for controlling the exposure amount among the plurality of color captured images.
  • a photographed image having the smallest absorption by blood mainly hemoglobin
  • an image of a tissue or structure containing a lot of blood such as blood vessels may cause an error in controlling the exposure amount.
  • both the oxygenated hemoglobin 96 and the reduced hemoglobin 97 have a large extinction coefficient in the wavelength band of less than about 460 nm, the absorption by blood is large.
  • the extinction coefficient of oxyhemoglobin 96 and reduced hemoglobin 97 is smaller than about 460 nm and less than about 460 nm in the range of about 460 nm to about 700 nm, the absorption by blood is also small.
  • the exposure amount of a photographed image obtained by photographing an observation object using light of a color with a wavelength band of about 460 nm or more and about 700 nm or less is controlled in the exposure amount.
  • a photographed image of a color with a wavelength band of about 460 nm or more and about 700 nm or less is controlled in the exposure amount.
  • the photographed image used for controlling the exposure amount is the R image 91 as in the first embodiment.
  • the exposure amount may be more accurately controlled by using a captured image of a color that is less absorbed by blood among the captured images of a plurality of colors for controlling the exposure amount. is there.
  • the image having the smallest change in pixel value when the angle of view changes is used for controlling the exposure amount among the plurality of color captured images.
  • an image of a color having the smallest absorption by the yellow pigment may be used for controlling the exposure amount.
  • the yellow pigment is, for example, bilirubin or stercobilin.
  • bilirubin or stercobilin For example, in observation of the lower gastrointestinal tract such as the large intestine, there is a case where an error may occur in the control of the exposure amount due to the adhesion state of mucus containing a yellow pigment.
  • the extinction coefficient of the yellow dye is large in the wavelength band of less than about 525 nm, and is smaller in the wavelength band of about 525 nm or more and about 700 nm or less than the wavelength band of less than about 525 nm. Therefore, among a plurality of color photographed images, a photographed image obtained by photographing an observation target using light having a wavelength band of about 525 nm to about 700 nm (that is, a color band having a wavelength band of about 525 nm to about 700 nm). Photographed image) can be used to control the exposure amount.
  • the exposure amount is controlled using a photographed image with a wavelength band of about 525 nm or more and about 700 nm or less, even when observing the lower gastrointestinal tract such as the large intestine, the degree of adhesion of mucus or the like containing a yellow pigment.
  • the exposure amount can be controlled with high accuracy without depending on the above.
  • the photographed images of a plurality of colors not only the photographed image of the color with the smallest absorption by blood (mainly hemoglobin) or the yellow pigment, but also the absorption by an arbitrary pigment (for example, a blue pigment) used for endoscopic observation
  • a photographed image with the smallest color may be used for controlling the exposure amount.
  • the exposure amount control unit 73 controls the amount of illumination light, but the exposure amount control unit 73 includes the amount of illumination light (the amount of illumination light as a whole or part of the illumination light included in the illumination light).
  • the wavelength band of the illumination light or the spectral spectrum of the illumination light can be controlled. That is, the exposure amount control unit 73 can control the exposure amount by setting the light amount of the illumination light, the wavelength band, or the spectral spectrum. For example, when the light source unit 20 includes a light source that emits light of other colors in addition to the red light source, the green light source, and the red light source, the combination of light sources to be turned on, the light amount ratio, and the like are adjusted.
  • the exposure amount control unit 73 can control the exposure amount by simultaneously adjusting any one or more combinations of the light amount of the illumination light, the wavelength band, or the spectral spectrum.
  • the exposure time of the image sensor 48 is constant, and the exposure amount control unit 73 controls the exposure amount by adjusting the amount of illumination light.
  • the exposure amount can be controlled by setting the exposure time of the sensor 48. For example, instead of increasing the amount of illumination light, the exposure time of the image sensor 48 can be set longer. Further, the exposure amount control unit 73 can control the exposure amount by setting both the light amount of the illumination light, the wavelength band, or the spectral spectrum, and the exposure time of the image sensor 48.
  • the R image 91 is selectively used from the three colors of the R image 91, the G image, and the B image 93, and the G image and the B image 93 are not used at all.
  • the exposure amount is controlled, in addition to the R image 91, a G image and a B image 93 can be used.
  • the exposure amount control unit 73 weights a plurality of colors of captured images and uses them to control the exposure amount, and uses the weights of some of the multiple color images as images of other colors.
  • the exposure amount can be controlled with a larger value.
  • the exposure amount control unit 73 sets the weight coefficient of the R image 91 as Ar, the weight coefficient of the G image as Ag, and the weight coefficient of the B image 93 as Ab, and the weight coefficients Ar, Ag, and A composite image is generated by maximizing the weighting coefficient Ar of the R image 91 among Ab. Then, the exposure amount of the next shooting frame can be calculated using the average pixel value or the like of the generated composite image. If the results obtained by weighting the R image 91, the G image, and the B image 93 are used for controlling the exposure amount, the exposure is performed with higher accuracy than the conventional endoscope system in substantially the same manner as in the first embodiment. The amount can be controlled. This is because it is almost the same as controlling the exposure amount using the R image 91. Note that at least Ar> Ag and Ar> Ab. Ar> Ag> Ab is preferable.
  • a combined image obtained by weighting and combining the R image 91, the G image, and the B image 93 is used for controlling the exposure amount.
  • each color The result of weighting the exposure amount calculated using each of the photographed images can be used as the exposure amount of the next photographing frame.
  • the exposure amount Er of the next shooting frame calculated using the R image 91, the exposure amount Eg of the next shooting frame calculated using the G image, and the next shooting frame calculated using the B image 93 are calculated.
  • a weighted average value obtained by multiplying the exposure amount Eb by the weighting factors Ar, Ag, and Ab is calculated. Then, this weighted average value is used as the exposure amount of the next shooting frame to control the exposure amount.
  • the exposure amount can be controlled with higher accuracy than in the conventional endoscope system, as in the first embodiment. This is because it is almost the same as controlling the exposure amount using the R image 91.
  • the control accuracy of the exposure amount is improved by using a part of the photographed images of a plurality of colors.
  • the endoscope system 201 shown in FIG. thus, by providing the area detection unit 202 in the processor device 16, it is possible to control the exposure amount with higher accuracy.
  • the region detection unit 202 determines the exposure amount from at least a photographed image of the color that the exposure amount control unit 73 uses to control the exposure amount among the plurality of color captured images that the exposure amount control unit 73 acquires from the image acquisition unit 54.
  • the area used for control is detected.
  • An area used for exposure amount control (hereinafter referred to as “use area”) is an area excluding a portion that causes a reduction in the accuracy of exposure amount control, such as an area with blood vessels (hereinafter referred to as “blood vessel area”). More specifically, the part used for controlling the exposure amount is a region composed only of the mucosa to be observed, or a collection of regions composed only of the mucous membrane.
  • the region detection unit 202 detects at least one blood vessel region from the R image 91 and at least one of the regions excluding the detected blood vessel region. Is specified as the used area.
  • the exposure amount control unit 73 controls the exposure amount using only the pixel value of the used area detected by the area detection unit 202.
  • the exposure amount can be controlled by removing a blood vessel region that causes an error after using a photographed image having a color suitable for the exposure amount control, such as the R image 91, so that the first embodiment can be used.
  • the exposure amount can be controlled with higher accuracy.
  • the amount of exposure is controlled by selectively using the R image 91 on the basis that the change in the pixel value is the smallest when the angle of view changes from among a plurality of color captured images. .
  • the endoscope system 10 obtains three color photographed images of the R image 91, the G image, and the B image 93, it is determined in advance that the R image 91 is automatically used. .
  • the image to be used for controlling the exposure amount can be more flexibly according to the observation situation, the observation site, etc. You can choose.
  • an observation condition determination unit 302 is provided in the processor device 16 as in the endoscope system 301 shown in FIG.
  • the observation condition determination unit 302 determines the observation condition using one or more of the multiple color images acquired by the exposure amount control unit 73 from the image acquisition unit 54. Then, the exposure amount control unit 373 uses the observation conditions determined by the observation condition determination unit 302 to select a captured image to be used for exposure amount control from among multiple color captured images.
  • the observation condition is, for example, an observation distance or an observation site.
  • the observation distance can be determined based on, for example, the brightness of the mucous membrane or the like in the captured image, the operation state of the zoom operation unit 13a (how much zooming is performed), and the like.
  • the observation site can be determined based on the brightness of the mucous membrane, the thickness of the blood vessel, the density of the blood vessel, the color of the mucous membrane, or the contrast with respect to the mucous membrane such as the blood vessel.
  • the observation site is the esophagus
  • there are many so-called superficial blood vessels localized in the vicinity of the surface of the mucosa and when the observation site is the stomach, for example, in the G image, a relatively thick medium-deep layer located deeper below the mucosa than the surface blood vessels Many blood vessels can be observed. For this reason, it is possible to determine the observation site based on what kind of blood vessels are shown in the captured image.
  • the presence / absence of a blood vessel and the thickness of the blood vessel are determined by frequency analysis, for example.
  • the observation condition determination unit 302 determines the observation distance as the observation condition
  • the observation target is imaged (S310), and the image acquisition unit 54 acquires a plurality of colors of captured images (S311).
  • the observation condition determination unit 302 determines the observation distance using one or more of the plurality of color photographed images acquired by the image acquisition unit 54 (S312). Then, using the observation distance determined by the observation condition determination unit 302, the exposure amount control unit 373 selects a captured image used for controlling the exposure amount (S313). Specifically, the exposure amount control unit 373 selects a captured image of a long wavelength color as the observation distance is long and the observation target is captured from a long distance.
  • the exposure amount control unit 373 uses the R image 91 or the G image in which the blood vessels 95 are less reflected in the exposure amount control. Select as a captured image.
  • the exposure amount control unit 373 selects the R image 91 as a captured image used for controlling the exposure amount. If there is almost no reflection of the blood vessel 95 in the B image 93, one of the R image 91, the G image, and the B image 93 is selected as a captured image used for controlling the exposure amount.
  • the exposure amount control unit 373 controls the exposure amount using the photographed image of the selected color (S314).
  • the method of controlling the exposure amount and repeating the above operation until the end of observation (S315) is the same as in the first embodiment.
  • the observation condition determination unit 302 determines the observation site as the observation condition
  • the observation target is imaged (S320), and the image acquisition unit 54 acquires a plurality of color captured images (S321).
  • the observation condition determination unit 302 determines an observation site using one or more of a plurality of color captured images acquired by the image acquisition unit 54 (S322).
  • the exposure amount control unit 373 selects a captured image to be used for controlling the exposure amount using the observation region determined by the observation condition determination unit 302 (S323).
  • the exposure amount control unit 373 excludes the B image 93 and outputs the G image or R
  • the image 91 is selected as a photographed image used for exposure amount control.
  • the observation condition determination unit 302 determines that the observation site is “stomach”, a blood vessel is reflected in the G image, so the B image 93 or the R image 91 is selected as a captured image used for exposure amount control. .
  • the exposure amount control unit 373 controls the exposure amount using the photographed image of the selected color (S324), and exposure.
  • the method of controlling the amount and repeating the above operation until the observation end (S315) is the same as when the observation condition determination unit 302 determines the observation distance.
  • the present invention is implemented in an endoscope system that performs observation by inserting the endoscope 12 provided with the image sensor 48 into a subject.
  • the present invention is also suitable for a mirror system.
  • a capsule endoscope system includes at least a capsule endoscope 400 and a processor device (not shown).
  • the capsule endoscope 400 includes a light source unit 402, a control unit 403, an image sensor 404, an image processing unit 406, and a transmission / reception antenna 408.
  • the light source unit 402 corresponds to the light source unit 20.
  • the control unit 403 functions in the same manner as the light source control unit 22, the overall control unit 72, and the exposure amount control unit 73.
  • the control unit 403 can communicate with the processor device of the capsule endoscope system using the transmission / reception antenna 408 wirelessly.
  • the processor device of the capsule endoscope system is substantially the same as the processor device 16 of the first to third embodiments, but the image processing unit 406 corresponding to the image acquisition unit 54 and the image processing unit 61 is a capsule endoscope.
  • the generated observation image provided in 400 is transmitted to the processor device via the transmission / reception antenna 408.
  • the image sensor 404 is configured similarly to the image sensor 48.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供する。内視鏡システム(10)は、照明光を発光する光源部(20)と、照明光を用いて観察対象を撮影するイメージセンサ(48)と、イメージセンサ(48)を用いて観察対象を撮影して得る複数色の画像を取得する画像取得部(54)と、複数色の画像のうち一部の色の画像を用いて、画像取得部(54)が複数色の画像を得る際の露光量を制御する露光量制御部(73)と、を備える。

Description

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
 本発明は、観察対象を撮影する際に露光量を自動的に調節する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
 医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。光源装置は例えば照明光として白色光を発生する。内視鏡は照明光が照射された観察対象を撮影する。そして、プロセッサ装置は、内視鏡で撮影した観察対象の画像(以下、撮影画像という)を用いて、モニタに表示する観察用の画像(以下、観察画像という)を生成及び表示する。
 照明光の光量を常に一定に設定しておくと、イメージセンサにおける露光量は内視鏡の先端部と観察対象の相対的な距離または角度等に応じて変化するので、観察画像の明るさが安定しない。このため、内視鏡システムにおいては、通常、照明光の光量等を自動的に調節し、内視鏡の先端部と観察対象の相対的な距離または角度等が変化してもイメージセンサにおける露光量をほぼ一定にする。これにより、内視鏡システムは、ほぼ常に同じ明るさで観察対象を撮影することができる。
 また、例えば、赤色光(以下、R光という)、緑色光(以下、G光という)、及び青色光(以下、B光という)を用いて観察対象を順次撮影し、赤色画像(以下、R画像という)、緑色画像(以下、G画像という)、及び青色画像(以下、B画像という)を取得する内視鏡システムがある。こうした内視鏡システムにおいては、これら各色の画像の明るさ等に重み付けをして、次の撮影の露光量を調節する露光量の調節方法が知られている(特許文献1)。
 また、使用する照明光等が異なる複数のモードの動画を同時に表示する内視鏡システムにおいては、基準となる1つの動画を撮影するために決定した露光量に、他の動画を撮影するための露光量を連動して自動的に決定する方法が知られている(特許文献2)。
特開2014-033777号公報 特開2013-188365号公報
 従来の内視鏡システムにおいては、露光量を自動的に調節して観察画像の明るさが安定するようにしているが、依然として、内視鏡システムのユーザである医師等は、観察画像の明るさの変動(いわゆる“チラつき")を感じる場合がある。このため、より精度良く露光量を調節することが求められている。
 例えば、従来の内視鏡システムにおいては、R画像、G画像、及びB画像の3色の撮影画像を同時にまたは順次に取得し、これらを用いて自然な色合いの観察画像を生成及び表示する。そして、観察画像の明るさ等を用いて、次に撮影する際の露光量を決定する。
 しかし、観察画像においては、例えば血管は粘膜よりも暗く写る。このため、血管を良く写し出している観察画像は、血管があまり写っていない観察画像よりも相対的に暗くなるので、血管がよく写っている観察画像を用いて次の撮影の露光量を決定すると、露光量を過大に調節してしまう場合がある。逆に、血管があまり写っていない観察画像を用いて次の撮影の露光量を決定すると、露光量を過小に調節してしまう場合がある。このため、従来の内視鏡システムにおいては、露光量を自動的に調節しているにもかかわらず、観察画像の明るさの変動が目立ってしまう場合がある。
 本発明は、従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
 本発明の内視鏡システムは、照明光を発光する光源部と、照明光を用いて観察対象を撮影するイメージセンサと、イメージセンサを用いて観察対象を撮影して得る複数色の画像を取得する画像取得部と、複数色の画像のうち一部の色の画像を用いて、画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、を備える。
 光源部から発光される照明光の光量、波長帯域、または、分光スペクトルを制御する光源制御部を備え、露光量制御部は、複数色の画像のうち一部の色の画像を用いて画像取得部が画像を得る際の露光量を算出し光源制御部に出力して露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、画角が変化した場合に画素値の変化が最も小さい色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、血液による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、波長帯域が460nm以上700nm以下の色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、黄色色素による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、波長帯域が525nm以上700nm以下の色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、複数色の画像のうち、内視鏡観察に使用する色素による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。
 露光量制御部は、照明光に含む光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御することが好ましい。
 露光量制御部は、イメージセンサの露光時間を設定して露光量を制御することが好ましい。
 露光量制御部は、複数色の画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御することが好ましい。
 複数色の画像から露光量の制御に使用する領域を検出する領域検出部を備え、露光量制御部は、領域検出部が検出した領域を使用して露光量を制御することが好ましい。
 複数色の画像のうち1以上を用いて観察条件を判定する観察条件判定部を備え、露光量制御部は、観察条件を用いて、複数色の画像のなかから露光量の制御に使用する画像を選択することが好ましい。
 観察条件判定部は、観察条件として観察距離を判定することが好ましい。
 観察条件判定部は、観察条件として観察部位を判定することが好ましい。
 本発明のプロセッサ装置は、照明光を用いて観察対象を撮影するイメージセンサから複数色の画像を取得する画像取得部と、複数色の画像のうち一部の色の画像を用いて、画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、を備える。
 本発明の内視鏡システムの作動方法は、光源部が、照明光を発光するステップと、イメージセンサが、照明光を用いて観察対象を撮影するステップと、画像取得部が、イメージセンサを用いて観察対象を撮影して得る複数色の画像を取得するステップと、露光量制御部が、複数色の画像のうち一部の色の画像を用いて、画像取得部が画像を得る際の露光量を制御するステップと、を備える。
 本発明は、複数色の画像のうち一部の色の画像を用いて、複数色の画像を得る際の露光量を制御するようにしたので、従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 カラーフィルタの分光透過特性を示すグラフである。 拡大時及び非拡大時のB画像の概略図である。 拡大時及び非拡大時のR画像の概略図である。 第1実施形態の露光量制御のフローチャートである。 ヘモグロビンの吸光係数を示すグラフである。 黄色色素の吸光係数を示すグラフである。 第2実施形態の内視鏡システムのブロック図である。 第3実施形態の内視鏡システムのブロック図である。 観察距離を判定する場合の露光量制御のフローチャートである。 観察部位を判定する場合の露光量制御のフローチャートである。 カプセル内視鏡の概略図である。
 [第1実施形態]
 図1に示すように、内視鏡システム10は、観察対象を撮影する内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19と、を有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気または水等を噴射する噴射口(図示しない)が設けられている。また、操作部12bには、アングルノブ12eの他、ズーム操作部13aが設けられている。
 プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、各観察モードの観察画像と、必要に応じて観察対象に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備える。
 光源部20は、例えば、R光を発光する赤色光源と、G光を発光する緑色光源と、B光を発光する青色光源と、を有する。これら各色の光源は、例えば、LED(Light Emitting Diode)等の半導体光源であり、光量及び発光タイミング等を各々独立に制御可能である。光源部20は、赤色光源、緑色光源、及び青色光源を実質的に同時に点灯することにより、R光、G光、及びB光からなる白色光を発光することができる。実質的に同時とは、イメージセンサ48における同じ1回の撮影タイミング(以下、撮影フレームという)内に赤色光源、緑色光源、及び青色光源が点灯または発光することをいう。例えば、イメージセンサ48が観察対象を1回撮影する間に、赤色光源、緑色光源、及び青色光源を順次に点灯したとしても、これらにより順次に発光するR光、G光、及びB光は同じ1回の撮影に使用することになるので、赤色光源、緑色光源、及び青色光源の点灯タイミングは実質的に同時であり、かつ、R光、G光、及びB光の発光は実質的に同時である。
 なお、光源部20は、図示しないミラーまたはプリズム等(波長帯域の一部成分を透過または反射するダイクロイックミラーまたはダイクロイックプリズムを含む)を用いて各光源が発する光を混合する。また、本実施形態の光源部20の構成は例であり、光源部20は、波長が異なる複数種類の照明光を発光可能であれば、上記の他にも任意の構成を取り得る。例えば、光源部20には、キセノンランプ等のランプ、LD(Laser Diode)、蛍光体、または波長帯域を制限する光学フィルタ等を、必要に応じて任意に組み合わせて使用することができる。また、上記青色光源、緑色光源、及び赤色光源に限らず、白色LED等の白色光を発光する白色光源、青色光源と緑色光源の中間の色の光を発光する光源、または、緑色光源と赤色光源の中間の色を発光する光源等を用いて光源部20を構成することができる。
 光源制御部22は、例えば、光源部20を構成する各光源の発光タイミング及び発光量、波長帯域、分光スペクトル等をイメージセンサ48の撮影フレームに合わせてそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は照明光を発光する。本実施形態においては、光源部20は、赤色光源が発光するR光と、緑色光源が発光するG光と、青色光源が発光するB光とからなる白色光を発光する。
 光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
 内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13aの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小して観察する。
 イメージセンサ48は、いわゆる原色系のカラーセンサである。このため、イメージセンサ48の各画素は、例えば図3に示すRカラーフィルタ(赤色カラーフィルタ)、Gカラーフィルタ(緑色カラーフィルタ)、及びBカラーフィルタ(青色カラーフィルタ)のうちのいずれかを有する。Rカラーフィルタを有する画素がR画素であり、Gカラーフィルタを有する画素がG画素であり、かつ、Bカラーフィルタを有する画素がB画素である。このように、イメージセンサ48は、R画素、G画素、及びB画素の3色の画素を有するので、照明光に白色光を使用して観察対象を撮影すると、R画素で観察対象を撮影して得るR画像91(図5参照)、G画素で観察対象を撮影して得るG画像、及び、B画素で観察対象を撮影して得るB画像93(図4参照)が同時に得られる。
 上記のようにイメージセンサ48等によって撮影して得る画像の色とは、撮影に利用した光の色である。例えば、R画像91の撮影に利用した光はR光なので、R画像91は赤色の画像である。同様に、G画像は緑色の画像であり、B画像93は青色の画像である。本実施形態においては、R画像91、G画像、及びB画像93という複数色の画像を得が得られる。また、撮影して得る画像の色は、赤色、緑色、または青色等の色の名称で表す他、撮影に利用した光の波長帯域を用いて表す場合がある。
 カラーフィルタにいわゆる副感度があって、画素が複数色の光に感度を有する場合、1個の画素で複数色の画像を取得できる。例えば、RカラーフィルタがR光だけでなく、G光またはB光にも感度を有する場合、このRカラーフィルタを設けたR画素を用いて、緑色の画像または青色の画像を得ることができる。GカラーフィルタがG光だけでなく、R光またはB光にも感度を有する場合には、このGカラーフィルタを設けたG画素を用いて、赤色の画像または青色の画像を取得することができる。BカラーフィルタがB光だけでなく、G光またはR光にも感度を有する場合には、このBカラーフィルタを設けたB画素を用いて、緑色の画像または赤色の画像を取得することができる。したがって、撮影した画像の色は、前述のとおり、撮影に利用した光の色を表すのであって、撮影に使用した画素またはカラーフィルタの分光透過特性には依らない。撮影して得る画像の色を、撮影に利用した光の波長帯域を用いて表す場合も同様である。
 なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像93、G画像、及びR画像91に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
 プロセッサ装置16は、画像取得部54と、画像処理部61と、表示制御部66と、統括制御部72と、を有する。
 画像取得部54は、イメージセンサ48を用いて観察対象を撮影して得る複数色の撮影画像を取得する。具体的には、画像取得部54は、撮影フレーム毎に、B画像93、G画像、及びR画像91の組を取得する。また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
 DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
 欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理または同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像93はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像93を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
 ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
 画像処理部61は、上記各種処理を施した1撮影フレーム分のB画像93、G画像、及びR画像91に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、観察画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。
 表示制御部66は、画像処理部61から観察画像を順次取得し、取得した観察画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、医師等は、自然な色合いの観察画像の動画を用いて観察対象を観察できる。
 統括制御部72は、例えば、CPU(Central Processing Unit)であり、照明光の発光タイミングと撮影フレームの同期制御等の内視鏡システム10の統括的制御を行う。また、統括制御部72は、露光量制御部73を備える。すなわち、統括制御部72は、露光量制御部73の機能を有する。
 露光量制御部73は、画像取得部54から各種処理済みの複数色の撮影画像を取得し、これら複数色の撮影画像のうち、一部の色の画像を用いて、その後に複数色の画像を得る際の露光量を制御する。具体的には、露光量制御部73は、画像取得部54から例えば直近の撮影フレーム分のR画像91、G画像、及びB画像93を取得する。そして、取得したR画像91、G画像、及びB画像93を全て使用するのではなく、これら各色の撮影画像のうちから特定の色の画像を選択して使用して、例えば次の撮影フレームにおいて新たな観察対象を撮影して再びR画像91、G画像、及びB画像93を得る際の適切な露光量を算出する。
 そして、露光量制御部73は、算出した露光量を光源制御部22に入力する。光源制御部22は、露光量制御部73が入力した露光量を用いて、R光、G光、及びB光の光量を制御する。本実施形態においては、イメージセンサ48の露光時間は一定であるため、露光量制御部73は、上記のように光源制御部22を介してR光、G光、及びB光の光量を制御することにより、R画像91、G画像、及びB画像93を得る際の露光量を制御する。
 本実施形態においては、露光量制御部73は、画像取得部54から取得する複数色の撮影画像のうち、画角が変化した場合に画素値の変化が最も小さい色の撮影画像を用いて上記のように露光量を制御する。画角が変化した場合とは、ズーム操作部13aを操作して、観察対象を拡大または縮小した場合である。また、画角が変化した場合に画素値の変化が最も小さいとは、画角に対して、注目する画素の画素値の変化率が最小であること、または、注目する領域(全領域の場合を含む)の画素値の平均値または中央値等の統計量の変化率が最小であることをいう。
 例えば、図4に示すように、B画像93は、R画像91、G画像、及びB画像93の中で観察対象を拡大した場合(以下、拡大時という)に最も血管95(いわゆる表層血管)がよく写る色の撮影画像である。また、B画像93によく写る血管95は、比較的細かく細い血管であるから、観察対象を拡大して観察しない場合(以下、非拡大時という)にはあまり写らない。すなわち、B画像93は、拡大時には暗く写る血管95が多いので平均画素値は小さいが、非拡大時には血管95があまり写らないので平均画素値は大きくなる。したがって、B画像93は、R画像91、G画像、及びB画像93の中で、画角に対して画素値の変化が最も大きい撮影画像である。
 一方、図5に示すように、R画像91は画角に依らず最も血管(血管95を含む)が写りにくい色の撮影画像である。すなわち、R画像91は、B画像93及びG画像と比較すれば、拡大時及び非拡大時に平均画素値が大きく、かつ、拡大時と非拡大時とで平均画素値に大きな違いが生じない。したがって、R画像91は、R画像91、G画像、及びB画像93の中で画角に対して画素値の変化が最も小さい撮影画像である。
 したがって、本実施形態においては、露光量制御部73は、R画像91、G画像、及びB画像93という複数色の撮影画像のうち、画角が変化した場合に画素値の変化が最も小さいR画像91を用いて露光量を制御する。なお、G画像に特別に写りやすい組織または構造等を観察する特別なケースでなければ、G画像の平均画素値は、画角の変化に対してB画像93の平均画素値とR画像91の平均画素値の中間的な変化を示す。
 次に、内視鏡システム10の露光量の調節に関する一連の流れを図6に示すフローチャートに沿って説明する。まず、白色光を照明光に用いて観察対象を撮影し(S10)、その結果、画像取得部54は、複数色の画像すなわちR画像91、G画像、及びB画像93を取得する(S11)。
 画像取得部54が、少なくとも1撮影フレーム分のR画像91、G画像、及びB画像93を取得すると、露光量制御部73は、これら複数色の撮影画像のうち一部の画像を用いて、次の撮影フレームにおいてR画像91、G画像、及びB画像93を得る際の露光量を算出する(S12)。具体的には、画角の変化した場合に画素値の変化が最も小さい色の撮影画像はR画像91なので、露光量制御部73はR画像91を用いて露光量を算出する。
 露光量を算出すると、算出した露光量を用いて露光量制御部73は次の撮影フレームにおける露光量を制御する(S13)。具体的には、露光量制御部73は算出した露光量を光源制御部22に入力する。これにより、光源制御部22が、露光量制御部73が算出した露光量を用いて照明光である白色光の光量を調節する。内視鏡システム10は、観察終了まで上記動作(S10~S13)を繰り返し行うことにより、ほぼ常に適切な明るさで観察対象を撮影できるようにする。
 上記のように、内視鏡システム10は、R画像91、G画像、及びB画像93を取得し、かつ、取得したR画像91、G画像、及びB画像を用いて観察画像を生成及び表示する。しかし、従来の内視鏡システムにおいては観察画像を用いて露光量の制御をしていたところ、内視鏡システム10においては、これら複数色の撮影画像のうちの一部の色の撮影画像を用いて露光量の制御をする。
 従来の内視鏡システムのように観察画像を用いて露光量の制御をすると、例えば粘膜に対して暗く写る血管の写り具合によって設定すべき露光量にばらつきが生じ、概ね一定の明るさで観察対象を撮影できるといっても、血管の写り具合等の状況によってはモニタ18に表示する観察画像の明るさにチラつきが生じる場合がある。これに対し、内視鏡システム10は、露光量の制御に観察画像を使用する代わりに、R画像91、G画像、及びB画像93という複数色の撮影画像のうち、血管の写り具合等の状況に依存しない撮影画像だけを使用して露光量の制御をするので、血管の写り具合等の状況に依存せず、従来よりも精度良く一定の明るさで観察対象を撮影し続けることができる。このため、観察画像のチラつきも低減できる。
 上記第1実施形態においては、露光量制御部73は、画像取得部54から得る複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を用いて、露光量を算出して、次の撮影フレームの露光量を制御しているが、これは、複数色の撮影画像がR画像91、G画像、及びB画像93以外の場合も同様である。すなわち、補色系のイメージセンサを使用する場合、他の色のカラーフィルタを有するイメージセンサを使用する場合も同様の基準に基いて、露光量の制御に用いる撮影画像の色を選ぶことができる。
 また、上記第1実施形態においては、白色光を照明光として使用しているので、R画像91、G画像、及びB画像93という3色の撮影画像を取得して、これら3色の撮影画像のなかから露光量の制御に使用する撮影画像を選ぶことができるが、白色光以外の他の照明光を使用して、2色分の撮影画像しか得られない場合、または、4色以上の撮影画像が得られる場合も上記第1実施形態と同様に露光量を自動的に調節することができる。
 上記第1実施形態においては、複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を露光量の制御に用いているが、この代わりに、複数色の撮影画像のうち、血液(主にヘモグロビン)による吸収が最も小さい色の撮影画像を露光量の制御に用いても良い。第1実施形態の通り、血管等の血液を多く含む組織または構造等の像が、露光量の制御に誤差を生じさせる場合があるからである。
 図7に示すように、酸化ヘモグロビン96及び還元ヘモグロビン97のいずれも約460nm未満の波長帯域においては吸光係数が大きいので、血液による吸収が大きい。一方、約460nm以上約700nm以下においては約460nm未満の波長帯域に比べると酸化ヘモグロビン96及び還元ヘモグロビン97の吸光係数は小さいので、血液による吸収も小さい。したがって、波長帯域が約460nm以上約700nm以下程度の色の光を用いて観察対象を撮影した撮影画像(すなわち波長帯域が約460nm以上約700nm以下程度の色の撮影画像)を、露光量の制御に使用することができる。約460nm以上約700nm以下程度の波長帯域の光を用いて観察対象を撮影した撮影画像が複数ある場合には、これらの中でより長波長の波長帯域の光を用いて観察対象を撮影した撮影画像を露光量の制御に使用することが好ましい。図7から分かる通り、長波長になるほど、酸化ヘモグロビン96及び還元ヘモグロビン97の吸光係数は小さく、かつ、酸化ヘモグロビン96及び還元ヘモグロビン97の吸光係数の差が小さいので、結果的に、血液による吸収が小さく、かつ、酸化ヘモグロビン96と還元ヘモグロビン97の混合割合にも依存し難くなるからである。
 上記のように、複数色の撮影画像のうち、血液による吸収が小さい色の撮影画像を露光量の制御に使用する場合においても、第1実施形態のようにR画像91、G画像、及びB画像93の3色の撮影画像を取得する場合には、露光量の制御に使用する撮影画像は第1実施形態と同様にR画像91である。しかし、補色系のイメージセンサを使用する場合等においては、複数色の撮影画像のうち、血液による吸収が小さい色の撮影画像を露光量の制御に使用するとより精度良く露光量を制御できる場合がある。
 上記第1実施形態においては、複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を露光量の制御に用いているが、この代わりに、複数色の撮影画像のうち、黄色色素による吸収が最も小さい色の画像を、露光量の制御に用いても良い。黄色色素とは、例えばビリルビンまたはステルコビリン等である。例えば、大腸等の下部消化管の観察においては、特に黄色色素を含む粘液等の付着具合が露光量の制御に誤差が生じる場合があるからである。
 図8に示すように、黄色色素の吸光係数は、約525nm未満の波長帯域において大きく、約525nm以上約700nm以下の波長帯域では約525nm未満の波長帯域に比べて小さい。したがって、複数色の撮影画像のうち、波長帯域が約525nm以上約700nm以下程度の光を用いて観察対象を撮影して得た撮影画像(すなわち波長帯域が約525nm以上約700nm以下程度の色の撮影画像)を、露光量の制御に使用することができる。このように、波長帯域が約525nm以上約700nm以下程度の色の撮影画像を用いて露光量の制御をすれば、大腸等の下部消化管の観察においても、黄色色素を含む粘液等の付着具合に依存せずに精度良く露光量を制御することができる。
 なお、複数色の撮影画像のうち、血液(主にヘモグロビン)または黄色色素による吸収が最も小さい色の撮影画像に限らず、内視鏡観察に使用する任意の色素(例えば、青色色素)による吸収が最も小さい色の撮影画像を露光量の制御に用いても良い。
 上記第1実施形態においては、露光量制御部73は、照明光の光量を制御しているが、露光量制御部73は、照明光の光量(照明光全体の光量または照明光に含む一部の光の光量)の他に、照明光の波長帯域または照明光の分光スペクトルを制御することができる。すなわち、露光量制御部73は、照明光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御することができる。例えば、光源部20が赤色光源、緑色光源、及び赤色光源の他に、他の色の光を発光する光源を有している場合には、点灯する光源の組み合わせや光量比等を調節することで、撮影に使用する照明光としての波長帯域や分光スペクトルを制御することができる。光学フィルタ等を使用する場合も同様である。なお、当然ながら、露光量制御部73は、照明光の光量、波長帯域、または分光スペクトルのうち任意の1以上の組み合わせを同時に調節して露光量を制御することができる。
 上記第1実施形態においては、イメージセンサ48の露光時間は一定であり、露光量制御部73は照明光の光量を調節して露光量を制御しているが、露光量制御部73は、イメージセンサ48の露光時間を設定して露光量を制御することができる。例えば、照明光の光量を大きくする代わりに、イメージセンサ48の露光時間を長く設定することができる。また、露光量制御部73は、照明光の光量、波長帯域、または分光スペクトルと、イメージセンサ48の露光時間の両方を設定して露光量を制御することができる。
 上記第1実施形態においては、R画像91、G画像、及びB画像93の3色の撮影画像からR画像91を選択的に使用し、かつ、G画像及びB画像93を全く使用せずに露光量を制御しているが、R画像91に加えてG画像及びB画像93を使用することができる。例えば、露光量制御部73は、複数色の撮影画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御することができる。
 より具体的には、露光量制御部73は、R画像91の重み係数をAr、G画像の重み係数をAg、及びB画像93の重み係数をAbとし、かつ、重み係数Ar、Ag、及びAbのうちR画像91の重み係数Arを最大にして合成画像を生成する。そして、生成した合成画像の平均画素値等を使用して、次の撮影フレームの露光量を算出することができる。このようにR画像91、G画像、及びB画像93に重み付けをした結果を露光量の制御に使用すれば、ほぼ第1実施形態と同様にして、従来の内視鏡システムよりも精度良く露光量を制御することができる。R画像91を使用して露光量を制御するのと概ね同じだからである。なお、少なくともAr>AgかつAr>Abである。Ar>Ag>Abであることが好ましい。
 上記変形例では、R画像91、G画像、及びB画像93に重み付けをして合成した合成画像を露光量の制御に使用しているが、これら複数色の撮影画像を合成する代わりに、各色の撮影画像を用いてそれぞれ算出する露光量に重み付けをした結果を、次の撮影フレームの露光量として使用することもできる。例えば、R画像91を用いて算出する次の撮影フレームの露光量Erと、G画像を用いて算出する次の撮影フレームの露光量Egと、B画像93を用いて算出する次の撮影フレームの露光量Ebとに、上記重み係数Ar、Ag及びAbをそれぞれかけた重み付け平均値を算出する。そして、この重み付け平均値を、次の撮影フレームの露光量として使用して露光量を制御する。この場合も、ほぼ第1実施形態と同様に、従来の内視鏡システムよりも精度良く露光量を制御することができる。R画像91を使用して露光量を制御するのと概ね同じだからである。
 [第2実施形態]
 第1実施形態においては、複数色の撮影画像のうち、一部の色の撮影画像を使用して露光量の制御精度を向上しているが、例えば、図9に示す内視鏡システム201のように、プロセッサ装置16に領域検出部202を設けることで、さらに精度良く露光量を制御することができる。
 領域検出部202は、露光量制御部73が画像取得部54から取得する複数色の撮影画像のうち、少なくとも露光量制御部73が露光量の制御に使用する色の撮影画像から、露光量の制御に使用する領域を検出する。露光量の制御に使用する領域(以下、使用領域という)とは、例えば、血管がある領域(以下、血管領域という)等の露光量制御の精度を低下原因になる部分を除く領域である。より具体的には、露光量の制御に使用する部分とは観察対象の粘膜だけからなる領域、粘膜だけからなる領域の集合体である。例えば、露光量制御部73がR画像91を露光量の制御に使用する場合、領域検出部202は少なくともR画像91から血管領域を検出し、検出した血管領域を除く領域のうちの少なくとも1つを使用領域に指定する。
 そして、露光量制御部73は、領域検出部202が検出した使用領域の画素値だけを使用して露光量を制御する。こうすれば、例えばR画像91という露光量の制御に適した色の撮影画像を使用した上で、誤差要因となる血管領域を除いて露光量の制御をすることができるので、第1実施形態よりもさらに精度良く露光量を制御することができる。
 [第3実施形態]
 第1実施形態においては、複数色の撮影画像のなかから、画角が変化した場合に最も画素値の変化が小さいという基準でR画像91を選択的に使用して露光量を制御している。このため、第1実施形態では、内視鏡システム10がR画像91、G画像、及びB画像93という3色の撮影画像を得ることから、自動的にR画像91を使用することが予め定まる。しかし、第1実施形態のように予め露光量の制御に使用する色の撮影画像を決める代わりに、観察の状況や観察部位等に応じてより柔軟に、露光量の制御に使用する撮影画像を選択することができる。
 この場合、例えば、図10に示す内視鏡システム301のように、プロセッサ装置16に観察条件判定部302を設ける。観察条件判定部302は、露光量制御部73が画像取得部54から取得する複数色の画像のうち1以上を用いて観察条件を判定する。そして、露光量制御部373は、観察条件判定部302が判定した観察条件を用いて、複数色の撮影画像のなかから露光量の制御に使用する撮影画像を選択する。
 観察条件とは、例えば観察距離または観察部位である。観察距離は、例えば、撮影画像における粘膜等の明るさ、または、ズーム操作部13aの操作状態(どの程度ズームしているか)等に基いて判定することができる。
 観察部位は、撮影画像における粘膜等の明るさ、血管の太さ、血管の密度、粘膜の色、または血管等の粘膜に対するコントラスト等に基いて判定することができる。例えば、観察部位が食道の場合、概ね粘膜表面付近に局在するいわゆる表層血管が多く、観察部位が胃の場合、例えばG画像において表層血管よりも粘膜下の深い位置にある比較的太い中深層血管を多く観察することができる。このため、撮影画像にどのような血管が写っているかによって観察部位を判定することができる。血管の有無及び血管の太さ等は、例えば周波数解析によって判定する。
 図11に示すように、観察条件判定部302が観察条件として観察距離を判定する場合、観察対象を撮影して(S310)、画像取得部54が複数色の撮影画像を取得すると(S311)、観察条件判定部302は、画像取得部54が取得した複数色の撮影画像のうち1以上を用いて観察距離を判定する(S312)。そして、露光量制御部373は、観察条件判定部302が判定した観察距離を用いて、露光量の制御に使用する撮影画像を選択する(S313)。具体的には、露光量制御部373は、観察距離が長く、遠くから観察対象を撮影している場合ほど、長波長の色の撮影画像を選択する。例えば、観察距離が短く、B画像93に血管95が多く写り込んでいる場合には、露光量制御部373は、血管95の写り込みが少ないR画像91またはG画像を露光量の制御に使用する撮影画像として選択する。また、G画像にも血管が写り込んでいる場合には、露光量制御部373は、R画像91を露光量の制御に使用する撮影画像として選択する。B画像93においても血管95の写り込みがほとんどない場合には、R画像91、G画像、及びB画像93のいずれかを、露光量の制御に使用する撮影画像として選択する。
 こうして複数色の画像のなかから露光量の制御に使用する色の撮影画像を選択すると、露光量制御部373は、選択した色の撮影画像を用いて露光量を制御する(S314)。露光量の制御の仕方及び観察終了(S315)まで上記動作を繰り返すことは、第1実施形態と同様である。
 また、図12に示すように、観察条件判定部302が観察条件として観察部位を判定する場合、観察対象を撮影して(S320)、画像取得部54が複数色の撮影画像を取得すると(S321)、観察条件判定部302は、画像取得部54が取得した複数色の撮影画像のうち1以上を用いて観察部位を判定する(S322)。そして、露光量制御部373は、観察条件判定部302が判定した観察部位を用いて、露光量の制御に使用する撮影画像を選択する(S323)。例えば、観察条件判定部302が観察部位を「食道」と判定した場合、B画像93には血管95が多く写し出されているので、露光量制御部373はB画像93を除き、G画像またはR画像91を露光量の制御に使用する撮影画像に選択する。また、観察条件判定部302が観察部位を「胃」と判定した場合、G画像に血管が写り込んでいるので、B画像93またはR画像91を露光量の制御に使用する撮影画像として選択する。
 こうして複数色の画像のなかから露光量の制御に使用する色の撮影画像を選択すると、露光量制御部373は、選択した色の撮影画像を用いて露光量を制御すること(S324)、露光量の制御の仕方及び観察終了(S315)まで上記動作を繰り返すことは、観察条件判定部302が観察距離を判定する場合と同様である。
 上記第1~第3実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図13に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡400と、プロセッサ装置(図示しない)とを少なくとも有する。
 カプセル内視鏡400は、光源部402と制御部403と、イメージセンサ404と、画像処理部406と、送受信アンテナ408と、を備えている。光源部402は、光源部20に対応する。制御部403は、光源制御部22、統括制御部72、及び露光量制御部73と同様に機能する。また、制御部403は、送受信アンテナ408を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1~第3実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部406はカプセル内視鏡400に設けられ、生成した観察画像は、送受信アンテナ408を介してプロセッサ装置に送信される。イメージセンサ404はイメージセンサ48と同様に構成される。
 10,201,301 内視鏡システム
 12 内視鏡
 12a 挿入部
 12b 操作部
 12c 湾曲部
 12d 先端部
 12e アングルノブ
 13a ズーム操作部
 14 光源装置
 16 プロセッサ装置
 18 モニタ
 19 コンソール
 20,402 光源部
 22 光源制御部
 30a 照明光学系
 30b 撮影光学系
 41 ライトガイド
 45 照明レンズ
 46 対物レンズ
 47 ズームレンズ
 48,404 イメージセンサ
 54 画像取得部
 56 DSP
 58 ノイズ低減部
 59 変換部
 61,406 画像処理部
 66 表示制御部
 72 統括制御部
 73,373 露光量制御部
 91 R画像
 93 B画像
 95 血管
 96 酸化ヘモグロビン
 97 還元ヘモグロビン
 202 領域検出部
 302 観察条件判定部
 400 カプセル内視鏡
 403 制御部
 408 送受信アンテナ

Claims (17)

  1.  照明光を発光する光源部と、
     前記照明光を用いて観察対象を撮影するイメージセンサと、
     前記イメージセンサを用いて前記観察対象を撮影して得る複数色の画像を取得する画像取得部と、
     前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、
     を備える内視鏡システム。
  2.  前記光源部から発光される前記照明光の光量、波長帯域、または、分光スペクトルを制御する光源制御部を備え、
     前記露光量制御部は、前記複数色の画像のうち一部の色の画像を用いて前記画像取得部が画像を得る際の露光量を算出し前記光源制御部に出力して露光量を制御する請求項1に記載の内視鏡システム。
  3.  前記露光量制御部は、前記複数色の画像のうち、画角が変化した場合に画素値の変化が最も小さい色の画像を用いて露光量を制御する請求項1または2に記載の内視鏡システム。
  4.  前記露光量制御部は、前記複数色の画像のうち、血液による吸収が最も小さい色の画像を用いて露光量を制御する請求項1または2に記載の内視鏡システム。
  5.  前記露光量制御部は、前記複数色の画像のうち、波長帯域が460nm以上700nm以下の色の画像を用いて露光量を制御する請求項1、2または4に記載の内視鏡システム。
  6.  前記露光量制御部は、前記複数色の画像のうち、黄色色素による吸収が最も小さい色の画像を用いて露光量を制御する請求項1または2に記載の内視鏡システム。
  7.  前記露光量制御部は、前記複数色の画像のうち、波長帯域が525nm以上700nm以下の色の画像を用いて露光量を制御する請求項1、2または6に記載の内視鏡システム。
  8.  前記露光量制御部は、前記複数色の画像のうち、内視鏡観察に使用する色素による吸収が最も小さい色の画像を用いて露光量を制御する請求項1または2に記載の内視鏡システム。
  9.  前記露光量制御部は、前記照明光に含む光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御する請求項1~8のいずれか1項に記載の内視鏡システム。
  10.  前記露光量制御部は、前記イメージセンサの露光時間を設定して露光量を制御する請求項1~8のいずれか1項に記載の内視鏡システム。
  11.  前記露光量制御部は、前記複数色の画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、前記複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御する請求項1または2に記載の内視鏡システム。
  12.  前記複数色の画像から露光量の制御に使用する領域を検出する領域検出部を備え、
     前記露光量制御部は、前記領域検出部が検出した前記領域を使用して露光量を制御する請求項1または2に記載の内視鏡システム。
  13.  前記複数色の画像のうち1以上を用いて観察条件を判定する観察条件判定部を備え、
     前記露光量制御部は、前記観察条件を用いて、前記複数色の画像のなかから露光量の制御に使用する画像を選択する請求項1または2に記載の内視鏡システム。
  14.  前記観察条件判定部は、前記観察条件として観察距離を判定する請求項13に記載の内視鏡システム。
  15.  前記観察条件判定部は、前記観察条件として観察部位を判定する請求項13に記載の内視鏡システム。
  16.  照明光を用いて観察対象を撮影するイメージセンサから複数色の画像を取得する画像取得部と、
     前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、
     を備えるプロセッサ装置。
  17.  光源部が、照明光を発光するステップと、
     イメージセンサが、前記照明光を用いて観察対象を撮影するステップと、
     画像取得部が、前記イメージセンサを用いて前記観察対象を撮影して得る複数色の画像を取得するステップと、
     露光量制御部が、前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が画像を得る際の露光量を制御するステップと、
     を備える内視鏡システムの作動方法。
PCT/JP2017/008862 2016-04-21 2017-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 WO2017183339A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018513054A JP6840737B2 (ja) 2016-04-21 2017-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP17785682.0A EP3446619B1 (en) 2016-04-21 2017-03-07 Endoscope system and processor device
US16/161,064 US11044416B2 (en) 2016-04-21 2018-10-16 Endoscope system, processor device, and endoscope system operation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016085335 2016-04-21
JP2016-085335 2016-04-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/161,064 Continuation-In-Part US11044416B2 (en) 2016-04-21 2018-10-16 Endoscope system, processor device, and endoscope system operation method

Publications (1)

Publication Number Publication Date
WO2017183339A1 true WO2017183339A1 (ja) 2017-10-26

Family

ID=60116753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008862 WO2017183339A1 (ja) 2016-04-21 2017-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US11044416B2 (ja)
EP (1) EP3446619B1 (ja)
JP (1) JP6840737B2 (ja)
WO (1) WO2017183339A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JPWO2019069414A1 (ja) * 2017-10-04 2020-11-05 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
US11375141B1 (en) 2021-02-09 2022-06-28 Arthrex, Inc. Endoscopic camera region of interest autoexposure
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
CN114666511B (zh) * 2022-03-18 2023-11-14 优尼科(青岛)微电子有限公司 一种可调谐光谱相机上自动获取最优曝光值的方法及装置
CN117061841B (zh) * 2023-06-12 2024-06-25 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006768A (ja) * 2003-06-17 2005-01-13 Olympus Corp 電子内視鏡装置及び信号処理装置
JP2011183055A (ja) * 2010-03-10 2011-09-22 Hoya Corp 内視鏡プロセッサおよび内視鏡ユニット
JP2014033777A (ja) * 2012-08-08 2014-02-24 Fujifilm Corp 電子内視鏡装置及び照明装置
WO2014045647A1 (ja) * 2012-09-18 2014-03-27 オリンパスメディカルシステムズ株式会社 光源装置及び光源装置の調光方法
JP2015036066A (ja) * 2013-08-13 2015-02-23 オリンパス株式会社 観察装置及びそれに用いる照明装置の故障検出方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6932762B2 (en) * 2001-09-21 2005-08-23 Fujinon Corporation Endoscope having red component cut filter
EP1713540A2 (en) * 2003-09-26 2006-10-25 Tidal Photonics, Inc. Apparatus and methods for performing phototherapy, photodynamic therapy and diagnosis
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Hoya株式会社 電子内視鏡システム
JP5371921B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5814698B2 (ja) * 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP5654511B2 (ja) 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5997643B2 (ja) * 2013-03-26 2016-09-28 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
DE112015000283T5 (de) * 2014-01-31 2016-10-06 Olympus Corporation Fluoreszenzbeobachtungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006768A (ja) * 2003-06-17 2005-01-13 Olympus Corp 電子内視鏡装置及び信号処理装置
JP2011183055A (ja) * 2010-03-10 2011-09-22 Hoya Corp 内視鏡プロセッサおよび内視鏡ユニット
JP2014033777A (ja) * 2012-08-08 2014-02-24 Fujifilm Corp 電子内視鏡装置及び照明装置
WO2014045647A1 (ja) * 2012-09-18 2014-03-27 オリンパスメディカルシステムズ株式会社 光源装置及び光源装置の調光方法
JP2015036066A (ja) * 2013-08-13 2015-02-23 オリンパス株式会社 観察装置及びそれに用いる照明装置の故障検出方法

Also Published As

Publication number Publication date
JP6840737B2 (ja) 2021-03-10
US20190082094A1 (en) 2019-03-14
EP3446619A4 (en) 2019-05-29
US11044416B2 (en) 2021-06-22
EP3446619B1 (en) 2023-09-20
EP3446619A1 (en) 2019-02-27
JPWO2017183339A1 (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5271062B2 (ja) 内視鏡装置およびその作動方法
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11179024B2 (en) Endoscope system capable of correcting image, processor device, and method for operating endoscope system
EP3278710B1 (en) Processor device and endoscopic system
CN107518867B (zh) 光源装置及内窥镜系统
US9962070B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP2019041947A (ja) 内視鏡システム
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11185214B2 (en) Endoscope system with image data correction, processor device, and method for operating endoscope system
WO2017110469A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
WO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2019030406A (ja) 内視鏡システム
JP6254502B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2020116147A (ja) 内視鏡システム
JP6905038B2 (ja) 光源装置及び内視鏡システム
JP6425995B2 (ja) 内視鏡システム及びその作動方法
JP7159261B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018513054

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017785682

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017785682

Country of ref document: EP

Effective date: 20181121

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785682

Country of ref document: EP

Kind code of ref document: A1