WO2021075235A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2021075235A1
WO2021075235A1 PCT/JP2020/036430 JP2020036430W WO2021075235A1 WO 2021075235 A1 WO2021075235 A1 WO 2021075235A1 JP 2020036430 W JP2020036430 W JP 2020036430W WO 2021075235 A1 WO2021075235 A1 WO 2021075235A1
Authority
WO
WIPO (PCT)
Prior art keywords
adjustment
value
level
image
amount
Prior art date
Application number
PCT/JP2020/036430
Other languages
English (en)
French (fr)
Inventor
佳宏 林
貴雄 牧野
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to EP20876652.7A priority Critical patent/EP4046564A4/en
Priority to US17/768,742 priority patent/US20230301491A1/en
Priority to CN202080070685.0A priority patent/CN114554936A/zh
Publication of WO2021075235A1 publication Critical patent/WO2021075235A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00091Nozzles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Definitions

  • the present invention relates to an endoscopic system that displays an image of a living tissue in a body cavity on a screen.
  • the endoscope system is a processor having an electronic endoscope having an image pickup element for imaging a living body tissue and an image processing unit configured to process an image of the captured living body tissue to create a display image. And a monitor connected to a processor and configured to display the created display image.
  • CMOS image sensors are often used as image sensors used in electronic endoscopes.
  • a rolling shutter method is used as an exposure / output method for exposing the light receiving surface of the CMOS image sensor and outputting it as an image.
  • the rolling shutter method is a method in which the light receiving surface of the image sensor is divided into a plurality of regions for each scanning line, and exposure is performed by sequentially providing a time difference for each region. After the accumulated charges are sequentially reset for each region, the accumulated charge is sequentially reset. This is a method of starting the accumulation of electric charges by exposure and outputting (reading) the electric charges that become the accumulated image signals.
  • the endoscopy prevents the observer from seeing the edging phenomenon in which the droplet image reflected in the observation image of the endoscope has an unnatural edge.
  • Mirror devices are known (Patent Documents 1 and 2).
  • Patent Documents 1 and 2 it is determined whether or not an edging phenomenon occurs in which a horizontal edge occurs in a scattered droplet image in a frame image taken by a CMOS image sensor, and the edging phenomenon occurs. If it occurs, the edge-forming phenomenon mitigation process is performed to mitigate it.
  • the edging phenomenon reducing process the exposure time is lengthened or a blurring process is performed to reduce the edging phenomenon.
  • the edging phenomenon mitigation processing is performed, so that the edging phenomenon always occurs on the display screen of the monitor.
  • the screen display of this edging phenomenon is a noise component for the operator who operates the endoscope, and may contribute to an erroneous determination of living tissue.
  • the image becomes excessively bright and causes a problem that the operator is uncomfortable. Therefore, it is necessary to adjust the exposure time without changing the brightness of the screen, but the above-mentioned endoscope device does not deal with the above problem.
  • the present invention is a process for suppressing the occurrence of artifacts along the line corresponding to the scanning line of the image sensor in the frame image when the living tissue is imaged as a moving image by the rolling shutter method. It is an object of the present invention to provide an endoscopic system capable of performing an adjustment process having a level without significantly changing the brightness level of an image.
  • the endoscope system is A light source device configured to generate illumination light that illuminates living tissue, An electronic endoscope equipped with an image sensor configured to image a living tissue as a moving image by a rolling shutter method, and an electronic endoscope.
  • An image processing unit configured to perform image processing on a frame image obtained by imaging the image sensor, adjustment of the exposure time of the image sensor, adjustment of the light intensity of the illumination light, and acquisition from the image sensor.
  • An adjustment unit configured to perform the adjustment process by making an adjustment determination including the adjustment determination and adjusting the adjustment level indicating the degree of strength of the adjustment process by the magnitude of the value according to the determination result of the adjustment determination.
  • a monitor configured to display the image-processed frame image on the screen, and To be equipped.
  • the first information regarding the movement amount is the movement amount of the subject image in the current frame image and the movement amount of the subject image in the current frame image, and the movement amount of the subject image in the immediately preceding frame image. It is preferable to include at least one of the amount of change with respect to the amount of movement.
  • the second information regarding the amount of blur is a change in the amount of blur of the subject image in the current frame image or the amount of blur of the subject image in the current frame image with respect to the amount of blur of the subject image in the immediately preceding frame image. It preferably comprises at least one of the amounts.
  • the adjusting unit is a parameter for adjusting the brightness level of the current frame image acquired by the imaging of the imaging element so as to be the target brightness level, and the brightness level of the current frame image is the target brightness level. If it is larger, the value is set to be smaller than the currently set value, and if the brightness level of the current frame image is smaller than the target brightness level, the value is set to be larger than the currently set value. It is preferable to adjust the brightness level of the image obtained by the image pickup element by using the dimming amount.
  • the adjusting unit further determines whether or not the third information regarding the dimming amount satisfies the adjustment condition, and the determination result of the adjustment determination is the determination result of the third information. It is preferable to include.
  • the third information regarding the dimming amount is at least one of the amount of change of the current dimming amount with respect to the immediately preceding dimming amount and the maintenance time for maintaining the dimming amount lower than a predetermined value. Is preferably included.
  • the frame image has a display area in which an image of the subject is displayed and a display area in which the image of the subject is not displayed because the brightness is lower than that in the display area due to the imaging optical system of the electronic endoscope.
  • the adjusting unit further determines whether or not the fourth information regarding the pixel value in the eclipse region satisfies the adjustment condition. It is preferable that the adjusting unit is configured to adjust the adjustment level according to the determination result of the fourth information.
  • the fourth information regarding the pixel value in the eclipse region includes the integrated value of the pixel value in the eclipse region, the number of pixels of the pixel whose pixel value in the eclipse region exceeds a predetermined threshold, and the frame image immediately before the current frame image. It is preferable to include at least one of the amount of change in the integrated value from the above and the amount of change in the number of pixels from the frame image immediately before the current frame image.
  • the adjustment unit makes the adjustment determination each time the frame image is obtained from the image sensor, and if the adjustment determination result is affirmative, the adjustment level value is determined by the immediately preceding frame image. It is preferably greater than the level value.
  • the adjusting unit makes a plurality of determinations as the adjustment determination, and when the determination result of at least one determination or at least two determinations among the plurality of determinations is affirmative, the determination of the adjustment determination. It is preferable to affirm the result.
  • the value of the adjustment level is set to the immediately preceding frame image. It is preferable to maintain the value of the adjustment level defined in.
  • the value of the adjustment level in the current frame image is set. It is preferable that the value is smaller than the value of the adjustment level defined in the immediately preceding frame image.
  • the adjustment unit is an index calculation unit that calculates an index indicating the degree of generation of artifacts generated along a line corresponding to the scanning line of the image sensor due to the rolling shutter method in the frame image. Have, When the determination result of the adjustment determination by the adjustment unit is negative and the index is larger than a predetermined threshold value, the value of the adjustment level is maintained at the value of the adjustment level defined in the immediately preceding frame image. , Is preferable.
  • the value of the adjustment level in the current frame image is defined in the immediately preceding frame image. It is preferably smaller than the adjustment level value.
  • the endoscope system is A light source device configured to generate illumination light that illuminates living tissue, An electronic endoscope equipped with an image sensor configured to image a living tissue as a moving image by a rolling shutter method, and an electronic endoscope.
  • An image processing unit configured to perform image processing on a frame image obtained by imaging the image sensor, and a line corresponding to a scanning line of the image sensor in the frame image due to the rolling shutter method.
  • An index calculation unit configured to calculate an artifact generation index indicating the degree to which an artifact is generated along the line, adjustment of the exposure time of the image sensor, adjustment of the light intensity of the illumination light, and acquisition from the image sensor.
  • the adjusting unit is a parameter for adjusting the brightness level of the current frame image acquired by the imaging of the imaging element so as to be the target brightness level, and the brightness level of the current frame image is the target brightness level. If it is larger, the value is set to be smaller than the currently set value, and if the brightness level of the current frame image is smaller than the target brightness level, the value is set to be larger than the currently set value. It is preferable to adjust the brightness level of the image obtained by the image pickup element by using the dimming amount.
  • the adjusting unit includes a first reference table and a second reference table that determine the level of the light intensity, the length of the exposure time, and the gain level of the gain adjustment with respect to the dimming amount.
  • the adjusting unit includes the first set values of the light intensity level, the exposure time time length, and the gain level determined from the first reference table according to the value of the dimming amount, and the adjusting unit.
  • the first set value using each of the second set value of the light intensity level, the time length of the exposure time, and the gain level determined from the second reference table according to the value of the light intensity.
  • each value of the light intensity level at the maximum value of the dimming amount, the time length of the exposure time, and the gain level was multiplied.
  • the product is larger than the product of the level of the light intensity at the lowest value of the dimming amount, the time length of the exposure time, and the values of the gain level.
  • the time length of the exposure time of the second reference table is not shorter than the time length of the corresponding exposure time of the first reference table over the entire range of possible values of the dimming amount.
  • the product of the light intensity level value of the second reference table and the gain level value is the corresponding light intensity level of the first reference table over the entire range of possible values of the dimming amount. It is preferable that the value is not larger than the product of the value of the gain level.
  • the time length of the exposure time of the second reference table with respect to the value of the dimming amount is the exposure of the first reference table. Having a range of dimming amounts that is longer than the time length of time and the level of light intensity in the second reference table is smaller than the level of light intensity in the first reference table. Is preferable.
  • the higher the degree of the adjustment process is, the higher the value of the adjustment level is, and the higher the value of the adjustment level is, the closer the adjustment value is to the second set value.
  • the endoscope system when a living tissue is imaged as a moving image by a rolling shutter method, a process of suppressing the occurrence of an artifact along a line corresponding to a scanning line of an image sensor in a frame image. Therefore, the adjustment process including the adjustment level can be performed without significantly changing the brightness level of the image.
  • (A) and (b) are diagrams for explaining the artifacts generated in the frame image.
  • FIG. 1 is an external perspective view of the endoscope system 1 of the embodiment
  • FIG. 2 is a block diagram showing a configuration of the endoscope system of the embodiment
  • FIG. 3 is a diagram showing an example of the tip surface of the tip portion of the endoscope of one embodiment.
  • the endoscope system 1 shown in FIG. 1 is a system specialized for medical use, and mainly includes an electronic endoscope (hereinafter referred to as an electronic scope) 100, a processor 200, a light source device 300, and a monitor 400.
  • the electron scope 100, the light source device 300, and the monitor 400 are each connected to the processor 200.
  • the light source device 300 and the processor 200 are configured separately, the light source device 300 may be integrally provided in the processor 200.
  • the processor 200 includes a system controller 21.
  • the system controller 21 is a control means that executes various programs stored in a memory (not shown) and controls the entire endoscope system 1 in an integrated manner, and is composed of software or hardware. Further, the system controller 21 is connected to the operation panel 24.
  • the system controller 21 changes each operation of the endoscope system 1 and parameters for each operation in response to an instruction from the operator input to the operation panel 24.
  • the input instruction by the operator includes, for example, an instruction to switch the observation mode of the electronic endoscope system 1.
  • the observation mode includes a normal observation mode in which white light is observed as illumination light and a special observation mode in which special light is observed as illumination light.
  • the processor 200 includes an image processing unit 26 and an adjusting unit 28.
  • the image processing unit 26 is configured to perform image processing on the frame image obtained by imaging with the image pickup device of the electron scope 100.
  • the adjusting unit 28 combines the adjustment of the exposure time of the image pickup device, the adjustment of the light intensity of the illumination light, and the adjustment of at least one of the gain adjustments that determine the signal level of the image pickup signal of the frame image obtained from the image pickup device. It is configured to perform an adjustment process for adjusting the brightness of the frame image. The details will be described later.
  • the processor 200 also includes a timing controller (not shown). The timing controller outputs a clock pulse for adjusting the operation timing of each part to each circuit in the endoscope system 1.
  • the light source device 300 includes a light source unit 310, a light amount control circuit 340, and a condenser lens 350.
  • the light intensity control circuit 340 generates a drive signal for changing the level of the light intensity of the light source according to the instruction from the system controller 21, and outputs the drive signal to the light source unit 310.
  • the light source unit 310 irradiates light having a set light intensity level, which is an illumination light for illuminating a living tissue.
  • the light includes at least white light, and may also include special light in a specific wavelength band.
  • the light source unit 310 includes a xenon lamp that emits white light, an LED that emits special light, a laser diode, and the like. Further, the special light may be generated by transmitting white light through an optical filter.
  • the illumination light L emitted from the light source unit 310 is focused by the condenser lens 350 on the incident end surface of the LCB (Light Carrying Bundle) 11 described later, which is composed of a bundle of a plurality of optical fibers. Is incident in the LCB11.
  • LCB Light Carrying Bundle
  • the electronic scope 100 mainly includes a connecting portion 50, an operating portion 52, an inserting portion 54, and a cable 51 connecting the connecting portion 50 and the operating unit 52.
  • the insertion portion 54 includes a flexible tube 58 that connects the operation portion 50 and the tip portion 56 of the insertion portion 50.
  • the flexible pipe 58 is provided with an LCB 11, an air supply water pipe for sending a fluid such as water or air, a treatment tool introduction pipe, a signal line, and the like.
  • the treatment tool introduction tube is a tube through which the treatment tool for treating (for example, cutting and removing) the living tissue is projected from the tip portion 56 and the treatment tool is passed to treat the living tissue from the operation unit 52.
  • the signal line includes a transmission line for transmitting an image pickup image signal from the image pickup element 14 described later and a control line for transmitting a control signal from the processor 200 to the image pickup element 14.
  • the tip of the electron scope 100 is an insertion portion 54 that is flexible for insertion into the human body.
  • a bent portion 60 connected to the base end of the insertion portion 54 is provided near the tip of the inserting portion 54, and the bent portion 60 bends in response to a remote operation by the operating portion 52.
  • the bending mechanism of the bending portion 60 is a well-known mechanism incorporated in a general endoscope.
  • the bending structure bends the bending portion 60 by pulling the operation wire linked to the rotation operation of the bending operation knob provided on the operating portion 52.
  • a tip 56 having an image sensor 14 is provided at the tip of the bent portion 60.
  • the tip 56 of the electron scope 100 has an illumination light emitting end of the LCB 11 arranged over substantially the entire length from the connection 50 to the tip 56.
  • the tip 56 is provided with a light distribution lens in front of the illumination light emission end of the LCB 11, and the front surface of the light distribution lens on the living tissue side is an illumination window 12 that emits illumination light.
  • the tip portion 56 is provided with an objective lens for forming an image of a living tissue, and the front surface of the objective lens on the living tissue side is an observation window 13 for receiving the light of the image of the living tissue.
  • the tip portion 56 is provided with an image pickup device 14 that receives an image of an image, an amplifier (not shown) that amplifies an image signal output from the image pickup device 14, and the like.
  • the illumination light incident on the LCB11 propagates in the LCB11, is emitted from the illumination light emission end of the LCB11, and illuminates the subject of the living tissue as the illumination light L through the illumination window 12 composed of the light distribution lens.
  • the return light from the subject of the illumination light L emitted from the illumination window 12 forms an optical image on the light receiving surface of the image sensor 14 through the observation window 13 composed of the objective lens.
  • FIG. 3 shows an example of the tip surface 57 of the tip 56.
  • the tip surface 57 is provided with two illumination windows 12 composed of a light distribution lens provided in front of the tip of the LCB 11, and further, an objective lens is configured so as to be sandwiched between the illumination windows 12.
  • An observation window 13 is provided.
  • the tip surface 57 has an opening 62 for the treatment tool that projects the treatment tool from the tip surface 57, and an air supply / water supply port 64 (fluid discharge port) that discharges fluid for cleaning the illumination window 12 and the observation window 13. ) Is provided.
  • the air supply water supply port 64 is a portion that receives a fluid supply from a fluid delivery mechanism (not shown) connected to the operation unit 52 via the air supply water supply pipe in the flexible pipe 58 and discharges the fluid.
  • the air supply / water supply port 64 has three discharge nozzles, and the discharge nozzles are configured to blow water and air onto each of the two illumination windows 12 and one observation window 13 for cleaning. Has been done.
  • the air supply water supply port 64 may be provided separately with an air supply port for discharging air and a water supply port for discharging water.
  • the image sensor 14 is a color image sensor having a predetermined pixel arrangement, and is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 14 accumulates the optical image formed by each pixel on the light receiving surface as an electric charge according to the amount of light, and generates and outputs R (Red), G (Green), and B (Blue) image signals. To do.
  • a color filter that determines the sensitivity wavelength band in the image color component of the image captured by the image sensor 14 is provided in front of each light receiving position of the solid-state image sensor 14. As the color filter, for example, a red (R), green (G), and blue (B) primary color filter is used.
  • the image sensor 14 repeatedly images the living tissue at the timing according to the clock pulse transmitted from the processor 200.
  • the image sensor 14 takes an image by a rolling shutter method. Specifically, in the rolling shutter type imaging, one line or a plurality of lines of pixels extending in the lateral direction of the light receiving surface of the image sensor 14 are set as one pixel area, and exposure is performed by sequentially providing a time difference for each pixel area. This is a method in which the accumulated charges are sequentially reset for each pixel region, then the accumulation of charges by exposure is started, and the charges that become the accumulated image signals are output (read out). Therefore, in one captured frame image, the exposure timing is deviated at regular time intervals for each line or for each of a plurality of lines.
  • a driver signal processing circuit 15 and a memory are provided in the connection portion 50 of the electronic scope 100.
  • An image signal of a living tissue is input to the driver signal processing circuit 15 from the image sensor 14 at a frame cycle.
  • the frame period is, for example, 1/30 second.
  • the driver signal processing circuit 15 performs predetermined processing on the image signal sent from the image sensor 14 and outputs the image signal to the image processing unit 26 and the adjusting unit 28 of the processor 200.
  • the driver signal processing circuit 15 also accesses a memory (not shown) and reads out the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory includes, for example, the number of pixels and sensitivity of the image sensor 14, the operable frame rate, the model number, and the like.
  • the driver signal processing circuit 15 outputs the unique information read from the memory to the system controller 21.
  • the system controller 21 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • a timing controller (not shown) uses the generated control signal to control the operation and timing of each part of the endoscope system 1 so that processing suitable for the electronic scope 100 connected to the processor 200 is performed.
  • the driver signal processing circuit 15 receives a clock pulse from a timing controller (not shown) according to the timing control by the system controller 21.
  • the driver signal processing circuit 15 drives and controls the image sensor 14 according to the supplied clock pulse at a timing synchronized with the frame rate of the image processed on the processor 200 side.
  • the image sensor 14 continuously generates an image signal of the frame image of the subject by continuously photographing the subject.
  • the image processing unit 26 performs predetermined image processing such as demosaic processing, matrix calculation, and color balance processing on the image signal of the captured image input from the driver signal processing circuit 15 at a cycle of one frame, and performs a frame memory (not shown). Output to.
  • the frame memory buffers the input image signal and outputs the image signal according to a predetermined timing control.
  • the image processing unit 26 further processes the output image signal to generate screen data for monitor display, and converts the generated screen data for monitor display into a predetermined video format signal.
  • the converted video format signal is output to the monitor 400.
  • the monitor 400 is configured to display the image-processed frame image on the screen.
  • the adjusting unit 28 adjusts the exposure time of the image sensor 14, adjusts the light intensity of the illumination light, and adjusts the signal level of the image pickup signal of the frame image obtained from the image pickup element 14, while making adjustments for reducing RSA, which will be described later. This is a part that performs adjustment processing for adjusting the brightness of the frame image in combination with at least one of the gain adjustments that determine.
  • the adjusting unit 28 is at least one of information on the amount of movement of the subject image in the captured image between adjacent frame images and information on the amount of edge blurring of the subject image in the captured image.
  • the adjustment judgment including the judgment as to whether or not the information of the above satisfies the adjustment condition is performed, and the adjustment level indicating the strength of the adjustment processing by the magnitude of the value is adjusted according to the judgment result of the adjustment judgment. It is configured to perform processing. It is also preferable that the adjustment determination includes a determination regarding the amount of dimming described later.
  • FIG. 4 (a) and 4 (b) are diagrams for explaining RSA generated in the frame image.
  • the image region of one line or a plurality of lines is exposed at the timing of exposure. Since the images are sequentially exposed and imaged while shifting the image, the image of the droplet Drp may be interrupted along the line corresponding to the scanning line of the image sensor 14 in the frame image. This is RSA. Therefore, the images are discontinuous between adjacent lines in the vertical direction, forming edges extending in a streak pattern in the horizontal direction.
  • the image of the living tissue is fluctuated by the flow of the liquid, and RSA may be generated.
  • the image regions of one line or a plurality of lines do not overlap with the adjacent image regions at the timing of exposure, but between the adjacent image regions. Therefore, the exposure timings may partially overlap.
  • the observation window 13 having foreign matter adhered to the surface is treated with the liquid discharged from the air supply / water supply port 64 shown in FIG. 3 on the surface of the observation window 13.
  • the adjusting unit 28 (see FIG. 2) is an image calculated from continuously generated frame images in order to predict the case where the above-mentioned situation in which RSA is likely to occur occurs before RSA occurs.
  • a situation in which RSA is likely to occur is determined using the feature amount or the dimming amount described later, and adjustment processing for reducing the occurrence of RSA described later is performed according to the determination.
  • RSA can be reduced by lengthening the exposure time of the image sensor 14, but since the brightness of the frame image increases accordingly, the exposure time of the image sensor 14 is adjusted.
  • the adjustment of the light intensity of the illumination light and the adjustment of at least one of the gain adjustments that determine the signal level of the image pickup signal of the frame image obtained from the image pickup element 14 are performed in combination.
  • the adjustment level which indicates the degree of strength of the adjustment process by the magnitude of the value, is adjusted based on the frame image and the amount of dimming, and the adjustment process is performed.
  • FIG. 5 is a block diagram showing an example of the configuration of the adjustment unit 28 of the endoscope system 1 according to the embodiment.
  • the adjustment unit 28 includes a frame memory 29, a motion detection unit 28a, a liquid contact detection unit 28b, a blur detection unit 28c, a dimming control unit 28d, and an adjustment value setting unit 28e.
  • the motion detection unit 28a is a portion that detects information on the amount of motion between adjacent frame images of the subject image in the image to be captured.
  • the information regarding the amount of movement includes the amount of movement of the subject image in the current frame image, or the amount of change in the amount of movement of the subject image in the current frame image with respect to the amount of movement of the subject image in the immediately preceding frame image.
  • information on the amount of movement the amount of movement of the subject image in the current frame image will be described as an example. Since the amount of movement is performed by comparing with the adjacent frame image, the frame image immediately before the comparison target with respect to the current frame image is temporarily held in the frame memory 29, and when the current frame image is supplied, the frame is displayed. The immediately preceding frame image is read from the memory 29.
  • the motion detection unit 28a further detects, as information about the motion amount, the amount of change in the motion amount of the current frame image acquired by the image sensor 14 with respect to the motion amount in the immediately preceding frame image. It is also preferable to do so.
  • the blur detection unit 28c is a portion that detects information regarding the amount of blurring at the edge of the subject image.
  • the information on the amount of blur is the amount of blurring of the edge of the subject image in the current frame image, or the amount of change in the amount of blurring of the edge of the subject image in the current frame image with respect to the amount of blurring of the edge of the subject image in the immediately preceding frame image. Including at least one of. A specific description of the amount of blur to be detected will be described later.
  • the frame image generated by the image sensor 14 has a lower brightness than the display area in which the image of the subject is displayed and the display area due to the imaging optical system of the electronic scope 1, and the image of the subject is not displayed. Includes an eclipse region formed outside the region.
  • the liquid contact detection unit 28b calculates information regarding the pixel value of this eclipse region.
  • Information on the pixel value in the eclipse region includes the integrated value of the pixel value in the eclipse region, the number of pixels of the pixel whose pixel value in the eclipse region exceeds a predetermined threshold, and the change in the integrated value from the frame image immediately before the current frame image. It includes at least one of the amount and the amount of change in the number of pixels from the frame image immediately before the current frame image.
  • the viewing angle widens due to the refractive index of the liquid, and the pixel value in the eclipse region is higher than the pixel value in the eclipse region when the liquid does not come into contact (or adhere). Will grow. Therefore, it is possible to determine whether or not the liquid is attached to the observation window 13 by examining the pixel value in the eclipse region. A specific description of this kerare region will be described later.
  • the dimming control unit 28d is a parameter for adjusting the brightness level of the current frame image acquired by the imaging of the image pickup element 14 so as to be the target brightness level, and the brightness level of the current frame image is the target brightness level. If it is larger, the value is set to decrease from the currently set value, and if the brightness level of the current frame image is smaller than the target brightness level, the value is set to increase from the currently set value.
  • the brightness level of the frame image obtained by the image pickup element 14 is adjusted by using the amount of light. Therefore, when the dimming control unit 28d acquires the frame image, it converts the pixel value into a luminance value, obtains the sum of the luminance values of the effective pixels (pixels other than the eclipse region), and divides by the number of effective pixels. The obtained average brightness level is calculated as the current brightness level.
  • the dimming control unit 28d changes the currently set dimming amount based on the current brightness level and the target brightness level.
  • the currently set dimming amount value is set to log 2 (target brightness level / current brightness level) / constant (the constant is a preset value, for example, the value is set to 10.
  • the value obtained by adding) is used as the value of the dimming amount newly set this time.
  • the value of the dimming amount at the time of starting up the processor 200 is set to a predetermined value, for example, 50%.
  • a dimming amount value of 100% means that the light intensity of the light source device 200, the exposure time of the image sensor 14, and the gain level of the image sensor 14 are maximum, and the dimming amount value is 0%. Means that the light intensity of the light source device 200, the exposure time of the image sensor 14, and the gain level of the image sensor 14 are the minimum.
  • the value of the dimming amount is represented by 0 to 100%.
  • the amount of dimming decreases. In this case, the observation window 13 comes into contact with the subject, and the liquid in the subject easily comes into contact with (adheres) to the observation window 13. Therefore, the amount of change in the current dimming amount with respect to the immediately preceding dimming amount reflects that the observation window 13 approaches the subject and the liquid in the subject easily comes into contact (adhesion) with the observation window 13. ing.
  • the dimming control unit 28d changes the current dimming amount with respect to the immediately preceding dimming amount, and maintains the dimming amount lower than a predetermined value. It is preferable to calculate at least one of.
  • the above-mentioned information on the amount of movement, the amount of blurring, and the pixel value in the eclipse region are collectively referred to as the image feature amount.
  • the image feature amount, the dimming amount, and the change amount of the dimming amount are used in the dimming value setting unit 28e to set the adjustment level and further the adjustment value.
  • the adjustment value setting unit 28e uses the above-mentioned image feature amount sent from the motion detection unit 28a, the blur detection unit 28c, and the liquid contact detection unit 28b, and the change in the dimming amount and the dimming amount sent from the dimming control unit 28d. , The adjustment level in the adjustment process is adjusted according to the determination result of whether or not these satisfy the adjustment conditions, and the adjustment process is performed.
  • the adjustment level represents the degree of strength of the adjustment process by the magnitude of the value, and the larger the value, the stronger the degree of the adjustment process. A specific description of the determination of the adjustment value setting unit 28e and the adjustment of the adjustment level will be described later.
  • FIG. 6 is a diagram illustrating an example of a method of calculating the amount of movement.
  • the motion detection unit 28a converts the pixel value of the effective pixel (the pixel of the portion excluding the eclipse area) in the frame image into a luminance value, and the frame immediately before being read from the frame memory 29 from the luminance value of the current frame image.
  • the difference in brightness value is obtained by subtracting the brightness value obtained by converting the pixel value of the effective pixel in the image between the corresponding pixels.
  • Motion detecting unit 28a further in the frequency distribution of the difference, the pixel number F 1 having a threshold TH 1 or more difference predetermined by multiplying a predetermined coefficient to determine the amount of motion.
  • the number of differences exceeding the above threshold increases in the initial stage when the liquid comes into contact with (or adheres to) the observation window 13 and begins to flow, or during the flow of the liquid. Therefore, when the amount of movement exceeds a predetermined threshold value, it can be said that RSA is likely to occur.
  • the pixel number F 1 having a threshold TH 1 or more difference predetermined, the value obtained by multiplying a predetermined coefficient, but obtained as the motion amount obtain a motion amount using the difference between the luminance value
  • the method is not limited to the method described above.
  • FIG. 7 is a diagram showing an example of a time change of the amount of movement obtained by the above method.
  • the amount of movement In the state of Photo Im1, the amount of movement is small and stable, whereas in the state of Photo Im2 when water is supplied to the observation window 13 for cleaning the observation window 13, the amount of movement is large and fluctuates. ing. After that, in the state of Photo Im3 when the water supply was stopped, the amount of movement was small and stable. In this way, the amount of movement reflects the presence or absence of liquid flowing through the observation window 13.
  • FIG. 8 is a diagram illustrating an example of a method for calculating the amount of blurring.
  • the blur detection unit 28c uses a differential filter for each of the effective pixels in the frame image, for example, a differential filter of 5 pixels ⁇ 5 pixels, in the horizontal direction indicating the strength of the edge extending in the vertical direction of the frame image. Calculate the differential value. In the pixel corresponding to the edge where the pixel value changes abruptly, the value as a result of filtering becomes large. Shake detection unit 28c further in the frequency distribution in the transverse direction of the differential value of the frame image, the pixel number F 2 having a threshold TH 2 following differential value predetermined by multiplying a predetermined coefficient, the blurring amount Ask for.
  • the lateral differential value does not reflect the degree of linearly extending edges and the number of occurrences thereof, but reflects the degree of edges extending in the vertical direction and the number of occurrences thereof.
  • the amount of blur obtained based on the differential value of the direction does not reflect the occurrence of RSA extending linearly in the lateral direction.
  • the flow of the liquid causes the image of the subject to be blurred or blurred in the vertical and horizontal directions to reduce the edges in the vertical and horizontal directions. It can be said that the smaller the number of edges extending to the surface, the greater the amount of blurring of the subject image due to the flow of liquid.
  • the number of pixels F 2 having a differential value of the threshold value TH 2 or less causes the image of the subject to be blurred by the flow of the liquid adhering to the observation window 13. It can be said that it reflects the degree of blurring.
  • FIG. 9 is a diagram showing an example of a time change of the total value of each pixel of the frame image when a differential filter for calculating the lateral differential value is applied to the frame image.
  • the sum of the differential values is large and stable, whereas in the state of Photo Im2 when water is supplied to the observation window 13 for cleaning the observation window 13, the total of the differential values is small. It has become.
  • the sum of the differential values is large and stable. In this way, it can be said that the smaller the sum of the differential values in the horizontal direction (the sum of the edges in the horizontal direction), the larger the amount of blurring.
  • the blur detecting unit 28c in the frequency distribution in the transverse direction of the differential value of the frame image, the pixel number F 2 having a threshold TH 2 following differential value predetermined by multiplying a predetermined coefficient, blurring Find a value that indicates the degree of quantity.
  • the method of calculating the amount of blur is not limited to the above method, and the amount of blur can be set so that the larger the differential value, the smaller the value, based on the information of the differential value in the lateral direction.
  • the method of calculating the amount of blur is not particularly limited.
  • FIG. 10 is a diagram for explaining the kerare region.
  • the frame image Im generated by the image pickup device 14 has a round display area Im4 in which the image of the subject is displayed and a brightness higher than that of the display area due to the image pickup optical system of the electronic scope 1.
  • the kerare region Df is formed in a predetermined range.
  • the frame image Im is formed at the four corners of the rectangular region.
  • This eclipse region Df is a region obtained due to the imaging optical system (circular lens group) of the electronic scope 1.
  • the liquid comes into contact with (or adheres to) the observation window 13
  • the liquid has a higher refractive index than air, and the light reaches the kerare region Df due to this refractive index. Therefore, by obtaining the information regarding the pixel value of the eclipse region Df, it is possible to determine whether or not the liquid is attached to the observation window 13.
  • FIG. 11 is a diagram showing an example of a time change of the integrated value of the pixel values, which is an example of information on the pixel values in the kerare region Df.
  • the integrated value of the pixel values in the eclipse region Df is small and stable, whereas in the state of Photo Im2 when water is supplied to the observation window 13 for cleaning the observation window 13, eclipse occurs.
  • the integrated value of the pixel values in the region Df becomes large.
  • the integrated value of the pixel values in the kerare region Df is small and stable.
  • the integrated value reflects the presence or absence of the liquid that comes into contact with (or adheres to) the observation window 13. In the example shown in FIG.
  • the integrated value of the pixel values in the eclipse region Df suddenly increases due to the contact with the liquid, or the number of pixels suddenly increases. Therefore, in the current frame image Im. the integrated value or the pixel number F 1, the amount of change from the integrated value or the number of pixels F 1 in the frame image Im just before, may be information about the image feature amount.
  • the liquid in contact with the observation window 13 starts to flow and the flow velocity increases, so it is preferable to calculate the change in the amount of movement as the above-mentioned image feature amount.
  • the liquid in the living tissue comes into contact with (or adheres to) on the observation window 13 by bringing the tip surface 57 of the electron scope 100 close to the surface of the living tissue.
  • the tip surface 57 of the electronic scope 100 is brought close to the surface of the living tissue, the brightness of the image captured by the electronic scope 100 gradually increases. Therefore, the dimming amount is gradually reduced by adjusting the dimming amount of the dimming control unit 28d described above.
  • the dimming control unit 28d calculates the amount of change in the dimming amount set for the current frame image from the dimming amount set for the immediately preceding frame image.
  • FIG. 12 is a diagram showing an example of a flow of adjustment processing performed by the endoscope system 1 of one embodiment.
  • the adjustment unit 28 resets the adjustment level indicating the image feature amount and the degree of strength of the adjustment process to zero, and sets the dimming amount to 50% (step S10). ..
  • the image sensor 14 takes an image of the subject, so that the adjusting unit 28 acquires the image data of the frame image (step S12).
  • the adjusting unit 28 acquires the image data
  • the motion detecting unit 28a, the blur detecting unit 28c, the liquid contact detecting unit 28b, and the dimming control unit 28d of the adjusting unit 28 adjust each image feature amount and the dimming amount as described above. (Step S14).
  • the adjustment value setting unit 28e sets an adjustment level indicating the strength of the processing in the adjustment process for reducing the RSA and adjusting the brightness of the image (step S14).
  • the adjustment level is set according to the value of the image feature amount and the change of the dimming amount. The setting of the adjustment level will be described later.
  • the adjustment value setting unit 28e determines the light intensity level of the illumination light emitted by the light source unit 310, the length of the exposure time performed by the image sensor 14, and the image sensor 14 based on the set adjustment level and dimming amount.
  • An adjustment value of a gain level that determines the signal level of the generated image pickup signal is set (step S18).
  • the set light intensity level, exposure time length, and gain level value are sent to the system controller 21, and the system controller 21 creates control signals regarding the light intensity level, exposure time length, and gain level.
  • This control signal is sent to the light intensity control circuit 340 and the image sensor 14, and the values of the light intensity level, the length of the exposure time, and the gain level are instructed to the light intensity control circuit 340 and the image sensor 14.
  • the gain adjustment based on the gain level is performed on the gain of an amplifier (not shown) built in the image sensor 14.
  • the adjustment unit 28 determines whether or not the input of the image data is completed (step S22), and if it is determined that the input of the image data is completed, the adjustment unit 28 ends the setting of the adjustment value. On the other hand, when it is determined that the input of the image data is not completed in the adjusting unit 28, that is, the next frame image is acquired, the image feature amount and various internal parameters are reset to zero (step S24), and a new image is newly input. Image data is acquired (step S12). In this way, the adjustment level and the adjustment value are set each time the image data is input.
  • FIG. 13 is a diagram showing an example of a flow for setting the adjustment level in step S16 shown in FIG.
  • the adjustment value setting unit 28e provides information on the amount of motion, a change in the amount of motion (the difference obtained by subtracting the amount of motion in the immediately preceding frame image from the amount of motion in the current frame image), and information on the amount of image features such as the amount of blurring, and adjustment. Determines whether the amount of change in the amount of light (the difference obtained by subtracting the amount of dimming set in the previous frame image from the amount of dimming set in the current frame image) satisfies the preset adjustment conditions. (Adjustment determination is made) (step S30).
  • the adjustment conditions are set for each amount of movement, change in amount of movement, amount of blurring, and amount of change in dimming amount.
  • the adjustment value setting unit 28e for example, whether or not the movement amount is larger than the preset first threshold value, whether or not the blur amount is larger than the preset second threshold value, and the change in the movement amount are preset. It is determined whether or not it is larger than the third threshold value, and whether or not the amount of change in the dimming amount is negative and the absolute value of the amount of change in the dimming amount is larger than the predetermined fifth threshold value.
  • the maintenance time for maintaining the amount of change in the amount of blurring and the amount of dimming lower than a predetermined value may be used for determining the adjustment condition.
  • the adjustment value setting unit 28e sets a value obtained by adding 10% to the currently set adjustment level as a new adjustment level. (Step S32).
  • the process of step S32 is performed, but at least two of the plurality of information to be determined are adjustment conditions. If the above is satisfied, the process of step S32 may be performed.
  • the adjustment level is expressed in% as a value indicating the degree of strength of the adjustment process.
  • the adjustment level is a value in which the strength of the adjustment process is set, with 0% when the adjustment process is not performed at all and 100% when the adjustment process is performed most strongly.
  • the adjustment level is set to zero when the endoscope system 1 is started up.
  • step S30 when any of the determinations is denied in step S30 (the determination result of the adjustment determination is negative), the adjustment value setting unit 28e has the integrated value of the pixel values in the kerare region Df larger than the predetermined fourth threshold value. Whether or not it is determined (step S34). When the integrated value of the pixel values in the kerare region Df is larger than the predetermined sixth threshold value, it is extremely likely that RSA has occurred, so the adjustment level of the adjustment process for reducing RSA is maintained (step S36). ).
  • the adjustment value setting unit 28e When it is determined that the integrated value of the pixel values in the eclipse region Df is equal to or less than a predetermined fourth threshold value, the adjustment value setting unit 28e has generated RSA, but the number of occurrences has been reduced, or Assuming that RSA has not occurred, a value obtained by subtracting the adjustment level by 10% is set as a new adjustment level (step S38). In this way, the adjustment value setting unit 28e sets the adjustment level based on the changes in the image adjustment amount and the dimming amount. In the determination of step 34, but using an integrated value of pixel values in the vignetting region Df, instead of the integrated value, it may be used the number of pixels of the pixel F 1 of the pixel values in the vignetting region Df exceeds the threshold.
  • FIG. 14 is a diagram showing an example of a flow for setting an adjustment value in step S18 shown in FIG.
  • the adjustment value setting unit 28e sets the first set values of the light intensity level, the exposure time, and the gain level when the adjustment process is performed at the adjustment level of 0%, that is, when the adjustment process is not performed at all, and the adjustment level 100. Interposition according to the adjustment level between the first set value and the second set value using the second set values of the light intensity level, the exposure time, and the gain level when the adjustment process is performed in%. By performing the above, the adjustment values of the light intensity level, the time length of the exposure time, and the gain level are determined.
  • the adjustment value setting unit 28e includes a non-adjustment processing reference table (first reference table, hereinafter referred to as a normal reference table) and an RSA reduction processing reference table (referred to as a first reference table and hereinafter referred to as a normal reference table) when the adjustment processing, which is the RSA reduction processing, is not performed.
  • first reference table hereinafter referred to as a normal reference table
  • RSA reduction processing reference table referred to as a first reference table and hereinafter referred to as a normal reference table
  • the gain G 1 is taken out, and the light intensity level I 2 , the exposure time T 2 , and the gain G 2 which are the second set values are taken out from the RSA reduction processing reference table (step S50).
  • Each of the normal reference table and the RSA reduction reference table defines the correspondence between the light intensity level, the exposure time, and the gain with respect to the dimming amount. Correspondence represents changes in light intensity level, exposure time, and gain with respect to changes in dimming amount.
  • FIG. 15A is a diagram showing an example of a reference table for normal use
  • FIG. 15B is a diagram showing an example of a reference table for RSA reduction.
  • the light intensity level, the exposure time, and the gain level set in advance are standardized and expressed in%.
  • the changes in the exposure time and the light intensity level with respect to the dimming amount are different between the normal reference table and the RSA reduction processing reference table.
  • the exposure time is made longer than the corresponding exposure time in the reference table for normal use in order to reduce the occurrence of RSA in the portion where the amount of dimming is small.
  • the gain level is substantially the same between the normal reference table and the RSA reduction reference table, but the exposure time, the light intensity level, and the gain level are set to the normal reference table and the RSA reduction reference table.
  • the fact that the product of the exposure time, the light intensity level, and the gain level is set to be the same between the normal reference table and the RSA reduction reference table is that the brightness in the image is set even after the adjustment process. It is preferable because the level does not change.
  • the adjustment value setting unit 28e responds to the adjustment level between the extracted light intensity level I 1 , the exposure time T 1 , and the gain G 1 and the light intensity level I 2 , the exposure time T 2 , and the gain G 2.
  • the values of the light intensity level I, the exposure time T, and the gain G are set (step S52).
  • the adjustment level ⁇ is greater than 0 and less than 1 , the exponent of I 1 and I 2 is allocated by the adjustment level ⁇ and the interpolated value is set. Therefore, according to one embodiment, the higher the degree of adjustment processing, the higher the value of the adjustment level ⁇ , and the higher the value of the adjustment level ⁇ , the higher the adjustment value is, the light intensity level I 2 , the exposure time T 2 , and the gain. It is preferable to approach G 2 (second set value). The information on the values of the light intensity level I, the exposure time T, and the gain G set in this way is transmitted as a control signal to the light intensity control circuit 340 and the image sensor 14.
  • the adjustment unit 28 of the processor 200 combines the adjustment of the exposure time of the image sensor 14 and the adjustment of at least one of the light intensity of the illumination light and the gain adjustment to adjust the brightness of the frame image. Whether or not at least one of the information regarding the amount of movement between adjacent frame images and the information regarding the amount of edge blurring of the subject image of the subject image in the captured image satisfies the adjustment condition after performing the adjustment process for adjustment.
  • the adjustment judgment including the judgment is performed, and the adjustment processing is performed by adjusting the adjustment level indicating the strength of the adjustment processing for reducing RSA by the magnitude of the value according to the judgment result of the adjustment judgment. Has been done. Therefore, the adjustment process for reducing RSA can be performed before RSA occurs.
  • the adjustment level is adjusted based on at least information on the amount of movement of the subject image in the image or information on the amount of blurring, the adjustment process is efficiently performed by adjusting the strength of the adjustment process according to the adjustment level to suppress the occurrence of RSA. be able to.
  • the amount of movement or blurring of the subject image tends to increase immediately before or when the liquid comes into contact with the observation window 13, and can be effectively used as an index for predicting the occurrence of RSA.
  • the adjustment unit 28 determines the information regarding the amount of blurring of the edge of the subject image and the information regarding the amount of movement, and adjusts the adjustment level according to these determination results to generate RSA. It is possible to judge the situation to be obtained without leaking it.
  • the adjustment condition regarding the amount of movement is, for example, whether or not the amount of movement exceeds the first threshold value.
  • the adjustment condition regarding the edge blur amount is, for example, whether or not the blur amount exceeds the second threshold value.
  • the information regarding the amount of movement is at least one of the amount of movement of the subject image in the current frame image and the amount of change of the amount of movement of the subject image in the current frame image with respect to the amount of movement of the subject image in the immediately preceding frame image. Is preferably included. Further, the information regarding the amount of blur is at least one of the amount of blur of the subject image in the current frame image or the amount of change in the amount of blur of the subject image in the current frame image with respect to the amount of blur of the subject image in the immediately preceding frame image. It is preferable to include. As a result, the adjusting unit 28 can determine the situation in which RSA can occur without omission.
  • the adjustment condition regarding the amount of change in the amount of movement or the amount of change in the amount of blur is, for example, whether or not the amount of change in the amount of movement or the amount of change in the amount of blur exceeds the threshold value.
  • the adjustment unit 28 is preferably configured to adjust the adjustment level at least according to the determination result of the information regarding the dimming amount. Since the adjusting unit 28 adjusts the brightness level of the image obtained by the image pickup device 14 by using the dimming amount, the brightness level can be efficiently achieved to the target brightness level.
  • the adjusting unit 28 reduces the amount of dimming so that the brightness level of the frame image does not increase when the tip surface 72 approaches the subject to the extent that the observation window 13 comes into contact with (or adheres to) the liquid in the living tissue. , It is preferable to adjust the adjustment level in anticipation of such a case.
  • the adjustment unit 28 adjusts the adjustment level according to the determination result of the information regarding the amount of movement or the amount of blur and the determination result of the amount of change in the dimming amount. It is composed.
  • the adjustment condition regarding the amount of change in the amount of dimming is, for example, whether or not the amount of change in the amount of dimming is negative and the absolute value of the amount of change in the amount of dimming is larger than the fifth threshold value.
  • the adjusting unit 28 can determine the situation in which RSA can occur without leaking it.
  • the adjusting unit 28 determines whether or not the information on the pixel value in the keratin region Df satisfies the adjustment condition, in addition to determining the information on the amount of movement or the amount of blur, and the adjusting unit 28 determines the amount of movement or the amount of blur.
  • the adjustment unit 28 is configured to adjust the adjustment level at least according to the determination result of the information regarding the pixel value in the kerare region Df, so that the adjustment unit 28 determines the situation in which RSA may occur. , Can be judged without leaking.
  • Information about the pixel values in the vignetting region Df is predetermined in the vignetting region Df, the current frame image the amount of change in the integrated value from the previous frame image, and preferably includes at least one of the amount of change in pixel number F 1 from the frame image immediately before the current frame image.
  • the adjustment condition regarding the integrated value of the pixel values in the kerare region Df is, for example, whether or not the integrated value is larger than the fourth threshold value.
  • the adjustment unit 28 makes an adjustment determination using adjustment conditions as in step S30 shown in FIG. 13, and when the adjustment determination is affirmative, for example, When the determination of at least one of the plurality of information to be determined is affirmative, the adjustment level value is set to be larger than the adjustment level value defined in the immediately preceding frame image as in step S32 shown in FIG. Therefore, the adjustment level can be sequentially adjusted according to the frame image.
  • the adjustment value setting unit 28e immediately before the value of the adjustment level. Since the value of the adjustment level defined in the frame image of is maintained, the adjustment level can be appropriately maintained according to the frame image.
  • the adjustment level value in the current frame image is set to the immediately preceding frame. Since the adjustment level is made smaller than the value of the adjustment level defined in the image, the adjustment level can be sequentially adjusted according to the frame image.
  • step S34 the integrated value of the pixel values in the kerare region Df is calculated and compared with the fourth threshold value to make a determination, but instead of the integrated value, it is included in the frame image.
  • the amount of RSA generated hereinafter referred to as the amount of RSA
  • the process of step S36 is performed and the amount of RSA is the seventh threshold value.
  • the process of step S38 may be performed.
  • FIG. 16 is a diagram illustrating an example of a method for calculating the amount of RSA.
  • the total number of pixels having the threshold TH 3 or more is multiplied by a predetermined coefficient.
  • the vertical differential value reflects not only the edge of RSA but also the vertical blur of the subject image.
  • the lateral differential value does not reflect the edge of the RSA, but reflects the lateral blur of the frame image.
  • a value obtained by subtracting the horizontal differential value from the vertical differential value is used in order to eliminate the vertical blur. ..
  • Such an RSA amount can be used instead of the integrated value of the pixel values in the eclipse region Df in step S34 shown in FIG.
  • FIG. 17 is a diagram showing an example of a time change in the amount of RSA obtained by the above method.
  • the value of the RSA amount is small and stable, whereas in the state of Photo Im2 when water is supplied to the observation window 13 for cleaning the observation window 13, the value of the RSA amount is large. And it's fluctuating.
  • the value of the RSA amount was small and stable.
  • the value of the amount of RSA reflects the number of occurrences of RSA.
  • the adjustment unit 28 has an RSA detection unit (index calculation unit) that calculates the amount of RSA, which is an index indicating the degree of occurrence of RSA, in the frame image, and the adjustment unit 28 has an RSA detection unit (index calculation unit). If the determination result in step S30 shown in FIG. 13 is negative and the RSA amount is larger than the predetermined seventh threshold value, the adjustment level value is determined in the immediately preceding frame image as in step S36 shown in FIG. It is preferable to maintain the value of the adjustment level. As a result, the adjustment level can be maintained according to the frame image.
  • the adjusting unit 28 adjusts the current frame image as in step S38 shown in FIG. It is preferable that the level value is smaller than the adjustment level value defined in the immediately preceding frame image. As a result, the adjustment level can be sequentially adjusted according to the frame image.
  • FIG. 18 is a block configuration diagram of the adjustment unit 28 of one embodiment different from the adjustment unit 28 shown in FIG.
  • the adjusting unit 28 shown in FIG. 18 includes an RSA detecting unit 28f instead of the liquid contact detecting unit 28b shown in FIG. 5, and other parts are the same as the adjusting unit 28 shown in FIG. Therefore, in FIG. 18, the description of the dimming control unit 28d, the blur detection unit 28c, the frame memory 29, and the motion detection unit 28a will be omitted.
  • the RSA detection unit 28f is a portion (index calculation unit) for calculating the RSA amount, which is an index indicating the degree of RSA generation in the frame image.
  • the RSA detection unit 28f calculates the amount of RSA by, for example, the method shown in FIG.
  • the calculated RSA amount is sent to the adjustment value setting unit 28e.
  • the adjustment value setting unit 28 adjusts at least one of the adjustment of the exposure time of the image pickup element 14, the adjustment of the light intensity of the illumination light, and the gain adjustment of determining the signal level of the image pickup signal of the frame image obtained from the image pickup element 14. This is the part that performs the adjustment process to adjust the brightness of the frame image by combining.
  • the adjustment value setting unit 28 adjusts the adjustment level, which indicates the degree of strength of the adjustment process by the magnitude of the value, according to the determination result of whether or not the RSA amount satisfies the adjustment condition. It is configured to perform processing. In this case, it is determined whether or not the image feature amount sent from the motion detection unit 28a satisfies the adjustment condition and whether or not the amount of change in the dimming amount sent from the dimming control unit 28d satisfies the adjustment condition. , The amount of RSA may be determined together with whether or not the adjustment condition is satisfied.
  • the adjustment condition regarding the amount of RSA is whether or not the amount of RSA is larger than the eighth threshold value. In this case, as in step S30 shown in FIG.
  • step S34 it is determined in step S34 shown in FIG. 13 whether or not the integrated value of the pixel values in the eclipse region is larger than the fourth threshold value. Instead of the determination of, it is preferable to determine whether or not the amount of RSA is larger than the seventh threshold value.
  • 19 (a) and 19 (b) are diagrams showing an example of time-dependent changes in values indicating the amount of RSA and the amount of movement.
  • 19 (a) and 19 (b) show the time change of the amount of RSA and the amount of movement of the subject image when the cleaning water is supplied to the observation window 13.
  • the amount of RSA does not increase, but the movement of the subject image due to the contact with water is reflected.
  • the amount of movement is increasing.
  • the amount of RSA has increased, but the amount of movement has decreased because the movement of the subject image is stable.
  • the amount of RSA becomes a large value when the occurrence of RSA is sustained. Therefore, before RSA occurs, it is possible to determine whether or not RSA is likely to occur based on the amount of movement, and if RSA occurs and persists, the amount of RSA is adjusted to the adjustment level of the adjustment process. Can be used as an indicator of whether to maintain or lower the adjustment level.
  • FIGS. 20 (a) and 20 (b) are also diagrams showing an example of changes in the amount of RSA and the amount of movement over time.
  • 20 (a) and 20 (b) show the temporal changes in the amount of RSA and the amount of movement of the subject image when the observation window 13 approaches the living tissue as the subject and the liquid existing in the living tissue comes into contact with the observation window 13. There is. Even in this case, the amount of RSA does not increase in the initial stage Tst, but the amount of movement increases, reflecting the movement of the subject image due to the adhesion of the liquid. On the other hand, after the initial stage Tst, the amount of RSA has increased, but the amount of movement has decreased relatively because the movement of the subject image is stable.
  • FIG. 21 is a diagram showing an example of changes in the amount of RSA and the adjustment level over time when the adjustment process of one embodiment is performed using the adjustment unit 28 shown in FIG.
  • RSA does not occur, and the amount of RSA is small and stable. From this state, when water is supplied to the observation window 13 for cleaning the observation window 13, RSA is generated and the amount of RSA starts to increase, but the adjustment process is performed at an adjustment level that gradually increases accordingly.
  • Photo Im2 * it is possible to suppress the occurrence of RSA in the subject image. After that, in the state of Photo Im3 when the water supply was stopped, the generation of RSA disappeared and the amount of RSA became small. Along with this, the adjustment level is also gradually decreasing.
  • the adjustment level is set and the adjustment process is performed by combining the exposure time with at least one of the light intensity level and the gain level. Therefore, the brightness level in the photograph Im2 * is the photograph. It can be seen that the brightness levels of Im1 and Im3 are maintained at substantially the same level.
  • the adjustment level is adjusted according to the determination result of whether or not the RSA amount satisfies the adjustment condition, and the adjustment process is performed. Therefore, the adjustment level is adjusted in accordance with the occurrence of RSA. Various adjustments can be made.
  • the adjustment value setting unit 28e sets the level of light intensity, the length of exposure time, and the gain level of gain adjustment with respect to the dimming amount.
  • a reference table for normal use (first reference table) and a reference table for RSA reduction (second reference table) are provided.
  • the product obtained by multiplying each value of the light intensity level, the time length of the exposure time, and the gain level of the gain adjustment with respect to the value of the dimming amount is the value that the dimming amount can take. While there is a match between the normal reference table and the RSA reduction reference table over the entire range of, the correspondence between the normal reference table and the RSA reduction reference table is the level of light intensity with respect to the dimming value.
  • the correspondence between the value of the dimming amount and the time length of the exposure time is different from each other.
  • the change in light intensity level and exposure time time length with respect to the change in dimming amount differs between the normal reference table and the RSA reduction reference table, and the light intensity level value and exposure time time length are different. Are different from each other.
  • the adjustment value setting unit 28e determines the level of light intensity and the time length of the exposure time determined from the normal reference table (reference table shown in FIG. 15A) according to the value of the dimming amount. , And the light intensity level determined from the RSA reduction reference table (reference table shown in FIG. 15B) according to the respective first set values of the gain level and the value of the dimming amount, and the time length of the exposure time. , And the second set value of the gain level, respectively, are taken out.
  • the adjustment process can be performed.
  • the adjustment value can be set according to the adjustment level.
  • the adjustment level is 0%
  • the first set value set by the normal reference table becomes the adjustment value.
  • interpolation is performed between the first set value and the second set value according to the adjustment level, so that the adjustment process can be performed with an appropriate strength.
  • the product of the normal reference table and the RSA reduction reference table multiplied by the respective values of the light intensity level, the time length of the exposure time, and the gain level of the gain adjustment is the value that the dimming amount can take. Since it matches over the entire range of, even if the adjustment process is performed, the brightness level of the image does not change.
  • the product obtained by multiplying the respective values of the light intensity level at the maximum dimming amount, the time length of the exposure time, and the gain level is adjusted. It is preferably larger than the product of the light intensity level at the lowest value of the amount of light, the time length of the exposure time, and the gain level.
  • the dimming amount is the maximum value, the brightness level of the image is extremely low. Therefore, in order to adjust the brightness level of the image in a short time, each value of the light intensity level, the time length of the exposure time, and the gain level is required.
  • the product of multiplying by is preferably large, and when the dimming amount is the lowest value, the brightness level of the image is extremely high, so the product of multiplying each value of the light intensity level, the time length of the exposure time, and the gain level. Is preferably small.
  • the time length of the exposure time of the RSA reduction reference table is not shorter than the time length of the corresponding exposure time of the normal reference table over the entire range of possible values of the dimming amount.
  • the product of the light intensity level value and the gain level value of the RSA reduction reference table is the corresponding light intensity level value and the gain level of the normal reference table over the entire range of possible values of the dimming amount.
  • the brightness level of the frame image is not larger than the product of the values of, because it does not change depending on the presence or absence of the adjustment process and the adjustment level in the adjustment process.
  • the time length of the exposure time is often lengthened to suppress RSA. Therefore, the brightness level is adjusted by the adjustment process for lengthening the time length of the exposure time.
  • the product of the light intensity level value and the gain level value of the RSA reduction reference table is the corresponding light intensity of the normal reference table over the entire range of possible dimming values. It is preferably smaller than the product of the level value and the gain level value.
  • the time length of the exposure time of the RSA reduction reference table is set to the exposure time of the normal reference table with respect to the value of the dimming amount.
  • the change in the adjustment level in the adjustment process is due to having a range of dimming amount, which is longer than the time length and the light intensity level of the RSA reduction reference table is smaller than the light intensity level of the normal reference table. This is preferable because it does not change the brightness level of the frame image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

生体組織をローリングシャッター方式により動画として撮像する際に、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生することを抑制する、調整レベルを備えた調整処理を行う。 内視鏡システムは、光源装置と、生体組織をローリングシャッター方式により撮像する撮像素子を備える電子内視鏡と、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られるフレーム画像の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する部分であって、撮像される前記画像内の被写体像の動き量あるいはぶれ量に関する情報が調整条件を満足するか否かの判定をし、判定結果に少なくとも応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行う調整部を有するプロセッサと、を備える。

Description

内視鏡システム
 本発明は、体腔内の生体組織の撮像画像を画面表示する内視鏡システムに関する。
 内視鏡システムは、生体組織を撮像する撮像素子を備えた電子内視鏡と、撮像された生体組織の画像を処理して表示用画像を作成するように構成された画像処理ユニットを有するプロセッサと、プロセッサに接続され、作成した表示用画像を表示するように構成されたモニタと、を備える。
 近年、電子内視鏡に使用される撮像素子として、CMOSイメージセンサを用いる場合が多い。CMOSイメージセンサを用いる場合、CMOSイメージセンサの受光面を露光し画像として出力する露光・出力方法として、ローリングシャッター方式が用いられる。
 ローリングシャッター方式は、撮像素子の受光面を走査ライン毎に複数の領域に分け、領域毎に順次時間差を設けて露光を行う方式で、領域毎に、蓄積されている電荷を順次リセットした後、露光による電荷の蓄積を開始して蓄積した画像信号となる電荷を出力する(読み出す)方式である。
 このようなローリングシャッター方式の撮像素子を用いた場合、被写体である生体組織の動きは遅いので、順次時間差を設けて被写体像を露光しても、走査ラインの境目で被写体像がずれる場合は少ない。しかし、生体組織の周りに高速で液滴が飛翔し、また、撮像素子の前面に設けられた観察窓の面に液体が付着して液流を形成する場合、液滴あるいは液流の移動速度は、生体組織の動きに比べて速いので、フレーム画像内の走査ラインの境目に対応する部分でこの走査ラインに対応するラインに沿って液滴の像や液流を介して見える生体組織の像がずれる場合が多い。すなわち、ローリングシャッター方式に起因して、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生する場合が多い。
 上記液滴の飛翔における液滴の像の問題に対して、内視鏡の観察映像に映り込んだ液滴画像に不自然なエッジが生じるエッジ化現象を観察者により視認されないようにする内視鏡装置が知られている(特許文献1、2)。
 上記内視鏡装置では、CMOS型の撮像素子により撮影されたフレーム画像において、飛散する液滴画像に水平方向のエッジが生じるエッジ化現象が発生しているか否かを判定し、エッジ化現象が発生している場合には、エッジ化現象軽減処理を実施して軽減する。
 エッジ化現象軽減処理として、露光時間を長くして、あるいはぼかし処理を施して、エッジ化現象を軽減する。
特開2014-117413号公報 特開2014-117412号公報
 上述の内視鏡装置では、エッジ化現象が発生していることを判定した後、エッジ化現象軽減処理を行うので、モニタの表示画面にはエッジ化現象が必ず発生する。このエッジ化現象の画面表示は、内視鏡を操作する術者にとってノイズ成分であり、生体組織の誤判定の一因となる場合がある。
 また、上述の内視鏡装置において、エッジ化現象が発生した場合、エッジ化現象軽減処理として露光時間を長くすると、画像が過度に明るくなり術者に不快感を与えるといった問題が発生する。このため、画面の明るさを変動させることなく露光時間を調整することが必要であるが、上述の内視鏡装置では上記問題に対する対応がなされていない。
 また、上述の内視鏡装置において、エッジ化現象が発生した場合、エッジ化現象軽減処理としてエッジ部分にのみぼかし処理を施すと画像が不自然な画像になり、画面全体にぼかし処理を施すと観察したい領域もぼやけた画像になり、術者に不快感を与える。
 そこで、本発明は、生体組織をローリングシャッター方式により動画として撮像する際に、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生することを抑制する処理であって調整レベルを備えた調整処理を、画像の輝度レベルが大きく変化することなく行うことができる内視鏡システムを提供することを目的とする。
 本発明の一態様は、体腔内の生体組織の撮像画像を画面表示する内視鏡システムである。当該内視鏡システムは、
 生体組織を照明する照明光を生成するように構成された光源装置と、
 生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
 前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、撮像される前記画像内の被写体像の隣接するフレーム画像間における動き量に関する第1情報、及び撮像される前記画像内の被写体像のエッジのぶれ量に関する第2情報の少なくとも一方の情報が調整条件を満足するか否かの判定を含む調整判定をし、前記調整判定の判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
 画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
を備える。 
 前記動き量に関する前記第1情報は、現在のフレーム画像における前記被写体像の前記動き量、及び、前記現在のフレーム画像における前記被写体像の前記動き量の、直前のフレーム画像における前記被写体像の前記動き量に対する変化量の少なくとも一方を含む、ことが好ましい。
 前記ぶれ量に関する前記第2情報は、現在のフレーム画像における前記被写体像のぶれ量、あるいは、現在のフレーム画像における前記被写体像のぶれ量の、直前のフレーム画像における前記被写体像のぶれ量に対する変化量の少なくとも一方を含む、ことが好ましい。
 前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、ことが好ましい。
 前記調整部は、前記調整判定として、前記調光量に関する第3情報が調整条件を満足するか否かの判定をさらに行い、前記調整判定の前記判定結果は、前記第3情報の判定結果を含む、ことが好ましい。
 前記調光量に関する前記第3情報は、現在の前記調光量の、直前の前記調光量に対する変化量、及び前記調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を含む、ことが好ましい。
 前記フレーム画像は、前記被写体の像が表示される表示領域と、前記電子内視鏡の撮像光学系に起因して前記表示領域に比べて輝度が低く、前記被写体の像が表示されない、前記表示領域の外側に形成されるケラレ領域とを、含み、
 前記調整部は、前記ケラレ領域における画素値に関する第4情報が前記調整条件を満足するか否かの判定を、さらに行い、
 前記調整部は、前記第4情報の判定結果に応じて、前記調整レベルを調整するように構成される、ことが好ましい。
 前記ケラレ領域における画素値に関する前記第4情報は、前記ケラレ領域における画素値の積算値、前記ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの前記積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの前記画素数の変化量の少なくとも1つを含む、ことが好ましい。
 前記調整部は、前記撮像素子から前記フレーム画像が得られる度に、前記調整判定をし、前記調整判定結果が肯定の場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも大きくする、ことが好ましい。
 その際、前記調整部は、前記調整判定として、複数の判定を行い、前記複数の判定の内の少なくとも1つの判定あるいは少なくとも2つの判定の判定結果が肯定である場合、前記調整判定の前記判定結果を肯定とする、ことが好ましい。
 前記調整部による前記調整判定の前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、ことが好ましい。
 前記調整部による調整判定の前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が前記閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、ことが好ましい。
 前記調整部は、前記フレーム画像内において、前記ローリングシャッター方式に起因して、前記撮像素子の走査ラインに対応するラインに沿って発生するアーチファクトの発生量の程度を表す指数を算出する指数算出部を有し、
 前記調整部による前記調整判定の前記判定結果が否定であり、前記指数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、ことが好ましい。
 前記調整部による前記調整判定の前記判定結果が否定であり、前記指数が予め定めた閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、ことが好ましい。
 本発明のさらに他の一態様は、体腔内の生体組織を撮像した画像を画面表示する内視鏡システムである。当該内視鏡システムは、
 生体組織を照明する照明光を生成するように構成された光源装置と、
 生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
 前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記ローリングシャッター方式に起因して、前記フレーム画像内で前記撮像素子の走査ラインに対応したラインに沿ってアーチファクトが発生する程度を表すアーチファクト発生指数を算出するように構成された指数算出部と、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記アーチファクト発生指数の大きさが調整条件を満足するか否かの判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して、前記調整処理を行うように構成された調整部と、を有するプロセッサと、
 画像処理を行った前記フレーム画像を画面表示するモニタと、
 を備える。
 前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、ことが好ましい。
 前記調整部は、前記調光量に対して、前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルを定める第1参照テーブルと第2参照テーブルを備え、
 前記調光量の値に対する前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルの各値を乗算した積が、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルと前記第2参照テーブルの間で一致する一方、前記第1参照テーブル及び前記第2参照テーブルの間では、前記調光量の値に対する前記光強度のレベルの対応関係、及び前記調光量の値に対する前記露光時間の時間長さの対応関係が互いに異なり、
 前記調整部は、前記調光量の値に応じて前記第1参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第1設定値と、前記調光量の値に応じて前記第2参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第2設定値と、を用いて、前記第1設定値と前記第1設定値に対応する前記第2設定値との間で前記調整レベルに応じた内挿を行うことにより、前記調整処理で用いる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの調整値を定めるように構成される、ことが好ましい。
 また、前記第1参照テーブル及び前記第2参照テーブルのいずれにおいても、前記調光量の最高値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積は、前記調光量の最低値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積に比べて大きく、
 前記第2参照テーブルの前記露光時間の時間長さは、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記露光時間の時間長さに比べて短くならず、
 前記第2参照テーブルの前記光強度のレベルの値と前記ゲインレベルの値の積は、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記光強度のレベルの値と前記ゲインレベルの値の積に比べて大きくならない、ことが好ましい。
 前記第1の参照テーブル及び前記第2の参照テーブルは、前記調光量の値に対して、前記第2の参照テーブルの前記露光時間の時間長さが、前記第1の参照テーブルの前記露光時間の時間長さに比べて長く、前記第2の参照テーブルの前記光強度のレベルが前記第1の参照テーブルの前記光強度のレベルに比べて小さい、前記調光量の範囲を有する、ことが好ましい。
 前記調整レベルは、前記調整処理の程度が強い程値が高く、前記調整レベルの値が高い程、前記調整値は前記第2設定値に近づく、ことが好ましい。
 上述の内視鏡システムによれば、生体組織をローリングシャッター方式により動画として撮像する際に、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生することを抑制する処理であって調整レベルを備えた調整処理を、画像の輝度レベルが大きく変化することなく行うことができる。
一実施形態である内視鏡システムの外観斜視図である。 一実施形態である内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡の先端部の先端面の一例を示す図である。 (a),(b)は、フレーム画像内に生じるアーチファクトを説明する図である。 一実施形態である内視鏡システムの調整部の構成の一例を示すブロック図である。 一実施形態である内視鏡システムにおいて動き量の程度を示す値を算出する方法の例を説明する図である。 一実施形態である内視鏡システムにおいて算出する動き量の程度を示す値の時間変化の一例を示す図である。 一実施形態である内視鏡システムにおいて算出するぶれ量の程度を示す値を算出する方法の例を説明する図である。 フレーム画像に横方向の微分値を算出する微分フィルタを適用したときのフレーム画像の画素の総和の値の時間変化の一例を示す図である。 一実施形態である内視鏡システムにおいて用いるケラレ領域を説明する図である。 一実施形態である内視鏡システムにおいて算出するケラレ領域の画素値の積算値の時間変化の一例を示す図である。 一実施形態の内視鏡システムで行われる調整処理のフローの一例を示す図である。 図12に示すステップS16における調整レベルの設定のフローの一例を示す図である。 図12に示すステップS18における調整値の設定のフローの一例を示す図である。 (a)は、一実施形態の内視鏡システムで用いる通常用参照テーブルの一例を示す図であり、(b)は、一実施形態の内視鏡システムで用いるRSA低減用参照テーブルの一例を示す図である。 一実施形態の内視鏡システムで算出するRSA量の算出方法の一例を説明する図である。 一実施形態の内視鏡システムで算出するRSA量の時間変化の一例を示す図である。 一実施形態の内視鏡システムにおける調整部のブロック構成図である。 (a),(b)は、一実施形態の内視鏡システムで算出するRSA量と動き量の時間変化の一例を示す図である。 (a),(b)は、一実施形態の内視鏡システムで算出するRSA量と動き量の時間変化の一例を示す図である。 一実施形態の内視鏡システムで算出するRSA量と調整レベルの時間変化の一例を示す図である。
 以下、実施形態の内視鏡システムについて図面を参照しながら説明する。
 図1は、一実施形態である内視鏡システム1の外観斜視図であり、図2は、一実施形態である内視鏡システムの構成を示すブロック図である。図3は、一実施形態の内視鏡の先端部の先端面の一例を示す図である。
 図1に示す内視鏡システム1は、医療用に特化されたシステムであり、電子内視鏡(以降、電子スコープという)100、プロセッサ200、光源装置300、モニタ400、を主に備える。電子スコープ100、光源装置300、及びモニタ400は、それぞれプロセッサ200に接続される。なお、光源装置300とプロセッサ200とは別体で構成されているが、光源装置300はプロセッサ200内に一体的に設けられて構成されてもよい。
 プロセッサ200は、図2に示すように、システムコントローラ21を備えている。システムコントローラ21は、図示されないメモリに記憶された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する制御手段であり、ソフトウェアあるいはハードウェアで構成されている。また、システムコントローラ21は、操作パネル24に接続されている。システムコントローラ21は、操作パネル24に入力される術者からの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の観察モードの切替指示がある。観察モードには、白色光を照明光として観察する通常観察モード、特殊光を照明光として観察する特殊観察モードがある。
 さらに、プロセッサ200は、画像処理部26および調整部28を備える。
 画像処理部26は、電子スコープ100の撮像素子による撮像によって得られたフレーム画像に画像処理を行うように構成されている。
 調整部28は、撮像素子の露光時間の調整と、照明光の光強度の調整、及び撮像素子から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行うように構成されている。詳細の説明は後述する。
 また、プロセッサ200は、図示されないが、タイミングコントローラを備える。タイミングコントローラは、各部の動作のタイミングを調整するクロックパルスを内視鏡システム1内の各回路に出力する。
 光源装置300は、光源部310、光量制御回路340、及び集光レンズ350を有する。光量制御回路340は、システムコントローラ21からの指示に従って、光源の光強度のレベルを変更する駆動信号を生成し、光源部310に出力する。光源部310は、生体組織を照明するための照明光となる、設定された光強度レベルの光を照射する。光は、白色光を少なくとも含み、また、特定の波長帯域の特殊光を含んでもよい。光源部310は、白色光を射出するキセノンランプ、及び特殊光を射出するLEDやレーザダイオード等を備える。また、特殊光は、白色光を光学フィルタに透過させることにより生成してもよい。
 図2に示すように、光源部310から出射した照明光Lは、集光レンズ350により、複数の光ファイバの束によって構成された後述するLCB(Light Carrying Bundle)11の入射端面に集光されてLCB11内に入射される。
 電子スコープ100は、図1に示すように、接続部50と、操作部52と、挿入部54と、接続部50と操作部52とを接続するケーブル51と、を主に有する。挿入部54は、操作部50と挿入部50の先端部56とを接続する可撓管58を備える。可撓管58には、LCB11、水や空気等の流体を送る送気送水管、処置具導入管、及び信号線等が設けられている。処置具導入管は、操作部52から生体組織を処置する(例えば、切断除去する)ための処置具を先端部56から突出させて生体組織を処置するために処置具を通す管である。信号線は、後述する撮像素子14からの撮像画像信号を送信する伝送線及びプロセッサ200からの制御信号を撮像素子14に送信する制御線を含む。
 電子スコープ100の先端は、人体内部に挿入するために可撓性を有する挿入部54となっている。挿入部54の先端近傍には、挿入部54の基端に連結された屈曲部60が設けられ、屈曲部60は、操作部52における遠隔操作に応じて屈曲する。屈曲部60の屈曲機構は、一般的な内視鏡に組み込まれている周知の機構である。屈曲構造は、操作部52に設けられた湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部60を屈曲させるものである。屈曲部60の先端には、撮像素子14を備えた先端部56が設けられている。
 電子スコープ100の先端部56には、接続部50から先端部56にかけての略全長に渡って配置されたLCB11の照明光出射端がある。
 先端部56には、図2に示されるように、LCB11の照明光出射端の前方に配光レンズが設けられ、配光レンズの生体組織側の前面は照明光を出射する照明窓12となっている。また、先端部56には、生体組織の像を結像する対物レンズが設けられ、対物レンズの生体組織側の前面は、生体組織の像の光を受け入れる観察窓13となっている。さらに、先端部56には、結像した像を受光する撮像素子14、及び撮像素子14から出力した画像信号を増幅する図示されないアンプ等が設けられている。
 LCB11内に入射した照明光は、LCB11内を伝播し、LCB11の照明光出射端から出射し、配光レンズで構成される照明窓12を介して生体組織の被写体に照明光Lとして照明する。照明窓12から出射した照明光Lの、被写体からの戻り光は、対物レンズで構成される観察窓13を介して撮像素子14の受光面上で光学像を結ぶ。
 なお、光源装置300の光源部310は、コンパクトな構成である場合、電子スコープ100の先端部56に内蔵されてもよい。この場合、照明光Lを光源部310から先端部56に導光するLCB11及び集光レンズ350は不要である。
 図3には、先端部56の先端面57の一例が示されている。先端面57には、LCB11の先端の前方に設けられた配光レンズで構成された照明窓12が2つ設けられ、さらに、照明窓12の間に挟まれるように、対物レンズで構成された観察窓13が設けられている。また、先端面57には、処置具を先端面57から突出させる処置具用開口62、及び、照明窓12及び観察窓13を洗浄するための流体を吐出させる送気送水ポート64(流体吐出ポート)を備える。送気送水ポート64は、例えば、可撓管58内の送気送水管を介して操作部52に接続された図示されない流体送出機構から流体の供給を受けて、流体を吐出させる部分である。送気送水ポート64には、具体的には、3つの吐出ノズルがあり、吐出ノズルは、2つの照明窓12と1つの観察窓13のそれぞれに、水、空気を吹き付けて洗浄するように構成されている。
 また、図3に示す先端面57に代えて、送気送水ポート64が、空気を吐出する送気ポートと水を吐出する送水ポートとが別べつに設けられてもよい。
 撮像素子14は、所定の画素配置を有するカラー撮像素子であり、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子14は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。撮像素子14の撮像画像の画像色成分における感度波長帯域を定める色フィルタが、固体撮像素子14の各受光位置の前方に設けられている。色フィルタは、例えば、赤(R)、緑(G)、青(B)の原色系フィルタが用いられる。撮像素子14は、プロセッサ200から送信されるクロックパルスに従ったタイミングで生体組織を繰り返し撮像する。
 なお、撮像素子14は、ローリングシャッター方式で撮像する。具体的には、ローリングシャッター方式の撮像では、撮像素子14の受光面の横方向に延びる1ラインあるいは複数ラインの画素を、1つの画素領域とし、画素領域毎に順次時間差を設けて露光を行う方式で、画素領域毎に、蓄積されている電荷を順次リセットした後、露光による電荷の蓄積を開始して蓄積した画像信号となる電荷を出力する(読み出す)方式である。したがって、撮像された1つのフレーム画像では、1ラインごとに、あるいは複数ラインごとに、露光したタイミングが一定の時間間隔でずれている。
 電子スコープ100の接続部50内には、図2に示すようにドライバ信号処理回路15及び図示されないメモリが備えられている。ドライバ信号処理回路15には、生体組織の画像信号がフレーム周期で撮像素子14から入力される。フレーム周期は、例えば、1/30秒である。ドライバ信号処理回路15は、撮像素子14から送られる画像信号に対して所定の処理を施してプロセッサ200の画像処理部26及び調整部28に出力する。
 ドライバ信号処理回路15は、また図示されないメモリにアクセスして電子スコープ100の固有情報を読み出す。メモリに記録される電子スコープ100の固有情報には、例えば、撮像素子14の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路15は、メモリから読み出された固有情報をシステムコントローラ21に出力する。
 システムコントローラ21は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。図示されないタイミングコントローラは、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープ100に適した処理がなされるように内視鏡システム1の各部分の動作やタイミングを制御する。
 ドライバ信号処理回路15では、システムコントローラ21によるタイミング制御に従って、図示されないタイミングコントローラからクロックパルスの供給を受ける。ドライバ信号処理回路15は、供給されるクロックパルスに従って、撮像素子14をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。これにより、撮像素子14は、連続的に被写体を撮像することにより、被写体のフレーム画像の画像信号を連続的に生成する。
 画像処理部26は、ドライバ信号処理回路15から1フレーム周期で入力される撮像画像の画像信号に対してデモザイク処理、マトリックス演算、色バランス処理等の所定の画像処理を施して、図示されないフレームメモリに出力する。フレームメモリは、入力される画像信号をバッファし、所定のタイミング制御に従って画像信号を出力する。画像処理部26は、さらに、出力された画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ400に出力される。これにより、電子スコープ100で撮像された生体組織体の動画がモニタ400の表示画面に表示される。すなわち、モニタ400は、画像処理を行ったフレーム画像を画面表示するように構成される。
 調整部28は、後述するRSAの低減のための調整をしつつ、撮像素子14の露光時間の調整と、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度の調整をする調整処理を行う部分である。具体的には、調整部28は、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量に関する情報、及び撮像される画像内の被写体像のエッジのぶれ量に関する情報の少なくとも一方の情報が調整条件を満足するか否かの判定を含む調整判定を行い、この調整判定の判定結果に応じて、調整処理の強弱の程度を値の大小で表す調整レベルを調整して上記調整処理を行うように構成されている。調整判定は、後述する調光量に関する判定も含むことも好ましい。
 このような内視鏡システム1において、撮像素子14は、上述したように、ローリングシャッター方式で撮像するので、撮像された1つのフレーム画像では、1ラインごとに、あるいは複数ラインごとに、露光したタイミングが一定の時間間隔でずれている。
 このため、画像内に、高速で飛翔する液滴が写り、あるいは、観察窓13に液体が接触(あるいは付着)して液体の流れを形成する場合もある。この場合、ローリングシャッター方式による撮像には、露光のタイミングのずれにより、エッジ化現象が発生する場合が多い。以降、このエッジ化現象を、ローリングシャッター方式に起因して、フレーム画像で撮像素子14の走査ラインに対応したラインに沿ってアーチファクトが発生することから、RSA(ローリングシャッターアーチファクト)という。
 図4(a),(b)は、フレーム画像内に生じるRSAを説明する図である。図4(a)に示すように液滴Drpが撮像画像の縦方向に移動する場合、ローリングシャッター方式では、図4(b)に示すように、1ラインあるいは複数ラインの画像領域が露光のタイミングをずらしながら順次露光、撮像するので、液滴Drpの像は、フレーム画像内で撮像素子14の走査ラインに対応したラインに沿って途切れる場合が生じる。これが、RSAである。したがって、縦方向の隣り合うライン間では、像が不連続となり、横方向に筋状に延びるエッジを形成する。液滴Drpには限らず、液体が流れを形成する場合、液体の流れによって生体組織の像がゆらいで、RSAを発生させる場合もある。
 なお、図4(b)に示す例では、1ラインあるいは複数ラインの画像領域は、隣にある画像領域と露光のタイミングにおいてお互いに重なる部分がない例を示しているが、隣り合う画像領域間で、露光のタイミングが一部分において重なってもよい。
 内視鏡システム1では、このようなRSAの発生し得る場合として、表面に異物が付着した観察窓13を、図3に示す送気送水ポート64から吐出させた液体で観察窓13の表面を洗浄する状況、及び、先端面57が生体組織に存在する液体と接触して、観察窓13に液体が接触して流れる状況が挙げられる。このため、調整部28(図2参照)は、RSAが発生する前に、RSAが発生し易い上述の状況になる場合を予測するために、連続して生成されるフレーム画像から算出される画像特徴量あるいは後述する調光量を用いて、RSAが発生しそうな状況を判定し、判定に応じて後述するRSAの発生の低減のための調整処理を行う。調整処理では、撮像素子14の露光時間を長くすることによりRSAを低減することができるが、これに伴ってフレーム画像の輝度が大きくなることから、撮像素子14の露光時間の調整に合わせて、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて行う。このとき、調整処理の強弱の程度を値の大小で表す調整レベルを、フレーム画像や調光量に基づいて調整して調整処理を行う。
 図5は、一実施形態である内視鏡システム1の調整部28の構成の一例を示すブロック図である。
 調整部28は、フレームメモリ29、動き検出部28a、液体接触検出部28b、ぶれ検出部28c、調光制御部28d、及び、調整値設定部28eを備える。
 動き検出部28aは、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量に関する情報を検出する部分である。動き量に関する情報は、現在のフレーム画像における被写体像の動き量、あるいは、現在のフレーム画像における被写体像の動き量の、直前のフレーム画像における被写体像の動き量に対する変化量を含む。以降では、動き量に関する情報として、現在のフレーム画像における被写体像の動き量を例としてあげて説明する。動き量は、隣接するフレーム画像との比較によって行うので、現在のフレーム画像に対して比較対象の直前のフレーム画像は、フレームメモリ29に一時保持され、現在のフレーム画像が供給されたとき、フレームメモリ29から直前のフレーム画像が読み出される。検出する動き量の程度についての具体的な説明は、後述する。
 なお、一実施形態によれば、動き検出部28aは、さらに、撮像素子14により取得した現在のフレーム画像の動き量の、直前のフレーム画像における動き量に対する変化量を、動き量に関する情報として検出することも好ましい。
 ぶれ検出部28cは、被写体像のエッジのぶれ量に関する情報を検出する部分である。ぶれ量に関する情報は、現在のフレーム画像における被写体像のエッジのぶれ量、あるいは、現在のフレーム画像における被写体像のエッジのぶれ量の、直前のフレーム画像における被写体像のエッジのぶれ量に対する変化量の少なくとも一方を含む。検出するぶれ量についての具体的な説明は、後述する。
 撮像素子14によって生成されるフレーム画像は、被写体の像が表示される表示領域と、電子スコープ1の撮像光学系に起因して表示領域に比べて輝度が低く、被写体の像が表示されない、表示領域の外側に形成されるケラレ領域とを、含む。
 液体接触検出部28bは、このケラレ領域の画素値に関する情報を算出する。ケラレ領域の画素値に関する情報は、ケラレ領域における画素値の積算値、ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの上記画素数の変化量の少なくとも1つを含む。観察窓13に液体が接触(あるいは付着)した場合、液体の屈折率によって視野角が広がり、ケラレ領域の画素値は、液体が接触(あるいは付着)していない場合のケラレ領域の画素値に比べて大きくなる。このため、ケラレ領域における画素値に関して調べることにより、液体が観察窓13に付着しているか否かを判定することができる。このケラレ領域についての具体的な説明は、後述する。
 調光制御部28dは、撮像素子14の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、現在のフレーム画像の輝度レベルが目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、現在のフレーム画像の輝度レベルが目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、撮像素子14で得られるフレーム画像の輝度レベルを調整する。したがって、調光制御部28dは、フレーム画像を取得すると、画素値を輝度値に変換して、有効画素(ケラレ領域以外の画素)の輝度値の総和を求め、有効画素数で除算することにより得られる平均輝度レベルを、現在の輝度レベルとして算出する。調光制御部28dは、現在の輝度レベルと目標輝度レベルとに基づいて、現在設定されている調光量を変更する。
 一実施形態によれば、現在設定されている調光量の値に、log(目標輝度レベル/現在の輝度レベル)/定数(定数は予め設定された値であり、例えば値が10に設定される)を加算した値を、今回新たに設定する調光量の値とする。なお、プロセッサ200の立ち上げ時の調光量の値は、所定の値、例えば50%に設定される。調光量の値が100%とは、光源装置200の光強度、撮像素子14の露光時間、及び撮像素子14のゲインレベルが最大であることを意味し、調光量の値が0%とは、光源装置200の光強度、撮像素子14の露光時間、及び撮像素子14のゲインレベルが最小であることを意味する。以降の調光量の例では、調光量の値を0~100%で表す。
 観察窓13が被写体に近づいて被写体からの反射光を大きく受けてフレーム画像の輝度値が大きくなると、調光量は低くなる。この場合、観察窓13は、被写体に接触して観察窓13に被写体にある液体が接触(付着)し易い状況になる。このため、現在の調光量の、直前の調光量に対する変化量は、観察窓13が被写体に近づいて観察窓13に被写体にある液体が接触(付着)し易い状況になることを反映している。
 また、観察窓被写体13が被写体に接触し、あるいは極めて近接した状態を維持する場合、被写体にある液体が観察窓13に接触(付着)し易い状況になっている。このため、調光量が予め定めた値より低い値を維持する維持時間は、観察窓13に被写体にある液体が接触(付着)し易い状況になることを反映している。
 このため、調光制御部28dは、調光量に関する情報として、現在の調光量の、直前の調光量に対する変化量、及び調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を算出することが好ましい。
 上述した動き量、ぶれ量、及びケラレ領域の画素値に関する情報は、まとめていうとき、画像特徴量という。画像特徴量、調光量、及び調光量の変化量は、調光値設定部28eにおいて調整レベル、さらには調整値を設定するために用いられる。
 調整値設定部28eは、動き検出部28a、ぶれ検出部28c、液体接触検出部28bから送られる上記画像特徴量及び調光制御部28dから送られる調光量及び調光量の変化を用いて、これらが調整条件を満足するか否かの判定結果に応じて、調整処理における調整レベルを調整して、調整処理を行う。調整レベルは、調整処理の強弱の程度を値の大小で表わしたもので、値が大きい程、調整処理の程度を強くすることを意味する。調整値設定部28eの判定及び調整レベルの調整についての具体的な説明は、後述する。
 図6は、動き量を算出する方法の例を説明する図である。動き検出部28aは、フレーム画像中の有効画素(ケラレ領域を除いた部分の画素)の画素値を輝度値に変換し、現在のフレーム画像の輝度値から、フレームメモリ29から読み出した直前のフレーム画像中の有効画素の画素値を変換した輝度値を、対応する画素間で引き算して輝度値の差分を求める。動き検出部28aは、さらに、この差分の頻度分布において、予め定めた閾値TH以上の差分を有する画素数Fに、所定の係数を乗算することにより、動き量を求める。観察窓13に液体が接触(あるいは付着)して流れ始める初期段階あるいは液体が流れる最中、上記閾値を越える差分の数は大きくなる。このため、動き量が予め定めた閾値を越える場合、RSAは発生しやすい状況であるといえる。なお、上述の例では、予め定めた閾値TH以上の差分を有する画素数Fに、所定の係数を乗算した値を、動き量として求めるが、輝度値の差分を用いて動き量を求める方法は、上述の方法に限定されない。
 図7は、上述の方法で得られる動き量の時間変化の一例を示す図である。写真Im1の状態では、動き量が小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、動き量が大きく、しかも変動している。その後、水の供給を停止したときの写真Im3の状態では、動き量は小さく、安定している。このように、動き量は、観察窓13を流れる液体の有無を反映している。
 図8は、ぶれ量を算出する方法の例を説明する図である。ぶれ検出部28cは、フレーム画像中の有効画素の各画素に対して微分フィルタ、例えば5画素×5画素の微分フィルタを用いて、フレーム画像の縦方向に延びるエッジの強さを表す横方向の微分値を算出する。画素値が急激に変化するエッジに相当する画素ではフィルタ処理した結果の値は大きくなる。ぶれ検出部28cは、さらに、横方向の微分値のフレーム画像における頻度分布において、予め定めた閾値TH以下の微分値を有する画素数Fに、所定の係数を乗算することにより、ぶれ量を求める。横方向の微分値は、RSAのように、横方向に線状に延びたエッジの程度及びその発生数を反映せず、縦方向に延びたエッジの程度及びその発生数を反映するので、横方向の微分値に基づいて求めるぶれ量は、横方向に線状に延びるRSAの発生を反映しない。しかし、観察窓13に液体が流れている場合のように、液体の流れは、縦方向及び横方向に被写体の像がぶれてあるいはぼけて縦方向及び横方向のエッジを少なくするので、縦方向に延びるエッジの発生数が少ないほど液体の流れによる被写体像のぶれ量は大きくなるといえる。このため、RSAの発生に影響されない横方向の微分値のうち、微分値が閾値TH以下の微分値を有する画素数Fは、観察窓13に付着する液体の流れによって被写体の像がぶれるぶれ量の程度を反映している、といえる。
 図9は、フレーム画像に横方向の微分値を算出する微分フィルタを適用したときのフレーム画像の各画素の総和の値の時間変化の一例を示す図である。写真Im1の状態では、微分値の総和は大きく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、微分値の総和は小さくなっている。その後、水の供給を停止したときの写真Im3の状態では、微分値の総和は大きく、安定している。このように、横方向の微分値の総和(横方向のエッジの総和)が小さいほど、ぶれ量が大きくなるといえる。このため、ぶれ検出部28cは、横方向の微分値のフレーム画像における頻度分布において、予め定めた閾値TH以下の微分値を有する画素数Fに、所定の係数を乗算することにより、ぶれ量の程度を示す値を求める。なお、ぶれ量の算出方法は、上記方法に制限されず、ぶれ量は、横方向の微分値の情報に基づいて、微分値が多くなればなるほど、値が小さくなるように設定できる限りにおいて、ぶれ量の算出方法は特に制限されない。
 図10は、ケラレ領域を説明する図である。図10に示すように、撮像素子14によって生成されるフレーム画像Imは、被写体の像が表示される丸い表示領域Im4と、電子スコープ1の撮像光学系に起因して表示領域に比べて輝度が低く、被写体の像が表示されない、表示領域の外側に形成されるケラレ領域Dfとを、含む。ケラレ領域Dfは、予め定められた範囲に形成される。図10に示す例では、矩形領域のフレーム画像Imの四隅に形成されている。このケラレ領域Dfは、電子スコープ1の撮像光学系(円形状のレンズ群)に起因して得られる領域である。しかし、観察窓13に液体が接触(あるいは付着)すると、液体は空気に比べて屈折率が高いので、この屈折率によって、ケラレ領域Dfにも光が到達する。したがって、このケラレ領域Dfの画素値に関する情報を求めることで、観察窓13に液体が付着しているか否かを判定することができる。
 図11は、ケラレ領域Dfにおける画素値に関する情報の一例である画素値の積算値の時間変化の一例を示す図である。写真Im1の状態では、ケラレ領域Dfにおける画素値の積算値は小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、ケラレ領域Dfにおける画素値の積算値が大きくなる。その後、水の供給を停止したときの写真Im3の状態では、ケラレ領域Dfにおける画素値の積算値は小さく、安定している。このように、上記積算値は、観察窓13に接触(あるいは付着する)液体の有無を反映している。図11に示す例では、ケラレ領域Dfの画素値に関する情報として、ケラレ領域Dfにおける画素値の積算値を用いるが、ケラレ領域Dfにおける画素値が予め定めた閾値を越える画素の画素数Fを用いてもよい。
 また、図11に示すように、ケラレ領域Dfの画素値の積算値が液体の接触により急に積算値が大きくなり、あるいは、上記画素数が急激に増大することから、現在のフレーム画像Imにおける積算値あるいは画素数Fの、直前のフレーム画像Imにおける積算値あるいは画素数Fからの変化量を、画像特徴量に関する情報としてもよい。
 また、観察窓13に接触した液体が流れ始めその流速が大きくなるほどRSAの発生し得る状況に近づくので、動き量の変化を、上述の画像特徴量として算出することも好ましい。
 さらに、観察窓13上に生体組織にある液体が接触(あるいは付着)することは、生体組織表面に電子スコープ100の先端面57を近づけることにより生じる。生体組織表面に電子スコープ100の先端面57を近づけるとき、電子スコープ100で撮像される画像の輝度は徐々に上がる。このため、上述の調光制御部28dの調光量の調整により、調光量は徐々に小さくなる。したがって、現在のフレーム画像に対して設定される調光量の、直前のフレーム画像に対して設定される調光量からの変化が負であり、かつ、その変化量の絶対値が予め定めた閾値より大きくなる場合、観察窓13が生体組織にある液体に接触してRSAが発生し得る状況に近づく、といえる。このため、調光制御部28dは、現在のフレーム画像に対して設定される調光量の、直前のフレーム画像に対して設定される調光量からの変化量が算出されることが好ましい。
 このような画像特徴量に関する情報、及び調光量の変化量が、調整値設定部28eに送られる。
 図12は、一実施形態の内視鏡システム1で行われる調整処理のフローの一例を示す図である。まず、内視鏡システム1が立ち上げられると、調整部28は、画像特徴量及び調整処理の強弱の程度を表す調整レベルをゼロリセットし、調光量を50%に設定する(ステップS10)。この後、撮像素子14により被写体の撮像が行われることにより、調整部28は、フレーム画像の画像データを取得する(ステップS12)。調整部28が画像データを取得すると、調整部28の動き検出部28a、ぶれ検出部28c、液体接触検出部28b、及び調光制御部28dは、各画像特徴量及び調光量を上述したように算出する(ステップS14)。
 次に、調整値設定部28eは、RSAを低減するとともに画像の輝度を調整するための調整処理における処理の強弱を示す調整レベルを設定する(ステップS14)。調整レベルは、画像特徴量の値及び調光量の変化に応じて設定される。調整レベルの設定については、後述する。
 さらに、調整値設定部28eは、設定した調整レベルと調光量に基づいて、光源部310が照射する照明光の光強度レベル、撮像素子14が行う露光時間の長さ、及び撮像素子14が生成した撮像信号の信号レベルを定めるゲインレベルの調整値を設定する(ステップS18)。
 設定された光強度レベル、露光時間の長さ、及びゲインレベルの値は、システムコントローラ21に送られ、システムコントローラ21において光強度レベル、露光時間の長さ、及びゲインレベルに関する制御信号が作成される。この制御信号は、光量制御回路340及び撮像素子14に送られて、光強度レベル、露光時間の長さ、及びゲインレベルの値が、光量制御回路340及び撮像素子14に指示される。ゲインレベルに基づくゲイン調整は、撮像素子14に内蔵される図示されないアンプのゲインに対して行われる。
 調整部28は、画像データの入力が終了したか否かを判定し(ステップS22)、画像データの入力が終了したと判定した場合、調整値の設定を終了する。一方、調整部28に、画像データの入力が終了していない、すなわち、次のフレーム画像が取得されると判定した場合、画像特徴量及び各種内部パラメータをゼロリセットして(ステップS24)、新たな画像データを取得する(ステップS12)。このように画像データが入力する毎に、調整レベル、及び調整値が設定される。
 図13は、図12に示すステップS16における調整レベルの設定のフローの一例を示す図である。
 調整値設定部28eは、動き量、動き量の変化(現在のフレーム画像における動き量から、直前のフレーム画像における動き量を差し引いた差分)、及びぶれ量等の画像特徴量に関する情報、及び調光量の変化量(現在のフレーム画像で設定された調光量から、直前のフレーム画像で設定された調光量を差し引いた差分)が予め設定された調整条件を満足するか否かを判定する(調整判定をする)(ステップS30)。調整条件は、動き量、動き量の変化、ぶれ量、及び調光量の変化量毎に設定されている。調整値設定部28eは、例えば、動き量が予め設定された第1閾値より大きいか否か、ぶれ量が予め設定された第2閾値より大きいか否か、動き量の変化が、予め設定された第3閾値より大きいか否か、調光量の変化量が負であり、調光量の変化量の絶対値が予め定めた第5閾値より大きいか否か、を判定する。
 このような判定の他に、ぶれ量の変化量、調光量が予め定めた値よりも低い値を維持する維持時間を調整条件の判定に用いてもよい。
 このような複数の判定では、いずれか1つの判定が肯定される場合、調整値設定部28eは、現在設定される調整レベルに対して、10%加算した値を、新たな調整レベルとして設定する(ステップS32)。なお、上記調整判定では、判定対象の複数の情報のうち少なくともいずれか1つの情報の判定が肯定される場合、ステップS32の処理を行うが、判定対象の複数の情報のうち少なくとも2つが調整条件を満足する場合に、ステップS32の処理を行うようにしてもよい。
 また、調整レベルは、調整処理の強弱の程度を表す値として%表示で表される。調整レベルは、調整処理を全く行わない場合を0%とし、調整処理を最も強く行った場合を100%として、調整処理の強さを設定した値である。なお、調整レベルは、内視鏡システム1の立ち上げ時、ゼロに設定される。
 一方、ステップS30でいずれの判定も否定される(調整判定の判定結果が否定である)場合、調整値設定部28eは、ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値より大きいか、否かを判定する(ステップS34)。ケラレ領域Dfにおける画素値の積算値が予め定めた第6閾値より大きい場合、RSAが発生している可能性が極めて高いので、RSAを低減するための調整処理の調整レベルを維持する(ステップS36)。ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値以下であると判定した場合、調整値設定部28eは、RSAが発生しているが、その発生数は小さくなっている、あるいは、RSAは発生していないとして、調整レベルを10%減算した値を新たな調整レベルとして設定する(ステップS38)。
 このように、調整値設定部28eは、画像調整量及び調光量の変化に基づいて調整レベルを設定する。なお、ステップ34の判定では、ケラレ領域Dfにおける画素値の積算値を用いるが、積算値に代えて、ケラレ領域Dfにおける画素値が閾値を越える画素の画素数Fを用いてもよい。
 図14は、図12に示すステップS18における調整値の設定のフローの一例を示す図である。
 調整値設定部28eは、調整レベル0%で調整処理を行った場合、すなわち、調整処理を全く行わない場合の光強度レベル、露光時間、及びゲインレベルそれぞれの第1設定値と、調整レベル100%で調整処理を行った場合の光強度レベル、露光時間、及びゲインレベルそれぞれの第2設定値とを用いて、第1設定値と第2設定値の間で、調整レベルに応じた内挿を行うことにより、光強度のレベル、露光時間の時間長さ、及びゲインレベルの調整値を定める。
 すなわち、調整値設定部28eは、RSA低減処理である調整処理を行わない場合の非調整処理用参照テーブル(第1参照テーブル、以降、通常用参照テーブルという)と、RSA低減処理用参照テーブル(第2参照テーブル)を参照することにより、調光制御部28dから送られた調光量に基づいて、通常用参照テーブルから第1設定値である光強度レベルI、露光時間T、及びゲインGを取り出し、RSA低減処理用参照テーブルから、第2設定値である光強度レベルI、露光時間T、及びゲインGを取り出す(ステップS50)。通常用参照テーブル及びRSA低減用参照テーブルのそれぞれは、調光量に対する光強度レベル、露光時間、及びゲインの対応関係が定められたものである。対応関係は、調光量の変化に対する光強度レベル、露光時間、及びゲインの変化を表す。図15(a)は、通常用参照テーブルの一例を示す図であり、図15(b)は、RSA低減用参照テーブルの一例を示す図である。図15(a),(b)では、予め設定された光強度レベル、露光時間、及びゲインレベルを基準として規格化して%表示で表されている。
 図15(a),(b)からわかるように、調光量に対する露光時間及び光強度レベルの変化が、通常用参照テーブルとRSA低減処理用参照テーブルの間で異なっている。RSA低減処理用参照テーブルでは、調光量が小さい部分では、RSAの発生を低減するために露光時間を、通常用参照テーブルにおける対応する露光時間に比べて長くしている。しかし、露光時間を長くすることによって画像の輝度が高くなることから、輝度増大を抑制するために、光強度レベルを低下している。なお、図示例では、通常用参照テーブル及びRSA低減用参照テーブル間で、ゲインレベルは、略同じであるが、露光時間、光強度レベル、及びゲインレベルを通常用参照テーブル及びRSA低減用参照テーブル間で異ならせてもよい。この場合、露光時間と光強度レベルとゲインレベルの積が通常用参照テーブル及びRSA低減用参照テーブルの間で同じになるように設定されていることが、調整処理をしても、画像における輝度レベルが変化しないようにする点から、好ましい。
 調整値設定部28eは、取り出した光強度レベルI、露光時間T、及びゲインGと、光強度レベルI、露光時間T、及びゲインGとの間で、調整レベルに応じた内挿を行うことにより、光強度レベルI、露光時間T、及びゲインGの値を設定する(ステップS52)。
 図14のステップS52に示す式を変形すると、例えば、光強度レベルIは、I=I (1-α)・I αとなる(αは調整レベルを100で割った値)。すなわち、調整レベルα=0(調整処理をしない)の場合、I=Iとなり、調整レベルα=1(調整処理を最大強度で行う)の場合、I=Iとなる。調整レベルαが0より大きく、1未満の場合、IとIが係る指数が、調整レベルαによって割り振られて、内挿された値が設定される。
 したがって、一実施形態によれば、調整レベルαは、調整処理の程度が強い程値が高く、調整レベルαの値が高い程、調整値は光強度レベルI、露光時間T、及びゲインG(第2設定値)に近づくことが好ましい。
 このように設定された光強度レベルI、露光時間T、及びゲインGの値の情報は、光量制御回路340及び撮像素子14に制御信号として送信される。
 内視鏡システム1では、プロセッサ200の調整部28において、撮像素子14の露光時間の調整と、照明光の光強度の調整及びゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行い、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量に関する情報及び被写体像のエッジのぶれ量に関する情報の少なくとも一方の情報が調整条件を満足するか否かの判定を含む調整判定を行い、この調整判定の判定結果に応じて、RSA低減のための調整処理の強弱の程度を値の大小で表す調整レベルを調整して調整処理を行うように構成されている。したがって、RSAが発生する前からRSA低減のための調整処理を行うことができる。しかも、調整レベルを画像内の少なくとも被写体像の動き量に関する情報あるいはぶれ量に関する情報に基づいて調整するので、調整レベルにより調整処理の強弱を付けてRSAの発生を抑制する調整処理を効率よく行うことができる。被写体像の動き量あるいはぶれ量は、観察窓13に液体が接触する直前や接触した場合に大きくなり易く、RSAの発生を予測するための指標として有効に用いることができる。
 さらに、調整部28は、被写体像のエッジのぶれ量に関する情報と動き量に関する情報の判定を行い、これらの判定結果に応じて、調整レベルを調整するように構成さることにより、RSAの発生し得る情況を、より漏らすことなく判定することができる。例えば、動き量に関する調整条件は、例えば動き量が第1閾値を越えるか否かである。エッジのぶれ量に関する調整条件は、例えばぶれ量が第2閾値を越えるか否かである。
 なお、動き量に関する情報は、現在のフレーム画像における被写体像の動き量、及び、現在のフレーム画像における被写体像の動き量の、直前のフレーム画像における前記被写体像の動き量に対する変化量の少なくとも一方を含む、ことが好ましい。また、ぶれ量に関する情報は、現在のフレーム画像における被写体像のぶれ量、あるいは、現在のフレーム画像における被写体像のぶれ量の、直前のフレーム画像における被写体像のぶれ量に対する変化量の少なくとも一方を含む、ことが好ましい。これにより、調整部28は、RSAの発生し得る情況を、漏らすことなく判定することができる。動き量の変化量あるいはぶれ量の変化量に関する調整条件は、例えば動き量の変化量あるいはぶれ量の変化量が閾値を越えるか否かである。
 また、調整部28は、上述したように、調光量に関する情報の判定結果に少なくとも応じて、調整レベルを調整するように構成されることが好ましい。調整部28は、調光量を用いて、撮像素子14で得られる画像の輝度レベルを調整するので、輝度レベルを目標輝度レベルに効率よく達成することができる。調整部28は、観察窓13が生体組織にある液体に接触(あるいは付着)する程度に、先端面72が被写体に近づくとき、フレーム画像の輝度レベルが上昇しないように調光量を低下させるので、このような場合を想定して、調整レベルを調整することが好ましい。すなわち、現在の調光量(現在のフレーム画像に対して設定される調光量)の、直前の調光量(直前のフレーム画像に対して設定される調光量)に対する変化量が、調整条件を満足するか否かの判定を行い、調整部28は、動き量あるいはぶれ量に関する情報の判定結果と、調光量の変化量の判定結果とに応じて、調整レベルを調整するように構成される。調光量の変化量に関する調整条件は、例えば調光量の変化量が負であり、調光量の変化量の絶対値が第5閾値より大きいか否かである。
 また、観察窓13が被写体に接触し、あるいは被写体に極めて近接した状態を維持する場合、上述したように、観察窓13に被写体にある液体が接触(付着)し易い状況になっていることを考慮して、調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を算出することが好ましい。
 これにより、調整部28は、RSAの発生し得る情況を、より漏らすことなく判定することができる。
 調整部28は、ケラレ領域Dfにおける画素値に関する情報が調整条件を満足するか否かの判定を、動き量あるいはぶれ量に関する情報の判定の他に行い、調整部28は、動き量あるいはぶれ量に関する情報の判定結果とは別に、上記ケラレ領域Dfにおける画素値に関する情報の判定結果に少なくとも応じて、調整レベルを調整するように構成されるので、調整部28は、RSAの発生し得る情況を、より漏らすことなく判定することができる。ケラレ領域Dfにおける画素値に関する情報は、上述したように、ケラレ領域Dfにおける画素値の積算値、ケラレ領域Dfにおける画素値が予め定めた閾値を越える画素の画素数F、現在のフレーム画像の直前のフレーム画像からの積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの画素数Fの変化量の少なくとも1つを含むことが好ましい。ケラレ領域Dfにおける画素値の積算値に関する調整条件は、例えば積算値が第4閾値より大きいか否かである。
 上述したように、調整部28は、撮像素子14からフレーム画像が得られる度に、図13に示すステップS30のように調整条件を用いて調整判定を行い、調整判定が肯定の場合、例えば、判定対象の複数の情報のうち少なくとも1つの情報の判定が肯定の場合、図13に示すステップS32のように調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも大きくするので、調整レベルをフレーム画像に応じて逐次調整することができる。
 調整部28によるステップS30の調整判定の判定結果が否定であり、ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値より大きい場合、調整値設定部28eは、調整レベルの値を直前のフレーム画像で定められている調整レベルの値に維持するので、フレーム画像に応じて調整レベルを適正に維持することができる。
 また、調整部28によるステップS30の調整判定の判定結果が否定であり、ケラレ領域Dfにおける画素値の積算値が第4閾値以下である場合、現在のフレーム画像における調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも小さくするので、調整レベルをフレーム画像に応じて逐次調整することができる。
 なお、図13に示すフローでは、ステップS34において、ケラレ領域Dfにおける画素値の積算値を算出して第4の閾値と比較することで判定を行うが、積算値に代えて、フレーム画像内に発生するRSAの発生量(以降、RSA量という)が予め設定された第7の閾値と比較し、RSA量が第7閾値より大きい場合、ステップS36の処理を行い、RSA量が第7の閾値以下の場合、ステップS38の処理を行うようにしてもよい。図16は、RSA量の算出方法の一例を説明する図である。
 図16に示す例では、フレーム画像の各画素における縦方向の微分値から横方向の微分値を差し引いた値の頻度分布において、閾値TH以上の画素の総数に所定の係数を乗算したものを、RSA量として定める。縦方向の微分値は、RSAのエッジの他に被写体像の縦方向のぶれも反映している。横方向の微分値は、RSAのエッジを反映せず、フレーム画像の横方向のぶれを反映している。ここで、縦方向のぶれは、横方向のぶれと同程度であると想定して、縦方向におけるぶれを除去するために、縦方向の微分値から横方向の微分値を差し引いた値を用いる。
 このようなRSA量を、図13に示すステップS34のケラレ領域Dfにおける画素値の積算値に代えて用いることができる。
 図17は、上述の方法により得られるRSA量の時間変化の一例を示す図である。写真Im1の状態では、RSA量の値は小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、RSA量の値は大きくなり、しかも変動している。その後、水の供給を停止したときの写真Im3の状態では、RSA量の値は小さく、安定している。このように、RSA量の値は、RSAの発生数を反映している。
 したがって、一実施形態によれば、調整部28は、フレーム画像内において、RSAの発生の程度を表す指数であるRSA量を算出するRSA検出部(指数算出部)を有し、調整部28は、図13に示すステップS30における判定結果が否定であり、RSA量が予め定めた第7閾値より大きい場合、図13に示すステップS36のように、調整レベルの値を直前のフレーム画像で定められている調整レベルの値に維持することが好ましい。これにより、フレーム画像に応じて調整レベルを維持させることができる。
 また、調整部28は、図13に示すステップS30における判定結果が否定であり、RSA量が予め定めた第7閾値以下の場合、図13に示すステップS38のように、現在のフレーム画像における調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも小さくすることが好ましい。これにより、調整レベルをフレーム画像に応じて逐次調整することができる。
 上述したように、調整部28は、RSA量を検出する場合、以下の調整部28の構成を用いて調整レベルを調整して、RSA低減のための調整処理を行うことができる。
 図18は、図5に示す調整部28と異なる一実施形態の調整部28のブロック構成図である。図18に示す調整部28は、図5に示す液体接触検出部28bに代えてRSA検出部28fを備え、それ以外の部分は、図5に示す調整部28と同じである。したがって、図18では、調光制御部28d、ぶれ検出部28c、フレームメモリ29、及び動き検出部28aの説明は省略する。
 RSA検出部28fは、フレーム画像内において、RSAの発生量の程度を表す指数であるRSA量を算出する部分(指数算出部)である。RSA検出部28fは、例えば、図16に示す方法によりRSA量を算出する。算出されたRSA量は、調整値設定部28eに送られる。調整値設定部28は、撮像素子14の露光時間の調整と、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行う部分である。具体的には、調整値設定部28は、RSA量が調整条件を満足するか否かの判定結果に応じて、調整処理の強弱の程度を値の大小で表す調整レベルを調整して、調整処理を行うように構成される。この場合、動き検出部28aから送られる画像特徴量が調整条件を満足するか否か、及び調光制御部28dから送られる調光量の変化量が調整条件を満足するか否かの判定を、RSA量が調整条件を満足するか否かとともに判定してもよい。RSA量に関する調整条件は、RSA量が第8閾値より大きいか否かである。
 この場合、図13に示すステップS30のように、画像特徴量が調整条件を満足するか否か、及び調光制御部28dから送られる調光量の変化量が調整条件を満足するか否か、RSA量が調整条件を満足するか否か、のうちすべての判定で否定された場合、ケラレ領域における画素値の積算値が第4閾値より大きいか否かを判定する図13に示すステップS34の判定の代わりに、RSA量が第7閾値より大きいか否かの判定を行うとよい。
 図19(a),(b)は、RSA量と動き量を示す値の時間変化の一例を示す図である。図19(a),(b)では、観察窓13に洗浄水を供給したときのRSA量と被写体像の動き量の時間変化を示している。洗浄水の送水を開始してから、観察窓13に水が接触して流れを形成するまでの初期段階Tstでは、RSA量は増加しないが、水の接触による被写体像の動きを反映して、動き量が増大している。一方、初期段階Tst以降では、RSA量が増大しているが、被写体像の動きは安定するため、動き量は低下している。このように、RSA量は、RSAの発生が持続しているときには大きな値になる。したがって、RSAが発生する前に、動き量によりRSAが発生しそうな状況になっているか否かを判定することができ、RSAが発生し持続している場合、RSA量を、調整処理の調整レベルを維持するべきか、調整レベルを低下させるべきか、の指標とすることができる。
 図20(a),(b)も、RSA量と動き量の時間変化の一例を示す図である。図20(a),(b)では、被写体である生体組織に観察窓13が接近して、生体組織に存在する液体が接触したときのRSA量と被写体像の動き量の時間変化を示している。この場合においても、初期段階Tstでは、RSA量は増加しないが、液体の付着による被写体像の動きを反映して、動き量が増大している。一方、初期段階Tst以降では、RSA量が増大しているが、被写体像の動きは安定するため、動き量は比較的低下している。
 図21は、図18に示す調整部28を用いて一実施形態の調整処理を行ったときのRSA量と調整レベルの時間変化の一例を示す図である。写真Im1の状態では、RSAは発生せず、RSA量は小さく安定している。この状態から、観察窓13の洗浄のために水を観察窓13に供給したとき、RSAが発生してRSA量は増加を開始するが、これに伴って徐々に大きくなる調整レベルで調整処理を行うので、写真Im2に示すように被写体像のRSAの発生を抑えることができる。その後、水の供給を停止したときの写真Im3の状態では、RSAの発生はなくなり、RSA量は小さくなっている。これに伴って、調整レベルも、徐々に低下している。このように、写真Im2では、調整レベルを設定して、露光時間と、光強度レベル及びゲインレベルの少なくともいずれか1つとを組み合わせて調整処理を行うので、写真Im2における輝度レベルは、写真Im1,Im3の輝度レベルと略同じに維持されていることがわかる。
 このように、RSA量が調整条件を満足するか否かの判定結果に応じて、調整レベルを調整して、調整処理を行うように構成されるので、RSAの発生に対応させて調整レベルを種々調整することができる。
 調整値設定部28eは、図15(a),(b)に一例が示されるように、調光量に対して、光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルを定める通常用参照テーブル(第1参照テーブル)とRSA低減用参照テーブル(第2参照テーブル)を備える。
 ここで、一実施形態によれば、調光量の値に対する光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルの各値を乗算した積が、調光量の取り得る値の全範囲にわたって、通常用参照テーブルとRSA低減用参照テーブルの間で一致する一方、通常用参照テーブル及びRSA低減用参照テーブルの間では、調光量の値に対する光強度のレベルの対応関係、及び調光量の値に対する露光時間の時間長さの対応関係が互いに異なっている。言い換えると、調光量の変化に対する光強度のレベル及び露光時間の時間長さの変化が通常用参照テーブル及びRSA低減用参照テーブルの間で異なり、光強度のレベルの値及び露光時間の時間長さが互いに異なっている。
 調整値設定部28eは、一実施形態によれば、調光量の値に応じて通常用参照テーブル(図15(a)に示す参照テーブル)から定まる光強度のレベル、露光時間の時間長さ、及びゲインレベルのそれぞれの第1設定値と、調光量の値に応じてRSA低減用参照テーブル(図15(b)に示す参照テーブル)から定まる光強度のレベル、露光時間の時間長さ、及びゲインレベルのそれぞれの第2設定値と、を取り出す。この第1設定値と第2設定値とを用いて、第1設定値と第1設定値に対応する第2設定値との間で調整レベルに応じた内挿を行うことにより、調整処理で用いる光強度のレベル、露光時間の時間長さ、及びゲインレベルの調整値を定めるように構成される。このため、調整レベルに応じた調整値を設定することができる。調整レベルが0%である場合、通常用参照テーブルにより設定される第1設定値が調整値になる。
 このように調整レベルに応じて、第1設定値と第2設定値との間で内挿を行うので、適切な強さで調整処理を行うことができる。しかも、通常参照用テーブルとRSA低減用参照テーブルの間で、光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルの各値を乗算した積が、調光量の取り得る値の全範囲にわたって一致するので、調整処理を行っても、画像の輝度レベルの変化を生じさせない。
 一実施形態によれば、通常用参照テーブル及びRSA低減用参照テーブルにおいて、調光量の最高値における光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は、調光量の最低値における光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積に比べて大きいことが好ましい。調光量が最高値である場合、画像の輝度レベルは極めて低いので、画像の輝度レベルを短時間に調整するためには、光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は大きいことが好ましく、調光量が最低値である場合、画像の輝度レベルは極めて高いので、光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は小さいことが好ましい。その際、RSA低減用参照テーブルの露光時間の時間長さは、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する露光時間の時間長さに比べて短くならない。このとき、RSA低減用参照テーブルの光強度レベルの値とゲインレベルの値の積は、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する光強度レベルの値とゲインレベルの値の積に比べて大きくならないことが、フレーム画像の輝度レベルを調整処理の有無及び調整処理における調整レベルによって変化させない点から好ましい。
 RSAを低減するための調整処理では、調整レベルが大きくなるにつれて、露光時間の時間長さを長くしてRSAを抑制する場合が多いので、露光時間の時間長さを長くする調整処理によって輝度レベルが大きくならないようにするために、RSA低減用参照テーブルの光強度レベルの値とゲインレベルの値の積は、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する光強度レベルの値とゲインレベルの値の積に比べて小さくすることが好ましい。
 一実施形態によれば、通常用参照テーブル及びRSA低減用参照テーブルは、調光量の値に対して、RSA低減用参照テーブルの露光時間の時間長さが、通常用参照テーブルの露光時間の時間長さに比べて長く、RSA低減用参照テーブルの光強度のレベルが通常用参照テーブルの光強度のレベルに比べて小さい、調光量の範囲を有することが、調整処理における調整レベルの変化によってフレーム画像の輝度レベルを変化させない点から、好ましい。
 以上、本発明の内視鏡システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 内視鏡システム
11 LCB
12 照明窓
13 観察窓
14 撮像素子
15 ドライバ信号処理回路
21 システムコントローラ
24 操作パネル
26 画像処理部
28 調整部
28a 動き検出部
28b 液体接触検出部
28c ぶれ検出部
28d 調光制御部
28e 調整値設定部
28f RSA検出部
29 フレームメモリ
50 操作部
51 ケーブル
52 操作部
54 挿入部
56 先端部
57 先端面
58 可撓管
60 屈曲部
62 処置具用開口
64 送気送水ポート
200 プロセッサ
300 光源装置
310 光源部
340 光量制御回路
350 集光レンズ
400 モニタ
 

Claims (20)

  1.  体腔内の生体組織の撮像画像を画面表示する内視鏡システムであって、
     生体組織を照明する照明光を生成するように構成された光源装置と、
     生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
     前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、撮像される前記画像内の被写体像の隣接するフレーム画像間における動き量に関する第1情報、及び撮像される前記画像内の被写体像のエッジのぶれ量に関する第2情報の少なくとも一方の情報が調整条件を満足するか否かの判定を含む調整判定をし、前記調整判定の判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
     画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
    を備える、ことを特徴とする内視鏡システム。
  2.  前記動き量に関する前記第1情報は、現在のフレーム画像における前記被写体像の前記動き量、及び、前記現在のフレーム画像における前記被写体像の前記動き量の、直前のフレーム画像における前記被写体像の前記動き量に対する変化量の少なくとも一方を含む、請求項1に記載の内視鏡システム。
  3.  前記ぶれ量に関する前記第2情報は、現在のフレーム画像における前記被写体像のぶれ量、あるいは、現在のフレーム画像における前記被写体像のぶれ量の、直前のフレーム画像における前記被写体像のぶれ量に対する変化量の少なくとも一方を含む、請求項1または2に記載の内視鏡システム。
  4.  前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、請求項1~3のいずれか1項に記載の内視鏡システム。
  5.  前記調整部は、前記調整判定として、前記調光量に関する第3情報が調整条件を満足するか否かの判定をさらに行い、前記調整判定の前記判定結果は、前記第3情報の判定結果を含む、請求項4に記載の内視鏡システム。
  6.  前記調光量に関する前記第3情報は、現在の前記調光量の、直前の前記調光量に対する変化量、及び前記調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を含む、請求項5に記載の内視鏡システム。
  7.  前記フレーム画像は、前記被写体像が表示される表示領域と、前記電子内視鏡の撮像光学系に起因して前記表示領域に比べて輝度が低く、前記被写体像が表示されない、前記表示領域の外側に形成されるケラレ領域とを、含み、
     前記調整部は、前記ケラレ領域における画素値に関する第4情報が調整条件を満足するか否かの判定をさらに行う、請求項1~6のいずれか1項に記載の内視鏡システム。
  8.  前記ケラレ領域における画素値に関する前記第4情報は、前記ケラレ領域における画素値の積算値、前記ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの前記積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの前記画素数の変化量の少なくとも1つを含む、請求項7に記載の内視鏡システム。
  9.  前記調整部は、前記撮像素子から前記フレーム画像が得られる度に、前記調整判定をし、前記調整判定の前記判定結果が肯定の場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも大きくする、請求項1~8のいずれか1項に記載の内視鏡システム。
  10.  前記調整部は、前記調整判定として、複数の判定を行い、前記複数の判定の内の少なくとも1つの判定あるいは少なくとも2つの判定の判定結果が肯定である場合、前記調整判定の前記判定結果を肯定とする、請求項9に記載の内視鏡システム。
  11.  前記調整部による前記調整判定の前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、請求項8に記載の内視鏡システム。
  12.  前記調整部による前記調整判定の前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が前記閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、請求項8または11に記載の内視鏡システム。
  13.  前記調整部は、前記フレーム画像内において、前記ローリングシャッター方式に起因して、前記撮像素子の走査ラインに対応するラインに沿って発生するアーチファクトの発生量の程度を表す指数を算出する指数算出部を有し、
     前記調整部による前記調整判定の前記判定結果が否定であり、前記指数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、請求項1~6のいずれか1項に記載の内視鏡システム。
  14.  前記調整部による前記調整判定の前記判定結果が否定であり、前記指数が予め定めた閾値以下である場合、現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、請求項13に記載の内視鏡システム。
  15.  体腔内の生体組織を撮像した画像を画面表示する内視鏡システムであって、
     生体組織を照明する照明光を生成するように構成された光源装置と、
     生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
     前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記ローリングシャッター方式に起因して、前記フレーム画像内で前記撮像素子の走査ラインに対応したラインに沿ってアーチファクトが発生する程度を表すアーチファクト発生指数を算出するように構成された指数算出部と、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記アーチファクト発生指数の大きさが調整条件を満足するか否かの判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して、前記調整処理を行うように構成された調整部と、を有するプロセッサと、
     画像処理を行った前記フレーム画像を画面表示するモニタと、
     を備える、ことを特徴とする内視鏡システム。
  16.  前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、請求項15に記載の内視鏡システム。
  17.  前記調整部は、前記調光量に対して、前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルを定める第1参照テーブルと第2参照テーブルを備え、
     前記調光量の値に対する前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルの各値を乗算した積が、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルと前記第2参照テーブルの間で一致する一方、前記第1参照テーブル及び前記第2参照テーブルの間では、前記調光量の値に対する前記光強度のレベルの対応関係、及び前記調光量の値に対する前記露光時間の時間長さの対応関係が互いに異なり、
     前記調整部は、前記調光量の値に応じて前記第1参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第1設定値と、前記調光量の値に応じて前記第2参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第2設定値と、を用いて、前記第1設定値と前記第1設定値に対応する前記第2設定値との間で前記調整レベルに応じた内挿を行うことにより、前記調整処理で用いる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの調整値を定めるように構成される、請求項4、5、及び16のいずれか1項に記載の内視鏡システム。
  18.  前記第1参照テーブル及び前記第2参照テーブルのいずれにおいても、前記調光量の最高値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積は、前記調光量の最低値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積に比べて大きく、
     前記第2参照テーブルの前記露光時間の時間長さは、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記露光時間の時間長さに比べて短くならず、
     前記第2参照テーブルの前記光強度のレベルの値と前記ゲインレベルの値の積は、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記光強度のレベルの値と前記ゲインレベルの値の積に比べて大きくならない、請求項17に記載の内視鏡システム。
  19.  前記第1の参照テーブル及び前記第2の参照テーブルは、前記調光量の値に対して、前記第2の参照テーブルの前記露光時間の時間長さが、前記第1の参照テーブルの前記露光時間の時間長さに比べて長く、前記第2の参照テーブルの前記光強度のレベルが前記第1の参照テーブルの前記光強度のレベルに比べて小さい、前記調光量の範囲を有する、請求項17または18に記載の内視鏡システム。
  20.  前記調整レベルは、前記調整処理の程度が強い程値が高く、前記調整レベルの値が高い程、前記調整値は前記第2設定値に近づく、請求項17~19のいずれか1項に記載の内視鏡システム。
     
PCT/JP2020/036430 2019-10-18 2020-09-25 内視鏡システム WO2021075235A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20876652.7A EP4046564A4 (en) 2019-10-18 2020-09-25 ENDOSCOPE SYSTEM
US17/768,742 US20230301491A1 (en) 2019-10-18 2020-09-25 Endoscope system
CN202080070685.0A CN114554936A (zh) 2019-10-18 2020-09-25 内窥镜系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019190835A JP7455547B2 (ja) 2019-10-18 2019-10-18 内視鏡システム
JP2019-190835 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021075235A1 true WO2021075235A1 (ja) 2021-04-22

Family

ID=75537777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036430 WO2021075235A1 (ja) 2019-10-18 2020-09-25 内視鏡システム

Country Status (5)

Country Link
US (1) US20230301491A1 (ja)
EP (1) EP4046564A4 (ja)
JP (1) JP7455547B2 (ja)
CN (1) CN114554936A (ja)
WO (1) WO2021075235A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133341A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskop, endoskopisches System und Verfahren zum Betreiben des endoskopischen Systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117412A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその画像処理方法
JP2014117413A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその撮像制御方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016087141A (ja) * 2014-11-06 2016-05-23 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2017065053A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2018038269A1 (ja) * 2016-08-25 2018-03-01 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2019128353A (ja) * 2018-01-19 2019-08-01 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 蛍光強度を正規化するための方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3717719B2 (ja) 1999-08-23 2005-11-16 オリンパス株式会社 内視鏡光源装置
US6464633B1 (en) * 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117412A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその画像処理方法
JP2014117413A (ja) 2012-12-14 2014-06-30 Fujifilm Corp 内視鏡装置及びその撮像制御方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016087141A (ja) * 2014-11-06 2016-05-23 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2017065053A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2018038269A1 (ja) * 2016-08-25 2018-03-01 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2019128353A (ja) * 2018-01-19 2019-08-01 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 蛍光強度を正規化するための方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4046564A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133341A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskop, endoskopisches System und Verfahren zum Betreiben des endoskopischen Systems

Also Published As

Publication number Publication date
US20230301491A1 (en) 2023-09-28
CN114554936A (zh) 2022-05-27
EP4046564A4 (en) 2023-11-08
JP7455547B2 (ja) 2024-03-26
JP2021065280A (ja) 2021-04-30
EP4046564A1 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP5864880B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US10397489B2 (en) Light source control device, method of controlling light source, and image capture system
US20090147078A1 (en) Noise reduction system, endoscope processor, and endoscope system
US20130250079A1 (en) Fluorescence endoscope apparatus
US20200128166A1 (en) Imaging apparatus and control method
WO2021075235A1 (ja) 内視鏡システム
JP2006314504A (ja) 内視鏡プロセッサ
JP2019122492A (ja) 内視鏡装置、内視鏡装置の作動方法およびプログラム
JP6489644B2 (ja) 撮像システム
JP5922955B2 (ja) 電子内視鏡システム
JP5653163B2 (ja) 内視鏡装置
CN110337260B (zh) 电子内窥镜装置
JP5225146B2 (ja) 診断用医療機器用の自動調光処理装置、診断用医療機器用の画像信号処理装置、及び医療用システム
JP2009273691A (ja) 内視鏡画像処理装置および方法
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
JP2011176671A (ja) 撮像システム
JP2011036552A (ja) 内視鏡システム
JP7229210B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP4761651B2 (ja) ハレーションを防ぐ自動調光機能を備えた電子内視鏡装置
JP2020168174A (ja) 電子内視鏡システム
JP2017217056A (ja) 内視鏡システム
JP2012075807A (ja) 電子内視鏡装置
JP2021171475A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020876652

Country of ref document: EP

Effective date: 20220518