WO2017047113A1 - 内視鏡装置及びビデオプロセッサ - Google Patents

内視鏡装置及びビデオプロセッサ Download PDF

Info

Publication number
WO2017047113A1
WO2017047113A1 PCT/JP2016/053220 JP2016053220W WO2017047113A1 WO 2017047113 A1 WO2017047113 A1 WO 2017047113A1 JP 2016053220 W JP2016053220 W JP 2016053220W WO 2017047113 A1 WO2017047113 A1 WO 2017047113A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
mode
light emitting
period
control unit
Prior art date
Application number
PCT/JP2016/053220
Other languages
English (en)
French (fr)
Inventor
陽一朗 坂上
雄亮 矢部
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680052921.XA priority Critical patent/CN108024701B/zh
Priority to JP2017505598A priority patent/JP6234632B2/ja
Publication of WO2017047113A1 publication Critical patent/WO2017047113A1/ja
Priority to US15/922,340 priority patent/US10624535B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled

Definitions

  • the present invention relates to an endoscope apparatus and a video processor.
  • An endoscope apparatus inserts an insertion part into a subject, irradiates illumination light to an examination site, receives reflected light from the examination site with an image sensor, and generates an endoscopic image as a subject image To do.
  • CMOS image sensor employs a rolling shutter system in which exposure and reading are performed with a timing shifted for each line, and processing from exposure to reading is performed at different timing for each line.
  • the timing of video readout that is, the video readout period.
  • PWM Pulse Width Modulation
  • the transition is made so that the light quantity in the video readout period before the transition is the same as the light quantity in the all-line simultaneous exposure period after the transition.
  • Current level control is performed during the subsequent simultaneous exposure period for all lines.
  • an object of the present invention is to provide an endoscope apparatus and a video processor in which luminance unevenness is reduced when the illumination timing is changed.
  • An endoscope apparatus includes a light emitting unit that emits light for illuminating a subject, and a plurality of lines that receive reflected light from the subject irradiated with the light.
  • a rolling shutter type imaging device that alternately switches between an exposure period in which the line is exposed and a readout period in which the imaging signal of each line is sequentially read from the plurality of lines, and controls the intensity of the light emitted by the light emitting unit. It is possible to switch between a light emission control unit, a first mode in which light from the light emitting unit is irradiated in the exposure period and the readout period, and a second mode in which light from the light emitting unit is irradiated only in the exposure period. Yes, when one of the first mode and the second mode is switched from one to the other when the light intensity control unit controls the light intensity to be a predetermined value. Having a switching control unit for performing control.
  • a video processor includes a plurality of lines that receive reflected light from a subject irradiated with light from a light emitting unit that emits light for illuminating the subject, and exposure of the plurality of lines
  • a video processor that generates an endoscopic image by inputting an imaging signal from a rolling shutter type imaging device that alternately switches between an exposure period in which the imaging signal is read out and a readout period in which the imaging signal of each line is sequentially read from the plurality of lines.
  • a light emission control unit for controlling the intensity of the light emitted by the light emitting unit; and the light emitting unit only in the first mode and the exposure period for irradiating light from the light emitting unit in the exposure period and the readout period. When the light intensity control unit is controlled so that the intensity of the light becomes a predetermined value. Having a switching control unit that performs control to switch from one to the other of the first mode and the second mode.
  • An endoscope apparatus includes a light emitting unit that emits light for illuminating a subject, and a plurality of lines that receive reflected light from the subject irradiated with the light.
  • a rolling shutter type imaging device that alternately switches between an exposure period in which the line is exposed and a readout period in which the imaging signal of each line is sequentially read from the plurality of lines, and controls the intensity of the light emitted by the light emitting unit.
  • a light emission control unit From one of two modes, a light emission control unit, a first mode in which light from the light emitting unit is irradiated at least in the readout period, and a second mode in which light from the light emitting unit is irradiated only in the exposure period And a switching control unit that controls the light emission control unit so that the intensity of the light becomes a predetermined value after the mode is switched when the mode is switched to the other mode.
  • a video processor includes a plurality of lines that receive reflected light from a subject irradiated with light from a light emitting unit that emits light for illuminating the subject, and exposure of the plurality of lines
  • a video processor that generates an endoscopic image by inputting an imaging signal from a rolling shutter type imaging device that alternately switches between an exposure period in which the imaging signal is read out and a readout period in which the imaging signal of each line is sequentially read from the plurality of lines.
  • a light emission control unit that controls the intensity of the light emitted by the light emitting unit that emits light for illuminating the subject; a first mode that irradiates light from the light emitting unit at least in the readout period; and the exposure
  • the mode is switched from one to the other of the two modes of the second mode in which the light from the light emitting unit is irradiated only during the period, the mode is switched off. Intensity of the light after having a switching control unit which controls the light emission control unit to a predetermined value.
  • FIG. 1 It is a block diagram which shows the structure of the endoscope apparatus concerning embodiment of this invention. Schematic for explaining the relationship between the exposure period and readout period of the image sensor 11 during imaging of the endoscope apparatus 1 and the output of illumination light emitted from the light emitting element 13 according to the embodiment of the present invention.
  • FIG. It is a figure for demonstrating the illumination mode concerning embodiment of this invention.
  • It is a flowchart which shows the example of the flow of the switching process of the illumination mode concerning embodiment of this invention. In order to explain the relationship between the exposure period and readout period of the image sensor 11 and the output of the illumination light emitted from the light emitting element 13 during imaging of the endoscope apparatus 1 according to the first modification of the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an endoscope apparatus according to the present embodiment.
  • the endoscope apparatus 1 includes an endoscope 2, a video processor 3, a light source device 4, and a monitor 5.
  • FIG. 1 only the components related to the change of the illumination timing of the present embodiment are shown, and the other components are omitted.
  • the endoscope 2 includes an imaging element 11, an analog front end part (hereinafter referred to as AFE part) 12, and a light emitting element 13.
  • AFE part an analog front end part
  • AFE part an analog front end part
  • the image sensor 11 is a CMOS image sensor, and is driven by an image sensor drive unit 23 described later, and outputs an image signal to the AFE unit 12.
  • the imaging element 11 has a light receiving unit having a plurality of horizontal lines, each line including a plurality of pixels.
  • the image sensor 11 generates an image by a rolling shutter method in which exposure and readout are performed at different timings for each horizontal line.
  • the AFE unit 12 performs noise reduction processing, amplification processing, and the like on the input imaging signal, which is an analog signal, and then converts it into a digital signal and outputs it to the video processor 3.
  • the light emitting element 13 is, for example, a light emitting diode (LED) that emits white light, and is a light emitting unit that is driven by a light emitting element driving unit 24 described later to emit illumination light for illuminating a subject.
  • LED light emitting diode
  • the imaging element 11 and the light emitting element 13 are disposed at the distal end portion of the insertion portion of the endoscope 2.
  • the video processor 3 includes a control unit 21, a brightness detection unit 22, and an image sensor driving unit 23.
  • the control unit 21 includes a central processing unit (CPU), a ROM, a RAM, and the like, and controls the entire endoscope device 1 and each unit. Specifically, the control unit 21 performs drive control of the imaging element 11 and the light emitting element 13, performs various image processing on the imaging signal from the imaging element 11, generates an image to be displayed on the monitor 5, and outputs an image to a memory (not shown). Record.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the brightness detection unit 22 determines the brightness of the image from the pixel values of a plurality of pixels included in a predetermined range, for example, the entire frame image range. It is a circuit to calculate.
  • the image sensor driving unit 23 is a circuit that generates the drive signal SC based on the image sensor control signal CS1 from the control unit 21 and drives the image sensor 11.
  • the drive signal SC includes a synchronization signal that gives exposure timing and readout timing for the image sensor 11.
  • the light source device 4 includes a light emitting element driving unit 24. As will be described later, the control unit 21 outputs the light emitting element drive control signal CS2 at a predetermined timing.
  • the light emitting element driving unit 24 is a circuit that drives the light emitting element 13 by generating a driving signal I that is a current signal based on the light emitting element driving control signal CS2 from the control unit 21.
  • the intensity of light emitted from the light emitting element 13 changes according to the magnitude of the drive signal I output from the light emitting element driving unit 24, that is, the current value.
  • the control unit 21 controls switching between two illumination modes described later, and the brightness of the image becomes an appropriate brightness based on the brightness signal B detected by the brightness detection unit 22 in each illumination mode. As described above, the intensity of the illumination light emitted from the light emitting element 13 is controlled. That is, the control unit 21 constitutes a light emission control unit that controls the intensity of light emitted from the light emitting element 13 that is a light emitting unit.
  • Illumination light from the light emitting element 13 provided at the distal end of the insertion part of the endoscope 2 illuminates the observation site of the subject, and the imaging element 11 receives the reflected light to generate an imaging signal IS.
  • the monitor 5 is a display device such as a liquid crystal display that displays an endoscopic image and a menu image.
  • the brightness detection unit 22 detects the brightness of the image for each frame based on the imaging signal IS from the AFE unit 12, and controls the brightness signal B indicating the brightness of each frame image. To the unit 21.
  • the control unit 21 generates a display image based on the received imaging signal IS and outputs a light emitting element driving control signal CS2 to the light emitting element driving unit 24 based on the received brightness signal B.
  • control unit 21 controls the image sensor driving unit 23 to drive the image sensor 11, generates an endoscopic image from the image data generated by the rolling shutter method, outputs it to the monitor 5, and displays it. To do.
  • FIG. 2 is a schematic diagram for explaining the relationship between the exposure period and readout period of the image sensor 11 and the output of the illumination light emitted from the light emitting element 13 at the time of imaging by the endoscope apparatus 1.
  • the timing indicated by the exposure period and the readout period of each line of the image sensor 11 is schematically shown in the range indicated by G1 in the upper stage.
  • a change in the drive signal I flowing through the light emitting element 13 is shown in the lower G2.
  • the horizontal axis is the axis of time t.
  • the image pickup device 11 is a CMOS image sensor, and the image pickup device 11 includes a light receiving unit including a plurality of pixels in each line and n rows of lines.
  • the image sensor 11 generates image data by a rolling shutter method in which exposure and reading are performed at different timings for each line.
  • the imaging device 11 reads the accumulated charges for each horizontal line when imaging a plurality of frames continuously.
  • the first line (the first line in FIG. 2) to the nth line (n is a natural number and the nth line in FIG. 2) from the first line (the first line in FIG. 2) of the image sensor 11 sequentially becomes the readout line.
  • the pixel signal is read out. Therefore, there is a time difference in the read timing between the first line and the nth line.
  • the period from the start of reading of the pixel data of the first line of the image sensor 11 to the end of reading of the pixel data of the nth line is an image reading period IR.
  • a period other than the periodically occurring video readout period IR and a period in which exposure is simultaneously performed on all lines is an all-line simultaneous exposure period AL.
  • an entire line simultaneous exposure period AL and a video readout period IR are included in a period T of one field or one frame of an image.
  • the all-line simultaneous exposure period AL and the video readout period IR are alternately switched. Note that the period T of one field (or one frame) and the time t1 of the all-line simultaneous exposure period AL are determined by the specifications of the image sensor 11.
  • the imaging device 11 provided in the insertion portion of the endoscope has a plurality of lines that receive reflected light from the subject irradiated with light, and performs exposure of a plurality of lines simultaneously.
  • This is a rolling shutter type imaging device that alternately switches between the period AL and the readout period IR in which the imaging signal of each line is sequentially read from a plurality of lines.
  • the driving signal I output from the light emitting element driving unit 24 changes between a predetermined minimum value Imin and a predetermined maximum value Imax.
  • the controller 21 outputs the light emitting element drive control signal CS2 to the light emitting element driver 24. That is, the light emitting element drive control signal CS2 is a signal such that the drive signal I output from the light emitting element drive unit 24 is between a predetermined minimum value Imin and a predetermined maximum value Imax.
  • the control unit 21 determines whether the brightness detected by the brightness detection unit 22 is in accordance with the brightness of the image.
  • a light emitting element drive control signal CS2 is output to the light emitting element driving unit 24 so that the light emitting element 13 emits illumination light with an intensity at which the image has appropriate brightness.
  • the control unit 21 performs current level control for dimming by adjusting the magnitude of the drive signal I flowing through the light emitting element 13.
  • the current level control is, for example, PAM (Pulse Amplitude Modulation) control.
  • the magnitude of the current value of the drive signal I flowing through the light emitting element 13 is smaller in the period T2 than in the period T1.
  • the brightness signal B becomes large and the intensity of the illumination light needs to be reduced. Therefore, in the period T2, the current value of the drive signal I that drives the light emitting element 13 is It is falling.
  • illumination control is performed in the first illumination mode M1 in which illumination light having a constant intensity corresponding to the brightness of the image is emitted in the all-line simultaneous exposure period AL and the video readout period IR. ing.
  • the drive signal I is adjusted between the predetermined minimum value Imin and the predetermined maximum value Imax, but the distal end portion of the insertion portion of the endoscope 2 is the subject. If the distance is too close, the brightness of the image becomes equal to or higher than the predetermined brightness even if the drive signal I is the minimum value Imin.
  • control unit 21 normally performs illumination control in the first illumination mode M1 that emits illumination light having the same intensity in the all-line simultaneous exposure period AL and the video readout period IR in order to obtain an image with appropriate brightness. To do.
  • the control is performed.
  • the unit 21 switches the illumination mode so as to execute illumination control in the second illumination mode M2 that emits illumination light only in the all-line simultaneous exposure period AL in order to obtain an image with appropriate brightness.
  • the second illumination mode M2 is a mode that is executed when the required amount of light is small because the illumination light is emitted only during the all-line simultaneous exposure period AL and is not emitted during the video readout period IR.
  • current control for controlling the light intensity by increasing / decreasing the magnitude of the drive signal I and PWM control for controlling the amount of illumination light according to the emission time are used in combination.
  • illumination control is performed in the second illumination mode M2 in which illumination light is emitted only in the all-line simultaneous exposure period AL. Also in the second illumination mode M2, the drive signal I is adjusted between a predetermined minimum value Imin and a predetermined maximum value Imax. The first illumination mode M1 and the second illumination mode M2 are switched according to the brightness L of the screen.
  • FIG. 2 shows that the transition of the illumination control from the first illumination mode M1 to the second illumination mode M2 is performed when the period T3 transitions to the period T4.
  • the first illumination mode M1 and the second illumination mode M2 are switched according to the brightness L of the screen.
  • the switching process between the first illumination mode M1 and the second illumination mode M2 will be described.
  • FIG. 3 is a diagram for explaining the illumination mode.
  • the vertical axis in FIG. 3 indicates the brightness L.
  • the control unit 21 controls the intensity of the illumination light emitted from the light emitting element 13 so that the brightness of the image becomes appropriate based on the brightness signal B detected by the brightness detection unit 22.
  • the drive current I described above becomes the minimum value Imin
  • the brightness L of the obtained image does not become an appropriate brightness, It becomes more than the threshold value Lth.
  • the control unit 21 performs illumination control in the second illumination mode M2.
  • the illumination control is executed in the first illumination mode M1.
  • the illumination mode is switched.
  • FIG. 4 is a flowchart showing an example of the flow of the illumination mode switching process. The process of FIG. 4 is always executed when the illumination control is executed in the first illumination mode M1 and the second illumination mode M2.
  • the control unit 21 determines whether or not the brightness L of the image is equal to or less than a predetermined threshold Lth (S1). When the brightness L of the image is equal to or less than the predetermined threshold Lth (S1: YES), the control unit 21 determines whether the current illumination mode is the first illumination mode M1 (S6), and the first illumination mode M1. If it is (S6: YES), no processing is performed. In FIG. 2, illumination control in the first illumination mode M1 is performed in the periods T1 and T2.
  • the control unit 21 determines whether the current illumination mode is the second illumination mode M2 (S2) and is not the second illumination mode M2.
  • (S2: NO) correction calculation processing is executed (S3).
  • illumination control is performed in the first illumination mode M1 until the period T3, and the brightness L of the image becomes equal to or greater than the predetermined threshold Lth in the period T3, and the second illumination mode M2 from the next period T4. Lighting control is performed at.
  • the correction calculation process (S3) is performed, and the current in the first field when starting the lighting control in the second lighting mode M2, here the current in the period T4 The value is determined.
  • the period T3 In order to match the brightness of the image corresponding to the imaging signal read in the video readout period IR and the brightness of the image corresponding to the imaging signal read in the video readout period IR in the period T4, the current value I2 is expressed by the following equation ( 1) is satisfied.
  • the amount of increase in light intensity in other words, the current from the current value I1 in the period T3 to the current in the period T4. Since the amount of change to the value I2 is small, unevenness in the amount of light at the time of transition is less noticeable.
  • the control part 21 performs the correction calculation process which calculates the electric current value I2 which satisfy
  • the period T of one field (or one frame) of the image sensor 11 and the time t1 of the all-line simultaneous exposure period AL are determined by the specifications of the image sensor 11, so that the current value in each illumination mode I1 and I2 satisfy the following expressions (3) and (4).
  • the control unit 21 When it is determined that the illumination mode can be switched (S4: YES), the control unit 21 outputs the second illumination light only in the all-line simultaneous exposure period AL based on the result of the correction calculation process. Lighting control is performed in mode M2 (S5). Here, the illumination mode is switched.
  • the control unit 21 performs illumination control in the first field (T4) after the transition from the first illumination mode M1 to the second illumination mode M2 so that the current value I2 determined in S3 flows through the light emitting element 13. I do.
  • illumination control is performed in the second illumination mode M2 in which illumination light is emitted only during the all-line simultaneous exposure period AL, according to the brightness of the image.
  • the control unit 21 is the first illumination mode M1 for irradiating light from the light emitting element 13 in the all-line simultaneous exposure period AL that is the exposure period and the video readout period IR that is the readout period, and the exposure period.
  • the mode is switched from one to the other of the two modes of the second illumination mode M2 in which the light from the light emitting element 13 is irradiated only in the all-line simultaneous exposure period AL, here, from the first illumination mode M1.
  • a switching control unit is configured to control the light intensity to be a predetermined value after switching the mode to the second illumination mode M2.
  • the control unit 21 controls the intensity of light emitted from the light emitting element 13 so that the amount of light received by the imaging element 11 being exposed is equal in the field or frame before and after the mode switching.
  • the control unit 21 uses a part of the light amount in the readout period IR in the field or frame immediately before the mode switching, in this case, the half in the field or frame immediately before the mode switching.
  • the intensity of the light emitted from the light emitting element 13 is controlled so that the light amount added to the light amount in the exposure period AL becomes the light amount in the exposure period AL in the field or frame immediately after the mode switching.
  • control unit 21 sets the light intensity (current value) immediately before the mode switching to I1, the light intensity (current value) immediately after the mode switching to I2, and the exposure period. Is t1, and the period of one field or one frame in the image sensor 11 is T, the light emitting element 13 is controlled so as to satisfy the relationship of the expression (1). Further, the control unit 21 controls the light emitting element 13 so as to satisfy the relationship of Expression (2) when the maximum light emission intensity in the light emitting element 13 is Imax.
  • the control unit 21 When it is not determined that the illumination mode can be switched (S4: NO), the control unit 21 does not perform any processing and consequently does not switch the illumination mode. If the control unit 21 determines that the current illumination mode is the second illumination mode M2 and determines that the current illumination mode is the second illumination mode M2 (S2: YES), the process does nothing and results in the second Lighting control in lighting mode M2 continues.
  • the control unit 21 determines whether the current illumination mode is the first illumination mode M1 (S6), and the first illumination When the mode is not M1 (S6: NO), correction calculation processing is executed (S7).
  • the current value I1 of the drive signal I in the first field after the transition from the second illumination mode M2 to the first illumination mode M1 is determined so as to satisfy the above-described equation (1). That is, when NO in S6, the control unit 21 executes a correction calculation process for calculating the current value I1 that satisfies the condition of the above expression (1) (S7), and the result of the correction calculation is the above expression (2). It is determined whether or not the illumination mode can be switched based on whether the condition () is satisfied (S8).
  • the control unit 21 emits illumination light in the all-line simultaneous exposure period AL and the video readout period IR based on the result of the correction calculation process.
  • Lighting control is performed in the first lighting mode M1 (S9). After that, illumination control is performed in the first illumination mode M1 in which illumination light is emitted in the all-line simultaneous exposure period AL and the video readout period IR according to the brightness of the image.
  • the control unit 21 performs illumination control in the first field after the transition from the second illumination mode M2 to the first illumination mode M1 so that the current value I1 determined in S7 flows through the light emitting element 13.
  • illumination control is performed in the first illumination mode M1 in which illumination light is emitted in the all-line simultaneous exposure period AL and the video readout period IR according to the brightness of the image.
  • control unit 21 configures a switching control unit that performs control so that the light amount becomes a predetermined value after switching from the second illumination mode M2 to the first illumination mode M1.
  • the control unit 21 does not perform any processing and consequently does not switch the illumination mode.
  • control unit 21 determines that the current illumination mode is the first illumination mode M1 and determines that the current illumination mode is the first illumination mode M1 (S6: YES), the processing is not performed as described above. As a result, the illumination control in the first illumination mode M1 is continued.
  • the control unit 21 determines that the current illumination mode is the first illumination mode M1 and determines that the current illumination mode is the first illumination mode M1 (S6: YES)
  • the processing is not performed as described above.
  • the illumination control in the first illumination mode M1 is continued.
  • the light emitting element 13 emits white light.
  • a plurality of light emitting elements that emit light in a plurality of colors such as RGB may be used.
  • the intensity control of the illumination light as described above is performed.
  • the illumination mode is switched based on the brightness of the image, but the switching may not be based on the brightness of the image.
  • the first illumination mode M1 may be changed to the second illumination mode M2 at any time in I1 such that the drive signal I after switching to the second illumination mode M2 does not exceed Imax.
  • the second illumination mode M2 may be changed to the first illumination mode M1 at any time in I2 such that the drive signal I after switching to the first illumination mode M1 does not fall below Imin.
  • the illumination mode may be switched at any time.
  • the drive signal I is output over the entire line exposure period of the first illumination mode M1, but PWM control may be performed during the entire line exposure period of the first illumination mode M1. Good.
  • FIG. 5 is a schematic diagram for explaining the relationship between the exposure period and the readout period of the image sensor 11 and the output of the illumination light emitted from the light emitting element 13 at the time of imaging by the endoscope apparatus 1 according to the first modification. It is a typical figure.
  • FIG. 5 is a diagram similar to FIG. 2, and thus description of common parts is omitted.
  • the light emitting element 13 emits light over the entire all-line simultaneous exposure period AL by PWM control. Not.
  • the imaging device 11 does not simultaneously expose a plurality of lines over the entire line simultaneous exposure period AL, but in a part of the all line simultaneous exposure period AL. Line exposure may be performed simultaneously.
  • the first illumination mode M1 may be changed to the second illumination mode M2 at any time.
  • the second illumination mode M2 may be changed to the first illumination mode M1 at any time in I2 such that the drive signal I after switching to the first illumination mode M1 does not fall below Imin.
  • Modification 2 In the image immediately after the mode switching, for example, in the first field or frame (period T4 in FIG. 2) after the transition from the first illumination mode M1 to the second illumination mode M2 described above, illumination in the video readout period IR of the period T3 The image output in the period T4 is affected by the brightness difference due to the brightness difference between the lines. Therefore, the control unit 21 first performs the transition from the first illumination mode M1 to the second illumination mode M2. Image processing for correcting the luminance unevenness of the image obtained in this field (period T4 in FIG. 2) may be performed.
  • control unit 21 has a function as a correction unit, and the correction unit has a function of the field or frame image immediately after the mode switching in the video readout period IR in the field or frame immediately before the mode switching. You may make it perform the process which correct

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡装置１は、発光素子１３と、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインの露光を同時に行う露光期間ALと、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間IRとを交互に切り替えるローリングシャッタ方式の撮像素子１１と、制御部２１を有する。制御部２１は、発光素子１３が発する光の強度を制御する。さらに制御部２１は、露光期間及び読み出し期間において発光素子１３からの光を照射する第１照明モードM1と露光期間のみにおいて発光素子１３からの光を照射する第２照明モードM2とを切り替え可能であり、光の強度が所定の値になるように制御された場合に、第１のモードM1と第２のモードM2とのうち一方から他方へ切り替える制御を行う。

Description

内視鏡装置及びビデオプロセッサ
　本発明は、内視鏡装置及びビデオプロセッサに関する。
　従来より、医療分野及び工業分野で、内視鏡装置が広く用いられている。内視鏡装置は、挿入部が被検体内に挿入され、照明光を検査部位に照射し、検査部位からの反射光を撮像素子で受光して、被検体画像である内視鏡画像を生成する。
　近年は撮像素子としてCMOSイメージセンサが用いられる内視鏡装置がある。CMOSイメージセンサでは、ライン毎にタイミングをずらして露光及び読み出しを行うローリングシャッタ方式が採用され、露光から読み出しまでの処理がライン毎に異なるタイミングで行われる。
　CMOSイメージセンサの場合、パルス照明をすると、照明光の発光タイミングによっては、露光ムラが発生する場合があるため、日本特許第５４５２７８５号公報に開示のように、映像読み出しのタイミングすなわち映像読み出し期間においては照明光の強度を一定に保ち、映像読み出し期間以外の全ライン同時露光のタイミングすなわち全ライン同時露光期間においてはPWM（Pulse Width Modulation）制御によるパルス照明を行う技術が提案されている。その提案によれば、全ライン同時露光期間におけるPWM制御と、映像読み出し期間における強度一定制御を組合せた照明制御により、露光ムラを無くして画質の低下が防止される。
　また、上記提案のような２つの制御の組合せによる照明制御の場合に、照明光量をより低下させるために、映像読み出し期間では強度一定制御を行うと共に全ライン同時露光期間ではPWM制御を行う制御状態から、映像読み出し期間における強度一定制御を停止して、全ライン同時露光期間のみにおいて電流レベル制御とPWM制御を行う制御状態に移行する方法も提案されている（図１５参照）。
　そして、その移行の前後において照明光量が連続的に変化するようにするために、移行前の映像読み出し期間の光量と、移行後の全ライン同時露光期間の光量とが同じになるように、移行後の全ライン同時露光期間の電流レベル制御が行われる。
　しかし、その提案の場合、移行前における全ライン露光期間において照明がされない状態から、全ライン同時露光期間の電流レベル制御への移行が行われるため、照明光の強度の変化量が大きく、移行時に、出力される画像上の輝度ムラが目立ち易いという問題がある。すなわち、全ライン露光期間に照明光が出射されない状態から、移行時に全ライン露光期間に多くの照明光を出射するという照明タイミングの変更が行われるので、画像の輝度ムラが目立ち易い。
　そこで、本発明は、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することを目的とする。
　本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、前記発光部が発する前記光の強度を制御する発光制御部と、前記露光期間および前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードとを切り替え可能であり、前記光量制御部において前記光の強度が所定の値になるように制御された場合に、前記第１のモードと前記第２のモードとのうち一方から他方へ切り替える制御を行う切替制御部と、を有する。
　本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、前記発光部が発する前記光の強度を制御する発光制御部と、前記露光期間および前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードとを切り替え可能であり、前記光量制御部において前記光の強度が所定の値になるように制御された場合に、前記第１のモードと前記第２のモードとのうち一方から他方へ切り替える制御を行う切替制御部と、を有する。
　本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、前記発光部が発する前記光の強度を制御する発光制御部と、少なくとも前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードの２つのモードのうち一方から他方へのモードの切替を行うときに、前記モードの切替後に前記光の強度が所定の値になるように前記発光制御部を制御する切替制御部と、を有する。
　本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、被検体を照明するための光を発する発光部が発する前記光の強度を制御する発光制御部と、少なくとも前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードの２つのモードのうち一方から他方へのモードの切替を行うときに、前記モードの切替後に前記光の強度が所定の値になるように前記発光制御部を制御する切替制御部と、を有する。
本発明の実施の形態に係わる内視鏡装置の構成を示すブロック図である。 本発明の実施の形態に係わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。 本発明の実施の形態に係わる、照明モードを説明するための図である。 本発明の実施の形態に係わる、照明モードの切替処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例１に関わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。
　以下、図面を参照して本発明の実施の形態を説明する。　
　図１は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡装置１は、内視鏡２と、ビデオプロセッサ３と、光源装置４と、モニタ５とを有している。なお、図１では、本実施の形態の照明タイミングの変更に関連する構成要素のみを示し、その他の構成要素については省略している。
　内視鏡２は、撮像素子１１と、アナログフロントエンド部（以下、AFE部という）１２と、発光素子１３とを有して構成されている。
　撮像素子１１は、CMOSイメージセンサであり、後述する撮像素子駆動部２３により駆動されて、撮像信号をAFE部１２へ出力する。撮像素子１１は、各ラインが複数の画素を含む複数の水平ラインを有する受光部を有している。撮像素子１１は、水平ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像を生成する。
　AFE部１２は、入力されたアナログ信号である撮像信号に対して、ノイズ低減処理、増幅処理などしてから、デジタル信号に変換して、ビデオプロセッサ３に出力する。　
　発光素子１３は、例えば白色光を出射する発光ダイオード（LED）であり、後述する発光素子駆動部２４により駆動されて、被検体を照明するための照明光を発する発光部である。
　撮像素子１１と発光素子１３は、内視鏡２の挿入部の先端部に配置される。　
　ビデオプロセッサ３は、制御部２１と、明るさ検出部２２と、撮像素子駆動部２３と、を有して構成されている。
　制御部２１は、中央処理装置（CPU）、ROM、RAMなどを含み、内視鏡装置１全体の制御及び各部の制御を行う。具体的には、制御部２１は、撮像素子１１及び発光素子１３の駆動制御、撮像素子１１からの撮像信号に対する各種画像処理を施してモニタ５に表示する画像の生成、図示しないメモリへの画像の記録などを行う。
　明るさ検出部２２は、内視鏡２の撮像素子１１からの撮像信号ISに基づいて、所定の範囲、例えばフレーム画像全体範囲に含まれる複数の画素の画素値からの、画像の明るさを算出する回路である。
　撮像素子駆動部２３は、制御部２１からの撮像素子制御信号CS1に基づいて駆動信号SCを生成し、撮像素子１１を駆動する回路である。駆動信号SCには、撮像素子１１に対する露光タイミング及び読み出しタイミングを与える同期信号が含まれる。
　光源装置４は、発光素子駆動部２４を有して構成されている。　
　制御部２１は、後述するように、所定のタイミングで発光素子駆動制御信号CS2を出力する。
　発光素子駆動部２４は、制御部２１からの発光素子駆動制御信号CS2に基づいて電流信号である駆動信号Iを生成して、発光素子１３を駆動する回路である。発光素子駆動部２４から出力される駆動信号Iの大きさ、すなわち電流値に応じて、発光素子１３の出射する光の強度が変化する。
　制御部２１は、後述する２つの照明モードの切替を制御すると共に、各照明モードにおいて、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。すなわち、制御部２１は、発光部である発光素子１３が発する光の強度を制御する発光制御部を構成する。
　内視鏡２の挿入部の先端部に設けられた発光素子１３からの照明光が被検体の観察部位を照明し、撮像素子１１がその反射光を受光して撮像信号ISが生成される。　
　モニタ５は、内視鏡画像及びメニュー画像を表示する、液晶表示器などの表示装置である。
　以上のように、明るさ検出部２２が、AFE部１２からの撮像信号ISに基づいて、フレーム毎の画像の明るさを検出して、各フレーム画像の明るさを示す明るさ信号Bを制御部２１へ出力する。制御部２１は、受信した撮像信号ISに基づいて表示画像を生成すると共に、受信した明るさ信号Bに基づいて発光素子駆動部２４へ発光素子駆動制御信号CS2を出力する。
　よって、制御部２１は、撮像素子駆動部２３を制御して、撮像素子１１を駆動し、ローリングシャッタ方式により生成された画像データから内視鏡画像を生成して、モニタ５に出力して表示する。
　図２は、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。　
　図２において、上段のG1で示す範囲には、撮像素子１１の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。下段のG2には、発光素子１３に流れる駆動信号Iの変化が示されている。横軸は、時間tの軸である。
　撮像素子１１は、CMOSイメージセンサであり、撮像素子１１は、各ラインが複数の画素からなり、ｎ行のラインからなる受光部を有する。撮像素子１１は、ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像データを生成する。
　具体的には、撮像素子１１は、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを１つの水平ライン毎に行う。撮像素子１１の受光部の第１ライン（図２における１行目のライン）から最後ラインである第ｎライン（ｎは自然数であり、図２におけるｎ行目のライン）が、順次読み出しラインとなって、画素信号が読み出される。そのため、１行目のラインとｎ行目のラインとの間には、読み出しタイミングに時間差が生じる。
　撮像素子１１の第１ラインの画素データの読み出しの開始後、第ｎラインの画素データの読み出しが終了するまでの期間が、映像読み出し期間IRである。　
　周期的に発生する映像読み出し期間IR以外の期間であって、全ラインに対して同時に露光を行う期間が、全ライン同時露光期間ALである。図２に示すように、画像の１フィールド又は１フレームの期間T中には、全ライン同時露光期間ALと映像読み出し期間IRが含まれる。
　撮像素子１１はローリングシャッタ方式であるため、全ライン同時露光期間ALと映像読み出し期間IRが交互に切り替わる。　
　なお、１フィールド（又は１フレーム）の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子１１の仕様によって決定される。
　以上のように、内視鏡の挿入部に設けられた撮像素子１１は、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインの露光を同時に行う露光期間ALと、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間IRとを交互に切り替えるローリングシャッタ方式の撮像素子である。
　発光素子駆動部２４が出力する駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で変化する。制御部２１は、発光素子駆動制御信号CS2を発光素子駆動部２４に出力する。すなわち、発光素子駆動制御信号CS2は、発光素子駆動部２４が出力する駆動信号Iが所定の最小値Iminと所定の最大値Imaxの間となるような信号である。
　内視鏡２の挿入部が被検体内に挿入されて、撮像素子１１により被検体内が撮像されると、制御部２１は、明るさ検出部２２が検出した画像の明るさに応じて、画像が適正な明るさとなる強度で発光素子１３が照明光を出射するような発光素子駆動制御信号CS2を、発光素子駆動部２４に出力する。その結果、モニタ５には、適正な明るさの内視鏡画像が表示される。すなわち、制御部２１は、発光素子１３に流れる駆動信号Iの大きさを調整することによって、調光を行う電流レベル制御を実行する。電流レベル制御は、例えば、PAM（Pulse Amplitude Modulation）制御である。
　図２において、発光素子１３に流れる駆動信号Iの電流値の大きさは、期間T2では、期間T1よりも小さくなっている。例えば、挿入部の先端が被検体に近づいたため、明るさ信号Bが大きくなって、照明光の強度を下げる必要になったため、期間T2では、発光素子１３を駆動する駆動信号Iの電流値が低下している。
　期間T1とT2の各期間では、全ライン同時露光期間AL及び映像読み出し期間IRにおいて、画像の明るさに応じた一定の強度の照明光を出射する第１照明モードM1で、照明制御が行われている。上述したように、第１照明モードM1では、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整されるが、内視鏡２の挿入部の先端部が被検体に近づき過ぎると、駆動信号Iが最小値Iminであっても画像の明るさが所定の明るさ以上となってしまう。
　すなわち、制御部２１は、通常は、適切な明るさの画像を得るために全ライン同時露光期間AL及び映像読み出し期間IRにおいて同じ強度の照明光を出射する第１照明モードM1による照明制御を実行する。
　しかし、上述したように、挿入部の先端が被検体に近づいたりして、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射すると照明光の強度が強すぎてしまうときは、制御部２１は、適切な明るさの画像を得るために全ライン同時露光期間ALのみにおいて照明光を出射する第２照明モードM2による照明制御を実行するように照明モードを切り替える。
　第２照明モードM2は、全ライン同時露光期間ALにおいてのみ照明光を出射し、映像読み出し期間IRにおいては照明光を出射しないので、必要な光量が少ないときに実行されるモードである。第２照明モードM2では、駆動信号Iの大きさを増減させて光の強度を制御する電流制御と、発光させる時間により照明光量を制御するPWM制御とが併用される。
　図２の期間T4とT5では、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御が行われている。第２照明モードM2においても、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整される。　
　第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられる。
　図２は、期間T3から期間T4に移行するときに、第１照明モードM1から第２照明モードM2への照明制御の移行が行われていることを示している。
（作用）
　次に、内視鏡装置１の動作について説明する。
　上述したように、第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられるが、第１照明モードM1と第２照明モードM2の切替処理について説明する。
　図３は、照明モードを説明するための図である。図３の縦軸は、明るさLを示している。通常、制御部２１は、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。しかし、内視鏡の先端部が検査部位に近づき過ぎたときは、上述した駆動電流Iが最小値Iminになっても、得られる画像の明るさLは適切な明るさにならず、所定の閾値Lth以上となる。
　そこで、制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて算出された画像の明るさLが所定の閾値Lth以上であれば、第２照明モードM2で照明制御を実行し、画像の明るさLが所定の閾値Lth未満であるとき、第１照明モードM1で照明制御を実行する。明るさLが所定の閾値Lth以上になるとき、及び明るさLが所定の閾値Lth未満になるとき、照明モードの切替が行われる。
　図４は、照明モードの切替処理の流れの例を示すフローチャートである。図４の処理は、第１照明モードM1と第２照明モードM2で照明制御が実行されているとき、常に実行されている。
　制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて、画像の明るさLが所定の閾値Lth以下であるか否かを判定する（S1）。　
　画像の明るさLが所定の閾値Lth以下であると（S1:YES）、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定し（S6）、第１照明モードM1であるとき（S6:YES）、処理は何もしない。図２では、期間T1及びT2において第１照明モードM1の照明制御が行われている。
　画像の明るさLが所定の閾値Lthを超えると（S1:NO）、制御部２１は、現在の照明モードが第２照明モードM2であるかを判定し（S2）、第２照明モードM2でないとき（S2:NO）、補正演算処理を実行する（S3）。
　図２において期間T3までは、第１照明モードM1で照明制御が行われており、期間T3において画像の明るさLが所定の閾値Lth以上となり、次の期間T4からは、第２照明モードM2で照明制御が行われる。
　期間T4から第２照明モードM2で照明制御が開始するときに、補正演算処理（S3）が行われ、第２照明モードM2で照明制御を開始するときの最初のフィールド、ここでは期間T4における電流値が決定される。
　図２に示すように、期間T3の映像読み出し期間IRにおける駆動信号Iの電流値をI1とし、期間T4の全ライン同時露光期間ALにおける駆動信号Iの電流値をI2とするとき、期間T3における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさと期間T4における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさとを一致させるために、電流値I2は、次の式（１）を満たすように決定される。
　　（T－t1）I1／2 ＝ t1（I2－I1）　　　・・・　（１）
　式（１）の左辺は、図２における斜線領域R1の面積を示す。式（１）の右辺は、図２における斜線領域R2の面積を示す。
　よって、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（図２では期間T4）では、光の強度の増加量、言い換えれば期間T3の電流値I1から期間T4における電流値I2への変化量が小さいので、移行時の光量ムラが目立ち難くなる。
　さらに、移行後の期間T5の全ライン同時露光期間ALにおける駆動信号Iの電流値は、最大値Imaxを超えることはできないので、電流値I1とI2は、次の式（２）を満たす必要がある。　
　2（I2－I1）＋I1 ≦ Imax　　　　　　・・・（２）
　よって、制御部２１は、S2でNOの場合に、上記の式（１）の条件を満たす電流値I2を算出する補正演算処理を実行し（S3）、補正演算の結果が上記の式（２）の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する（S4）。
　なお、上述したように、撮像素子１１の１フィールド（又は１フレーム）の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子１１の仕様によって決まるので、各照明モードにおける電流値I1とI2は、次の式（３）と（４）を満たす。
　Imin≦I1≦（t1／T）Imax　　　　　・・・（３）
　I2≦（（T＋t1）／2T）Imax　　　 　・・・（４）
　照明モードの切替が可能であると判定されたとき（S4:YES）、制御部２１は、補正演算処理の結果に基づいて、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御を行う（S5）。ここで、照明モードの切替が行われる。
　S5では、制御部２１は、S3で決定された電流値I2を発光素子１３に流すように、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（T4）における照明制御を行う。その後のフィールド（T5以降）では、画像の明るさに応じて、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御が行われる。
　以上のように、制御部２１は、露光期間である全ライン同時露光期間AL及び読み出し期間である映像読み出し期間IRにおいて発光素子１３からの光を照射する第１照明モードM1と、露光期間である全ライン同時露光期間ALのみにおいて発光素子１３からの光を照射する第２照明モードM2の２つのモードのうち、一方から他方へモードの切替を行うときに、ここでは、第１照明モードM1から第２照明モードM2へのモードの切替後に光の強度が所定の値になるように制御する切替制御部を構成する。
　そして、制御部２１は、撮像素子１１が露光されて受ける光量がモードの切替の前後のフィールド又はフレームにおいて等しくなるように発光素子１３が発する光の強度を制御する。しかし、制御部２１は、切替の直後のフィールド又はフレームでは、モードの切替の直前のフィールド又はフレームにおける読み出し期間IRにおける光量の一部、ここでは半分を、モードの切替の直前のフィールド又はフレームにおける露光期間ALにおける光量に加算した光量を、モードの切替の直後のフィールド又はフレームにおける露光期間ALの光量とするように、発光素子１３発する光の強度を制御する。
　具体的には、制御部２１は、モードの切替の直前の光の強度（ここでは電流値）をI1とし、モードの切替の直後の光の強度（ここでは電流値）をI2とし、露光期間をt1とし、撮像素子１１における1フィールド又は1フレームの期間をTとしたときに、式（１）の関係を満たすように、発光素子１３を制御する。さらに、制御部２１は、発光素子１３における最大発光強度をImaxとしたときに式（２）の関係を満たすように、発光素子１３を制御する。
　照明モードの切替が可能であると判定されないとき（S4:NO）、制御部２１は、処理を何もせず、結果として照明モードの切替を行わない。　
　なお、制御部２１は、現在の照明モードが第２照明モードM2であるかを判定したときに第２照明モードM2であると（S2:YES）、処理は、何もせず、結果として第２照明モードM2での照明制御が継続する。
　また、画像の明るさLが所定の閾値Lth以上であると（S1:NO）、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定し（S6）、第１照明モードM1でないとき（S6:NO）、補正演算処理を実行する（S7）。
　S7の補正演算処理では、第２照明モードM2から第１照明モードM1への移行後の最初のフィールドの駆動信号Iの電流値I1が上述した式（１）を満たすように決定される。　
　すなわち、制御部２１は、S6でNOの場合に、上記の式（１）の条件を満たす電流値I1を算出する補正演算処理を実行し（S7）、補正演算の結果が上記の式（２）の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する（S8）。
　照明モードの切替が可能であると判定されたとき（S8:YES）、制御部２１は、補正演算処理の結果に基づいて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御を行う（S9）。その後は、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御を行う。
　S9では、制御部２１は、S7で決定された電流値I1を発光素子１３に流すように、第２照明モードM2から第１照明モードM1への移行後の最初のフィールドにおける照明制御を行う。その後のフィールドでは、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御が行われる。
　以上のように、制御部２１は、第２照明モードM2から第１照明モードM1へのモードの切替後に光量が所定の値になるように制御する切替制御部を構成する。　
　照明モードの切替が可能であると判定されないとき（S8:NO）、制御部２１は、処理を何もせず、結果として照明モードの切替を行わない。
　なお、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定したときに第１照明モードM1であると（S6:YES）、上述したように、処理は、何もせず、結果として第１照明モードM1での照明制御が継続する。　
　以上のように、上述した実施の形態によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
　なお、上述した実施の形態では、発光素子１３は白色光を出射するが、RGBなどの複数色に光を出射する複数の発光素子を用いてもよく、その場合は、制御部は、各色の光の出射のタイミングの切替時において、上述したような照明光の強度制御を行う。
　さらになお、上述した実施の形態の内視鏡装置では、照明モードは、画像の明るさに基づいて切替が行われるが、切替は、画像の明るさに基づかなくてもよい。例えば、第２照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第１照明モードM1から第２照明モードM2へ変更してもよい。また、第１照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第２照明モードM2から第１照明モードM1へ変更してもよい。具体的には、本実施例において上述した式（１）と（２）を満たすときには、任意のときに、照明モードの切替を行うようにしてもよい。
　次に、上述した実施の形態の変形例について説明する。
（変形例１）
　上述した実施の形態では、第１照明モードM1の全ライン露光期間の全体に亘って駆動信号Iが出力されるが、第１照明モードM1の全ライン露光期間においてPWM制御を行うようにしてもよい。
　図５は、本変形例１に関わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。図５は、図２と同様の図であるので、共通する部分については説明は省略する。
　図５に示すように、画像の１フィールド又は１フレームの期間T中の全ライン同時露光期間ALにおいて、発光素子１３は、PWM制御により全ライン同時露光期間ALの全てに渡って光を出射していない。
　以上のように、撮像素子１１は、全ライン同時露光期間ALの全ての期間に渡って複数のラインの露光を同時に行うのではなく、全ライン同時露光期間ALの一部の期間において、複数のラインの露光を同時に行うようにしてもよい。
　本変形例においても、第２照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第１照明モードM1から第２照明モードM2へ変更してもよい。また、第１照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第２照明モードM2から第１照明モードM1へ変更してもよい。
　PWM制御により読み出し期間にのみ発光素子13が発光している場合において、映像読み出し期間IRに発光する第１照明モードM1と全ライン同時露光期間ALのみに発光する第２照明モードM2との切り替えてもよい。また、第１照明モードM1と第２照明モードM2の一方から他方へ切り替える際に、他の実施形態と同じく、モード切り替え前後において画像の明るさが等しくなるように駆動信号Iを制御してもよい。
（変形例２）
　モードの切替の直後の画像、例えば上述した第１照明モードM1から第２照明モードM2への移行後の最初のフィールド又はフレーム（図２では期間T4）では、期間T3の映像読み出し期間IRにおける照明の影響を受けて、期間T4で出力される画像には、ライン間の輝度差による輝度ムラがあるので、制御部２１は、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（図２では期間T4）に得られた画像に対して、その輝度ムラをなくすように補正する画像処理を行うようにしてもよい。
　すなわち、制御部２１が補正部としての機能を有し、その補正部が、モードの切替の直後のフィールド又はフレームの画像に対して、モードの切替の直前のフィールド又はフレームにおける映像読み出し期間IRにおける光量の影響をによる輝度ムラを補正する処理を行うようにしてもよい。
　以上説明したように、上述した実施の形態及び各変形例によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

　本出願は、２０１５年９月１６日に日本国に出願された特願２０１５－１８３１６８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (11)

  1. 　被検体を照明するための光を発する発光部と、
    　前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、
    　前記発光部が発する前記光の強度を制御する発光制御部と、
    　前記露光期間および前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードとを切り替え可能であり、前記光量制御部において前記光の強度が所定の値になるように制御された場合に、前記第１のモードと前記第２のモードとのうち一方から他方へ切り替える制御を行う切替制御部と、
    を有することを特徴とする内視鏡装置。
  2. 　前記発光制御部は、前記撮像素子が露光されて受ける光量が前記モードの切替の前後のフィールド又はフレームにおいて等しくなるように前記発光部が発する前記光の強度を制御することを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記発光制御部は、前記モードの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の一部を、前記モードの切替の直前のフィールド又はフレームにおける前記露光期間における光量に加算した光量を、前記モードの切替の直後のフィールド又はフレームにおける前記露光期間の光量とするように、前記発光部が発する前記光の強度を制御することを特徴とする請求項１に記載の内視鏡装置。
  4. 　前記発光制御部は、前記モードの切替の直前の光の強度をI1とし、前記モードの切替の直後の光の強度をI2とし、前記露光期間をt1とし、前記撮像素子における1フィールド又は1フレームの期間をTとしたときに次の式（１）の関係を満たすように、前記発光部を制御することを特徴とする請求項３に記載の内視鏡装置。
    　（T－t1）I1／2＝t1（I2－I1）・・・（１）
  5. 　さらに、前記発光制御部は、前記発光部における最大発光強度をImaxとしたときに次の式（２）の関係を満たすように、前記発光部を制御することを特徴とする請求項４に記載の内視鏡装置。
    　2（I2－I1)＋I1≦Imax・・・（２）
  6. 　前記撮像素子は、前記露光期間の全ての期間あるいは一部の期間において、前記複数のラインの露光を同時に行うことを特徴とする請求項１に記載の内視鏡装置。
  7. 　前記モードの切替の直後のフィールド又はフレームの画像に対して、前記モードの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の影響による輝度ムラを補正する処理を行う補正部を有することを特徴とする請求項３に記載の内視鏡装置。
  8. 　前記撮像素子は、CMOSイメージセンサであることを特徴とする請求項１に記載の内視鏡装置。
  9. 　被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、
    　前記発光部が発する前記光の強度を制御する発光制御部と、
    　前記露光期間および前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードとを切り替え可能であり、前記光量制御部において前記光の強度が所定の値になるように制御された場合に、前記第１のモードと前記第２のモードとのうち一方から他方へ切り替える制御を行う切替制御部と、
    を有することを特徴とするビデオプロセッサ。
  10. 　被検体を照明するための光を発する発光部と、
    　前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、
    　前記発光部が発する前記光の強度を制御する発光制御部と、
    　少なくとも前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードの２つのモードのうち一方から他方へのモードの切替を行うときに、前記モードの切替後に前記光の強度が所定の値になるように前記発光制御部を制御する切替制御部と、
    を有することを特徴とする内視鏡装置。
  11. 　被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、
    　前記発光部が発する前記光の強度を制御する発光制御部と、
    　少なくとも前記読み出し期間において前記発光部からの光を照射する第１のモードと前記露光期間のみにおいて前記発光部からの光を照射する第２のモードの２つのモードのうち一方から他方へのモードの切替を行うときに、前記モードの切替後に前記光の強度が所定の値になるように前記発光制御部を制御する切替制御部と、
    を有することを特徴とするビデオプロセッサ。
PCT/JP2016/053220 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ WO2017047113A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680052921.XA CN108024701B (zh) 2015-09-16 2016-02-03 内窥镜装置和视频处理器
JP2017505598A JP6234632B2 (ja) 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ
US15/922,340 US10624535B2 (en) 2015-09-16 2018-03-15 Endoscope apparatus and video processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015183168 2015-09-16
JP2015-183168 2015-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/922,340 Continuation US10624535B2 (en) 2015-09-16 2018-03-15 Endoscope apparatus and video processor

Publications (1)

Publication Number Publication Date
WO2017047113A1 true WO2017047113A1 (ja) 2017-03-23

Family

ID=58288570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053220 WO2017047113A1 (ja) 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ

Country Status (4)

Country Link
US (1) US10624535B2 (ja)
JP (1) JP6234632B2 (ja)
CN (1) CN108024701B (ja)
WO (1) WO2017047113A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018145030A1 (en) 2017-02-06 2018-08-09 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
US10638921B2 (en) * 2018-07-20 2020-05-05 Arthrex, Inc. Medical imaging system
CN109171609A (zh) * 2018-09-29 2019-01-11 合肥京东方光电科技有限公司 一种内窥镜系统及其控制方法
DE102018127287B4 (de) * 2018-10-31 2023-01-12 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung
US11445123B2 (en) 2020-09-28 2022-09-13 Brompton Technology Ltd. System and method for PWM control of a video display screen
US20230146673A1 (en) * 2021-11-09 2023-05-11 Karl Storz Imaging, Inc. Dynamic light source status indication for endoscopic systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5452785B1 (ja) * 2012-05-25 2014-03-26 オリンパスメディカルシステムズ株式会社 撮像システム
JP2015061090A (ja) * 2013-09-17 2015-03-30 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置
JP5735478B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850630B2 (ja) * 2011-04-04 2016-02-03 富士フイルム株式会社 内視鏡システム及びその駆動方法
CN104135908B (zh) * 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
EP2698985B1 (en) * 2012-04-16 2018-05-30 Olympus Corporation Imaging system and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5452785B1 (ja) * 2012-05-25 2014-03-26 オリンパスメディカルシステムズ株式会社 撮像システム
JP5735478B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
JP2015061090A (ja) * 2013-09-17 2015-03-30 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
CN108024701A (zh) 2018-05-11
CN108024701B (zh) 2019-12-06
JP6234632B2 (ja) 2017-11-22
US10624535B2 (en) 2020-04-21
JPWO2017047113A1 (ja) 2017-09-14
US20180199805A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6234632B2 (ja) 内視鏡装置及びビデオプロセッサ
US11337593B2 (en) Endoscope apparatus and video processor
JP6138203B2 (ja) 内視鏡装置
WO2013157368A1 (ja) 撮像システム、撮像方法
JP5452785B1 (ja) 撮像システム
US8721532B2 (en) Endoscope apparatus and method for controlling fluorescence imaging apparatus
US9307600B2 (en) Synchronized light source for rolling shutter imagers
JP6360988B1 (ja) 内視鏡および内視鏡システム
US20130050456A1 (en) Imaging device, endoscope device
JPWO2016056388A1 (ja) 撮像システム
US20210208384A1 (en) Light source device, endoscope system, and control method for light source device
JP2008079113A (ja) プロジェクタおよび調整方法
JP6489644B2 (ja) 撮像システム
JP6246436B1 (ja) 内視鏡用プロセッサ及び内視鏡用プロセッサの作動方法
US20210037176A1 (en) Control device, medical observation system, control method, and computer readable recording medium
JP7224985B2 (ja) 医療用光源装置及び医療用観察システム
JP2012085790A (ja) 内視鏡装置
WO2017047166A1 (ja) 内視鏡装置及びビデオプロセッサ
JP6735586B2 (ja) 電子内視鏡システムおよび電子内視鏡システムの作動方法
WO2019167298A1 (ja) 被検体観察システム、被検体観察システムの作動方法
JP2021069861A (ja) 電子内視鏡及び電子内視鏡システム
JP2019202077A (ja) 内視鏡システム
JP2017109037A (ja) 撮像システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017505598

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16845987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16845987

Country of ref document: EP

Kind code of ref document: A1