WO2017158906A1 - 内視鏡装置及びビデオプロセッサ - Google Patents

内視鏡装置及びビデオプロセッサ Download PDF

Info

Publication number
WO2017158906A1
WO2017158906A1 PCT/JP2016/082038 JP2016082038W WO2017158906A1 WO 2017158906 A1 WO2017158906 A1 WO 2017158906A1 JP 2016082038 W JP2016082038 W JP 2016082038W WO 2017158906 A1 WO2017158906 A1 WO 2017158906A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
light
period
control unit
electronic shutter
Prior art date
Application number
PCT/JP2016/082038
Other languages
English (en)
French (fr)
Inventor
哲史 田中
陽一朗 坂上
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680083584.0A priority Critical patent/CN108778090B/zh
Priority to DE112016006615.5T priority patent/DE112016006615T5/de
Priority to JP2017548314A priority patent/JP6239220B1/ja
Publication of WO2017158906A1 publication Critical patent/WO2017158906A1/ja
Priority to US16/130,007 priority patent/US11337593B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Definitions

  • the present invention relates to an endoscope apparatus and a video processor.
  • An endoscope apparatus inserts an insertion part into a subject, irradiates illumination light to an examination site, receives reflected light from the examination site with an image sensor, and generates an endoscopic image as a subject image To do.
  • CMOS image sensor employs a rolling shutter system in which exposure and reading are performed with a timing shifted for each line, and processing from exposure to reading is performed at different timing for each line.
  • the gain value is changed by changing the gain value for each horizontal line in order to correct the obtained image so as to approach the image when the amount of illumination light corresponding to each horizontal line is the same. It was necessary to make adjustments, and high-speed and complicated processing was required.
  • an object of the present invention is to provide an endoscope apparatus and a video processor that can reduce luminance unevenness without performing high-speed and complicated processing.
  • An endoscope apparatus includes a light emitting unit that emits light for illuminating a subject, and generates an electrical signal by receiving light from the subject illuminated by the light emitted from the light emitting unit.
  • a rolling shutter that has a plurality of lines composed of a plurality of pixels, sequentially reads out the electrical signal for each line, and starts sequential exposure from the line for which the readout of the electrical signal has been completed to generate an image signal of one frame
  • a first pattern that irradiates the subject with the light during a readout period in which the electrical signal is sequentially read out for each line in the imaging unit, and the subject is exposed to the subject during the readout period.
  • An illumination control unit that performs control to switch between a second pattern that does not irradiate light, and one of the first pattern and the second pattern by the illumination control unit
  • An electronic shutter control unit that controls the imaging unit to perform an electronic shutter process during an entire line exposure period in which exposure of the plurality of lines is performed simultaneously in a frame corresponding to the timing of switching to the other pattern.
  • the video processor includes a plurality of pixels that receive light from the object illuminated by light emitted from a light emitting unit that emits light for illuminating the object and generate an electrical signal.
  • a rolling shutter type imaging unit that sequentially reads out the electrical signal for each line and starts exposure sequentially from the line for which readout of the electrical signal has been completed to generate an imaging signal of one frame.
  • a video processor that generates an endoscopic image by receiving the electrical signal, and irradiates the subject with the light during a readout period in which the electrical signal is sequentially read out for each line in the imaging unit.
  • An illumination control unit that performs control to switch between a first pattern and a second pattern that does not irradiate the subject with the light during the readout period; In the frame corresponding to the timing corresponding to the timing when one of the first pattern and the second pattern is switched from the first pattern to the other pattern by the unit, the imaging unit during the entire line exposure period in which the plurality of lines are exposed simultaneously And an electronic shutter control unit that controls to perform electronic shutter processing.
  • FIG. 1 is a block diagram showing a configuration of an endoscope apparatus according to an embodiment.
  • an endoscope apparatus 1 according to the present embodiment includes an endoscope 2, a video processor 3, a light source device 4, and a monitor 5.
  • an endoscope apparatus 1 includes an endoscope 2, a video processor 3, a light source device 4, and a monitor 5.
  • FIG. 1 only the components related to the control of the rolling shutter of this embodiment are shown, and the other components are omitted.
  • the endoscope 2 includes an imaging element 11, an analog front end part (hereinafter referred to as AFE part) 12, and a light emitting element 13.
  • AFE part an analog front end part
  • AFE part an analog front end part
  • the image sensor 11 as an image capturing unit is a CMOS image sensor, and is driven by an image sensor driving unit 23 described later, and outputs an image signal to the AFE unit 12.
  • the imaging element 11 receives light from a subject illuminated with light emitted from the light emitting element 13 and generates an electrical signal.
  • the image sensor 11 has a light receiving unit having a plurality of horizontal lines, each line including a plurality of pixels.
  • the image pickup device 11 is a rolling shutter type image pickup device that sequentially reads out an electric signal for each line, and starts exposure sequentially from the line where the reading of the electric signal is completed to generate an image pickup signal of one frame.
  • the image sensor 11 has a function of an electronic shutter, and is driven by an image sensor drive unit 23 described later, and can reset the charge at a predetermined timing.
  • the AFE unit 12 performs noise reduction processing, amplification processing, and the like on the input imaging signal, which is an analog signal, and then converts it into a digital signal and outputs it to the video processor 3.
  • the light emitting element 13 is, for example, a light emitting diode (LED) that emits white light, and is a light emitting unit that is driven by a light emitting element driving unit 24 to be described later and emits illumination light for illuminating a subject.
  • the imaging element 11 and the light emitting element 13 are disposed at the distal end portion of the insertion portion of the endoscope 2.
  • the video processor 3 includes a control unit 21, a brightness detection unit 22, and an image sensor driving unit 23.
  • the control unit 21 includes a central processing unit (CPU), a ROM, a RAM, and the like, and controls the entire endoscope device 1 and each unit. Specifically, the control unit 21 performs drive control of the imaging element 11 and the light emitting element 13, performs various image processing on the imaging signal from the imaging element 11, generates an image to be displayed on the monitor 5, and images to a memory (not shown) To record.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the brightness detection unit 22 calculates the brightness of the image from the pixel values of a plurality of pixels included in a predetermined range, for example, the entire frame image range, based on the imaging signal IS from the imaging device 11 of the endoscope 2. Circuit.
  • the image sensor drive unit 23 is a circuit that generates the image sensor drive signal SC1 based on the image sensor control signal CS1 from the control unit 21 and drives the image sensor 11.
  • the image sensor driving unit 23 is a circuit that generates an electronic shutter drive signal SC2 based on the electronic shutter control signal CS2 from the control unit 21 and performs electronic shutter processing of the image sensor 11.
  • the image sensor drive signal SC1 includes a synchronization signal that gives exposure timing and read timing to the image sensor 11.
  • the light source device 4 includes a light emitting element driving unit 24. As will be described later, the control unit 21 outputs the light emitting element drive control signal CS3 at a predetermined timing.
  • the light emitting element driving unit 24 is a circuit that drives the light emitting element 13 by generating a driving signal I that is a current signal based on the light emitting element driving control signal CS3 from the control unit 21.
  • the intensity of light emitted from the light emitting element 13 changes according to the magnitude of the drive signal I output from the light emitting element driving unit 24, that is, the current value.
  • the control unit 21 controls switching between two illumination modes to be described later, and in each illumination mode, the brightness of the image becomes an appropriate brightness based on the brightness signal B detected by the brightness detection unit 22. As described above, the intensity of the illumination light emitted from the light emitting element 13 is controlled.
  • the monitor 5 is a display device such as a liquid crystal display that displays an endoscopic image and a menu image.
  • the brightness detection unit 22 detects the brightness of the image for each frame based on the imaging signal IS from the AFE unit 12, and controls the brightness signal B indicating the brightness of each frame image. To the unit 21.
  • the control unit 21 generates a display image based on the received imaging signal IS and outputs a light emitting element drive control signal CS3 to the light emitting element driving unit 24 based on the received brightness signal B.
  • control unit 21 controls the image sensor driving unit 23 to drive the image sensor 11, generates an endoscopic image from the image data generated by the rolling shutter method, outputs it to the monitor 5, and displays it. To do.
  • FIG. 2 illustrates the relationship between the exposure period and readout period of the image sensor 11 at the time of imaging by the endoscope apparatus 1 and the output of the illumination light emitted from the light emitting element 13 (light emission amount: maximum to minimum). It is a schematic diagram.
  • FIG. 2 the timing indicated by the exposure period and the readout period of each line of the image sensor 11 is schematically shown in the range indicated by G1 in the upper stage.
  • a change in the drive signal I flowing through the light emitting element 13 is shown in the lower G2.
  • the horizontal axis is the axis of time t.
  • the image pickup device 11 is a CMOS image sensor, and the image pickup device 11 includes a light receiving unit including a plurality of pixels in each line and n rows of lines.
  • the image sensor 11 generates image data by a rolling shutter method in which exposure and reading are performed at different timings for each line.
  • the imaging device 11 reads the accumulated charges for each horizontal line when imaging a plurality of frames continuously.
  • the n-th line (n is a natural number and the n-th line in FIG. 2) which is the last line from the first line (the first line in FIG. 2) of the light receiving unit of the image sensor 11 is sequentially read out.
  • the pixel signal is read out. Therefore, there is a time difference in the read timing between the first line and the nth line.
  • the period from the start of reading of the pixel data of the first line of the image sensor 11 to the end of reading of the pixel data of the nth line is a video reading period Tb of the CMOS rolling shutter.
  • an image read period Tb and an all-line simultaneous exposure period Ta are included in one field or one frame period T (one cycle of the CMOS rolling shutter) of the image.
  • the video readout period Tb and the all-line simultaneous exposure period Ta are alternately switched. Note that one field (or one frame) period T, video readout period Tb, and all-line simultaneous exposure period Ta are determined by the specifications of the image sensor 11.
  • the image pickup device 11 provided in the insertion portion of the endoscope 2 has a plurality of lines that receive reflected light from the subject irradiated with light, and each of the lines sequentially from the plurality of lines.
  • This is a rolling shutter type imaging device that alternately switches between a video readout period Tb in which an imaging signal is read and an all-line simultaneous exposure period Ta in which a plurality of lines are exposed simultaneously.
  • the driving signal I output from the light emitting element driving unit 24 changes between a predetermined minimum value Imin and a predetermined maximum value Imax.
  • the controller 21 outputs the light emitting element drive control signal CS3 to the light emitting element driver 24. That is, the light emitting element drive control signal CS3 is a signal such that the drive signal I output from the light emitting element drive unit 24 is between a predetermined minimum value Imin and a predetermined maximum value Imax.
  • the control unit 21 determines whether the brightness detected by the brightness detection unit 22 is in accordance with the brightness of the image.
  • a light emitting element drive control signal CS3 is output to the light emitting element driving unit 24 so that the light emitting element 13 emits illumination light with an intensity at which the image has appropriate brightness. That is, the control unit 21 performs current level control for dimming by adjusting the magnitude of the drive signal I flowing through the light emitting element 13.
  • the current level control is, for example, PAM (Pulse Amplitude Modulation) control.
  • the magnitude of the current value of the drive signal I flowing through the light emitting element 13 is smaller in the period T2 than in the period T1.
  • the drive signal I in the period T1 is the maximum value Imax
  • the drive signal I in the period T2 is the minimum value Imin.
  • illumination control is performed in the first illumination mode M1 in which illumination light having a constant intensity corresponding to the brightness of the image is emitted in the video readout period Tb and the all-line simultaneous exposure period Ta. ing. That is, the control unit 21 normally performs illumination control in the first illumination mode M1 that emits illumination light having the same intensity in the all-line simultaneous exposure period Ta and the video readout period Tb in order to obtain an image with appropriate brightness.
  • the drive signal I is adjusted between the predetermined minimum value Imin and the predetermined maximum value Imax, but the distal end portion of the insertion portion of the endoscope 2 is the subject. If the distance is too close, the brightness of the image becomes equal to or higher than the predetermined brightness even if the drive signal I is the minimum value Imin.
  • the illumination light is emitted in the video readout period Tb, and the PWM control is performed to control the illumination light amount according to the light emission time in the all-line simultaneous exposure period Ta. Further, in the period T4, the light emission time in the all-line simultaneous exposure period Ta is further reduced, and the illumination light is emitted only in the video readout period Tb, and the illumination light is not emitted in the all-line simultaneous exposure period Ta.
  • the irradiation timing is changed from the video readout period Tb to the all-line simultaneous exposure period Ta from the period T4 to the period T5.
  • the control unit 21 appropriately In order to obtain an image with high brightness, the illumination mode is switched so as to execute illumination control in the second illumination mode M2 that emits illumination light only in the all-line simultaneous exposure period Ta.
  • the control unit 21 performs the first illumination mode (first pattern) M1 in which the subject is irradiated with light during the video readout period Tb, and the second illumination mode in which the subject is not irradiated with light during the video readout period Tb. (2nd pattern)
  • the illumination control part which performs control which switches M2 is comprised.
  • the second illumination mode M2 is a mode that is executed when the necessary amount of light is small because the illumination light is emitted only during the all-line simultaneous exposure period Ta and no illumination light is emitted during the video readout period Tb.
  • current control for controlling the light intensity by increasing / decreasing the magnitude of the drive signal I and PWM control for controlling the amount of illumination light according to the emission time are used in combination. That is, although not shown, in the second illumination mode M2, the drive signal I is adjusted between the predetermined minimum value Imin and the predetermined maximum value Imax.
  • the first lighting mode M1 and the second lighting mode M2 are switched according to the brightness L of the screen.
  • FIG. 2 shows that the transition of the illumination control from the first illumination mode to the second illumination mode M2 is performed when the period T4 transitions to the period T5.
  • the irradiation timing is transferred from the period T4 to the period T5.
  • the illumination light is irradiated also in the video reading period Tb of the period T5
  • the exposure amount decreases as the line 1 changes to the line n. Uneven exposure occurs.
  • the control unit 21 when the control unit 21 switches from the first illumination mode to the second illumination mode, the control unit 21 outputs the electronic shutter control signal CS2 to the image sensor driving unit 23 so as to perform the electronic shutter process in the all-line simultaneous exposure period Ta of the period T5.
  • the image sensor drive unit 23 outputs an electronic shutter drive signal SC2 to the image sensor 11 based on the electronic shutter control signal CS2.
  • the electronic shutter process is performed in the all-line simultaneous exposure period Ta of the period T5, and the charges exposed in the video readout period Tb are reset.
  • the charge accumulation time in the period T5 is the same for all the lines, and luminance unevenness in the period T5 can be prevented.
  • the light emission time in the all-line simultaneous exposure period Ta is shorter than that in the period T5, that is, the PWM duty width is reduced to the minimum value to minimize the amount of illumination light emitted.
  • FIG. 3 is a diagram for explaining the relationship between the exposure period and readout period of the image sensor 11 during imaging by the endoscope apparatus 1 and the output of the illumination light emitted from the light emitting element 13 (light emission amount: from minimum to maximum). It is a schematic diagram. In FIG. 3, the same components as those in FIG. 2 are denoted by the same reference numerals and description thereof is omitted.
  • the period T6 is the same as the period T6 in FIG. 2 and is a state in which the PWM duty width in the all-line simultaneous exposure period Ta is reduced to the minimum value to minimize the amount of illumination light emitted. For example, since the distal end of the insertion portion has moved away from the subject, it is necessary to increase the intensity of the illumination light because the brightness signal B is reduced, so in the period T7, the drive signal I in the all-line simultaneous exposure period Ta The application time is longer than the period T6.
  • the irradiation timing is changed from the period T8 to the period T9 to transfer the irradiation timing from the all-line simultaneous exposure period Ta to the video readout period Tb.
  • the light amount in the all-line simultaneous exposure period Ta of the period T7 is the same as the light amount of R3 + R4.
  • the irradiation timing is changed from the period T8 to the period T9.
  • the illumination light is irradiated also in the all-line simultaneous exposure period Ta in the period T8, the exposure amount is increased from the line 1 to the line n. The exposure increases and uneven exposure occurs.
  • the control unit 21 when the control unit 21 switches from the second illumination mode to the first illumination mode, the control unit 21 outputs the electronic shutter control signal CS2 to the image sensor driving unit 23 so as to perform the electronic shutter process in the all-line simultaneous exposure period Ta of the period T8.
  • the image sensor drive unit 23 outputs an electronic shutter drive signal SC2 to the image sensor 11 based on the electronic shutter control signal CS2.
  • the electronic shutter process is performed in the all-line simultaneous exposure period Ta in the period T8, and the charges exposed in the all-line simultaneous exposure period Ta are reset.
  • the charge accumulation time in the period T8 is the same for all the lines, and luminance unevenness in the period T8 can be prevented.
  • control unit 21 simultaneously exposes all lines in the frame corresponding to the timing when the first illumination mode M1 is switched to the second illumination mode M2 or the second illumination mode M2 is switched to the first illumination mode M1.
  • An electronic shutter control unit is configured to perform control so that the electronic shutter processing of the image sensor 11 is performed during the period Ta.
  • control unit 21 adjusts the magnitude of the drive signal I flowing through the light emitting element 13 between a predetermined minimum value Imin and a predetermined maximum value Imax. , Current level control for dimming is executed.
  • the operation of the endoscope apparatus 1 will be described.
  • the first illumination mode M1 and the second illumination mode M2 are switched according to the brightness L of the screen, but the switching process between the first illumination mode M1 and the second illumination mode M2 will be described at some point.
  • FIG. 4 is a diagram for explaining the illumination mode.
  • the vertical axis in FIG. 4 indicates the brightness L.
  • the control unit 21 controls the intensity of the illumination light emitted from the light emitting element 13 so that the brightness of the image becomes appropriate based on the brightness signal B detected by the brightness detection unit 22.
  • the brightness L of the obtained image does not become an appropriate brightness even if the drive current I becomes the minimum value Imin. It becomes more than the threshold value Lth.
  • the control unit 21 performs illumination control in the second illumination mode M2.
  • the illumination control is executed in the first illumination mode M1.
  • the illumination mode is switched.
  • FIG. 5 is a flowchart showing an example of the flow of the illumination mode switching process. The process of FIG. 5 is always executed when the illumination control is executed in the first illumination mode M1 and the second illumination mode M2.
  • the control unit 21 determines whether or not the brightness L of the image is equal to or less than a predetermined threshold Lth based on the brightness signal B from the brightness detection unit 22 (S1). When the brightness L of the image exceeds the predetermined threshold Lth (S1: NO), the control unit 21 determines whether the current illumination mode is the second illumination mode M2 (S2), and the second illumination mode If it is M2 (S2: YES), no processing is performed.
  • the control unit 21 determines that the first illumination mode M1 is switched to the second illumination mode M2, performs electronic shutter processing and light amount setting (S3), The light amount control is performed in the two illumination mode M2 (S4), and the process is terminated.
  • the period until the illumination light irradiation is started (that is, the drive signal I is equal to the total line simultaneous exposure period Ta of the frame after the illumination mode is switched).
  • Electronic shutter processing is performed during a period before application).
  • the control unit 21 determines whether the current illumination mode is the first illumination mode M1 (S5), and the first illumination If the mode is M1 (S5: YES), no processing is performed.
  • the control unit 21 determines that the second illumination mode M2 is switched to the first illumination mode M1, performs electronic shutter processing and light amount setting (S6), The amount of light is controlled in one illumination mode M1 (S7), and the process is terminated.
  • the illumination light irradiation period (that is, the drive signal I is applied) in the all-line simultaneous exposure period Ta of the frame when the illumination mode is switched. (Period) electronic shutter processing is performed.
  • the endoscope apparatus 1 uses the electronic shutter process to switch the charge accumulated in the video readout period Tb or the all-line simultaneous exposure period Ta when switching the illumination mode (when changing the irradiation timing). , So that the charge accumulation time is uniform on all lines, that is, the image has uniform brightness on all lines. As a result, the endoscope apparatus 1 can obtain an image with reduced luminance unevenness without performing high-speed and complicated processing such as gain processing for applying different gain values for different lines.
  • the endoscope apparatus of the present embodiment it is possible to reduce luminance unevenness without performing high-speed and complicated processing.
  • the electronic shutter process is performed when the irradiation timing is transferred.
  • the electronic shutter process may be performed when the light source is turned off.
  • FIG. 6 is a schematic diagram for explaining an electronic shutter process when the light source is OFF.
  • the control unit 21 outputs an electronic shutter control signal CS2 to the image sensor driving unit 23 so that electronic shutter processing is performed after the light source is turned off.
  • the image sensor drive unit 23 outputs an electronic shutter drive signal SC2 to the image sensor 11 based on the electronic shutter control signal CS2.
  • electronic shutter processing is performed after the light source is turned off, the charge accumulated in the video readout period Tb of period T13 is reset, and an image in which illumination light is not irradiated on all lines is generated.
  • each step in the flowchart in the present specification may be executed in a different order for each execution by changing the execution order and performing a plurality of steps at the same time as long as it does not contradict its nature.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

内視鏡装置１は、発光素子１３と、ローリングシャッタ方式の撮像素子１１と、制御部２１とを有する。発光素子１３と、ローリングシャッタ方式の撮像素子１１と、制御部２１とを有する。制御部２１は、撮像素子１１においてライン毎に順次電気信号の読み出しが行われる読み出し期間Tbに被検体に光を照射する第１照明モードM1と、読み出し期間Tbに被検体に光を照射しない第２照明モードM2とを切り替える制御を行い、第１照明モードM1及び第２照明モードM2のうち一方の照明モードから他方の照明モードに切り替えられたタイミングに対応するフレームにおいて、複数のラインの露光を同時に行う全ライン露光期間に撮像素子１１に電子シャッタ処理を行わせるように制御する。

Description

内視鏡装置及びビデオプロセッサ
　本発明は、内視鏡装置及びビデオプロセッサに関する。
　従来より、医療分野及び工業分野で、内視鏡装置が広く用いられている。内視鏡装置は、挿入部が被検体内に挿入され、照明光を検査部位に照射し、検査部位からの反射光を撮像素子で受光して、被検体画像である内視鏡画像を生成する。
　近年は撮像素子としてCMOSイメージセンサが用いられる内視鏡装置がある。CMOSイメージセンサでは、ライン毎にタイミングをずらして露光及び読み出しを行うローリングシャッタ方式が採用され、露光から読み出しまでの処理がライン毎に異なるタイミングで行われる。
　CMOSイメージセンサの場合、パルス照明をすると、照明光の発光タイミングによっては、露光ムラが発生する場合があるため、国際公開第２０１３／１５７３６８号公報に開示のように、露光ムラを補正する技術が提案されている。
　この提案では、所定の調光モードの照明下でCMOSにより露光して得られた画像（緩やかなグラデーションがある画像）を、画像を露光したときの各水平ラインに対応する照明光の光量に基づいて、各水平ラインに対応する照明光の光量が同一であるときの画像（グラデーションがない画像）に近付けるように補正することで、露光ムラを無くして画質の低下を防止している。
　しかしながら、従来の提案の場合、得られた画像から各水平ライン毎に対応する照明光の光量が同一であるときの画像に近付けるように補正するため、水平ライン毎にゲイン値を変更してゲイン調整を行う必要があり、高速で複雑な処理が必要であった。
　そこで、本発明は、高速で複雑な処理を行うことなく、輝度ムラを低減することができる内視鏡装置及びビデオプロセッサを提供することを目的とする。
　本発明の一態様の内視鏡装置は、被検体に照明するための光を発する発光部と、前記発光部が発する光が照明された前記被検体からの光を受光して電気信号を生成する複数の画素からなるラインを複数有し、前記電気信号を前記ライン毎に順次読み出し、かつ前記電気信号の読み出しが完了したラインから順次露光を開始して１フレームの撮像信号を生成するローリングシャッタ方式の撮像部と、前記撮像部において前記ライン毎に順次前記電気信号の読み出しが行われる読み出し期間に前記被検体に前記光を照射する第１のパターンと、前記読み出し期間に前記被検体に前記光を照射しない第２のパターンとを切り替える制御を行う照明制御部と、前記照明制御部により前記第１のパターン及び前記第２のパターンのうち一方のパターンから他方のパターンに切り替えられたタイミングに対応するフレームにおいて、前記複数のラインの露光を同時に行う全ライン露光期間に前記撮像部に電子シャッタ処理を行わせるように制御する電子シャッタ制御部と、を有する。
　また、本発明の一態様のビデオプロセッサは、被検体に照明するための光を発する発光部が発する光が照明された前記被検体からの光を受光して電気信号を生成する複数の画素からなるラインを複数有し、前記電気信号を前記ライン毎に順次読み出し、かつ前記電気信号の読み出しが完了したラインから順次露光を開始して１フレームの撮像信号を生成するローリングシャッタ方式の撮像部からの前記電気信号が入力されて内視鏡画像を生成するビデオプロセッサであって、前記撮像部において前記ライン毎に順次前記電気信号の読み出しが行われる読み出し期間に前記被検体に前記光を照射する第１のパターンと、前記読み出し期間に前記被検体に前記光を照射しない第２のパターンとを切り替える制御を行う照明制御部と、前記照明制御部により前記第１のパターン及び前記第２のパターンのうち一方のパターンから他方のパターンに切り替えられたタイミングに対応するフレームにおいて、前記複数のラインの露光を同時に行う全ライン露光期間に前記撮像部に電子シャッタ処理を行わせるように制御する電子シャッタ制御部と、を有する。
一実施形態に係わる内視鏡装置の構成を示すブロック図である。 内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力（発光量：最大から最少）との関係を説明するための模式的な図である。 内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力（発光量：最少から最大）との関係を説明するための模式的な図である。 照明モードを説明するための図である。 照明モードの切替処理の流れの例を示すフローチャートである。 光源OFF時の電子シャッタ処理について説明するための模式的な図である。
　以下、図面を参照して本発明の実施の形態を説明する。
　図１は、一実施形態に係わる内視鏡装置の構成を示すブロック図である。図１に示すように、本実施形態の内視鏡装置１は、内視鏡２と、ビデオプロセッサ３と、光源装置４と、モニタ５とを有して構成されている。なお、図１では、本実施形態のローリングシャッタの制御に関連する構成要素のみを示し、その他の構成要素については、省略している。
　内視鏡２は、撮像素子１１と、アナログフロントエンド部（以下、AFE部という）１２と、発光素子１３とを有して構成されている。
　撮像部としての撮像素子１１は、CMOSイメージセンサであり、後述する撮像素子駆動部２３により駆動されて、撮像信号をAFE部１２へ出力する。撮像素子１１は、発光素子１３が発する光が照明された被検体からの光を受光して電気信号を生成する。また、撮像素子１１は、各ラインが複数の画素を含む複数の水平ラインを有する受光部を有している。撮像素子１１は、電気信号をライン毎に順次読み出し、かつ電気信号の読み出しが完了したラインから順次露光を開始して１フレームの撮像信号を生成するローリングシャッタ方式の撮像素子である。また、撮像素子１１は、電子シャッタの機能を有しており、後述する撮像素子駆動部２３により駆動され、所定のタイミングで電荷をリセットすることができる。
　AFE部１２は、入力されたアナログ信号である撮像信号に対して、ノイズ低減処理、増幅処理等を行ってから、デジタル信号に変換して、ビデオプロセッサ３に出力する。
　発光素子１３は、例えば白色光を出射する発光ダイオード（LED）であり、後述する発光素子駆動部２４により駆動されて、被検体を照明するための照明光を発する発光部である。撮像素子１１と発光素子１３は、内視鏡２の挿入部の先端部に配置される。
　ビデオプロセッサ３は、制御部２１と、明るさ検出部２２と、撮像素子駆動部２３と、を有して構成されている。
　制御部２１は、中央処理装置（CPU）、ROM、RAM等を含み、内視鏡装置１全体の制御及び各部の制御を行う。具体的には、制御部２１は、撮像素子１１及び発光素子１３の駆動制御、撮像素子１１からの撮像信号に対する各種画像処理を施してモニタ５に表示する画像の生成、図示しないメモリへの画像の記録等を行う。
　明るさ検出部２２は、内視鏡２の撮像素子１１からの撮像信号ISに基づいて、所定の範囲、例えばフレーム画像全体範囲に含まれる複数の画素の画素値から、画像の明るさを算出する回路である。
　撮像素子駆動部２３は、制御部２１からの撮像素子制御信号CS1に基づいて撮像素子駆動信号SC1を生成し、撮像素子１１を駆動する回路である。また、撮像素子駆動部２３は、制御部２１からの電子シャッタ制御信号CS2に基づいて電子シャッタ駆動信号SC2を生成し、撮像素子１１の電子シャッタ処理を行う回路である。撮像素子駆動信号SC1には、撮像素子１１に対する露光タイミング及び読み出しタイミングを与える同期信号が含まれる。
　光源装置４は、発光素子駆動部２４を有して構成されている。制御部２１は、後述するように、所定のタイミングで発光素子駆動制御信号CS3を出力する。
　発光素子駆動部２４は、制御部２１からの発光素子駆動制御信号CS3に基づいて電流信号である駆動信号Iを生成して、発光素子１３を駆動する回路である。発光素子駆動部２４から出力される駆動信号Iの大きさ、すなわち電流値に応じて、発光素子１３の出射する光の強度が変化する。
　制御部２１は、後述する２つの照明モードの切り替えを制御すると共に、各照明モードにおいて、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。
　内視鏡２の挿入部の先端部に設けられた発光素子１３からの照明光が被検体の観察部位を照明し、撮像素子１１がその反射光を受光して撮像信号ISが生成される。
　モニタ５は、内視鏡画像及びメニュー画像を表示する、液晶表示器などの表示装置である。
　以上のように、明るさ検出部２２が、AFE部１２からの撮像信号ISに基づいて、フレーム毎の画像の明るさを検出して、各フレーム画像の明るさを示す明るさ信号Bを制御部２１へ出力する。制御部２１は、受信した撮像信号ISに基づいて表示画像を生成すると共に、受信した明るさ信号Bに基づいて発光素子駆動部２４へ発光素子駆動制御信号CS3を出力する。
　よって、制御部２１は、撮像素子駆動部２３を制御して、撮像素子１１を駆動し、ローリングシャッタ方式により生成された画像データから内視鏡画像を生成して、モニタ５に出力して表示する。
　ここで、発光素子１３が出射する照明光の発光量を最大から最少に減少する際の制御について説明する。
　図２は、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力（発光量：最大から最少）との関係を説明するための模式的な図である。
　図２において、上段のG1で示す範囲には、撮像素子１１の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。下段のG2には、発光素子１３に流れる駆動信号Iの変化が示されている。横軸は、時間ｔの軸である。
　撮像素子１１は、CMOSイメージセンサであり、撮像素子１１は、各ラインが複数の画素からなり、ｎ行のラインからなる受光部を有する。撮像素子１１は、ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像データを生成する。
　具体的には、撮像素子１１は、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを１つの水平ライン毎に行う。撮像素子１１の受光部の第１ライン（図２における１行目のライン）から最後のラインである第ｎライン（ｎは自然数であり、図２におけるｎ行目のライン）が、順次読み出しラインとなって、画素信号が読み出される。そのため、１行目のラインとｎ行目のラインとの間には、読み出しタイミングに時間差が生じる。
　撮像素子１１の第１ラインの画素データの読み出しの開始後、第ｎラインの画素データの読み出しが終了するまでの期間がCMOSローリングシャッタの映像読み出し期間Tbである。
　周期的に発生する映像読み出し期間Tb以外の期間であって、全ラインに対して同時に露光を行う期間が、CMOSローリングシャッタの全ライン同時露光期間Taである。図２に示すように、画像の１フィールド又は１フレームの期間T（CMOSローリングシャッタの１周期）中には、映像読み出し期間Tbと全ライン同時露光期間Taとが含まれる。
　撮像素子１１はローリングシャッタ方式であるため、映像読み出し期間Tbと全ライン同時露光期間Taとが交互に切り替わる。なお、１フィールド（又は１フレーム）の期間T、映像読み出し期間Tb及び全ライン同時露光期間Taは、撮像素子１１の仕様によって決定される。
　以上のように、内視鏡２の挿入部に設けられた撮像素子１１は、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインから順次各ラインの撮像信号を読み出す映像読み出し期間Tbと、複数のラインの露光を同時に行う全ライン同時露光期間Taとを交互に切り替えるローリングシャッタ方式の撮像素子である。
　発光素子駆動部２４が出力する駆動信号Iは、所定の最小値Iminと所定の最大値Imaxとの間で変化する。制御部２１は、発光素子駆動制御信号CS3を発光素子駆動部２４に出力する。すなわち、発光素子駆動制御信号CS3は、発光素子駆動部２４が出力する駆動信号Iが所定の最小値Iminと所定の最大値Imaxとの間となるような信号である。
　内視鏡２の挿入部が被検体内に挿入されて、撮像素子１１により被検体内が撮像されると、制御部２１は、明るさ検出部２２が検出した画像の明るさに応じて、画像が適正な明るさとなる強度で発光素子１３が照明光を出射するような発光素子駆動制御信号CS3を、発光素子駆動部２４に出力する。すなわち、制御部２１は、発光素子１３に流れる駆動信号Iの大きさを調整することによって、調光を行う電流レベル制御を実行する。電流レベル制御は、例えば、PAM（Pulse Amplitude Modulation）制御である。
　図２において、発光素子１３に流れる駆動信号Iの電流値の大きさは、期間T2では、期間T1よりも小さくなっている。例えば、挿入部の先端が被検体に近づいたことにより、明るさ信号Bが大きくなって、照明光の強度を下げる必要になったため、期間T2では、発光素子１３を駆動する駆動信号Iの電流値が低下している。図２の例では、期間T1の駆動信号Iが最大値Imaxであり、期間T2の駆動信号Iが最小値Iminである。
　期間T1とT2の各期間では、映像読み出し期間Tb及び全ライン同時露光期間Taにおいて、画像の明るさに応じた一定の強度の照明光を出射する第１照明モードM1で、照明制御が行われている。すなわち、制御部２１は、通常は、適切な明るさの画像を得るために全ライン同時露光期間Ta及び映像読み出し期間Tbにおいて同じ強度の照明光を出射する第１照明モードM1による照明制御を実行する。上述したように、第１照明モードM1では、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整されるが、内視鏡２の挿入部の先端部が被検体に近づき過ぎると、駆動信号Iが最小値Iminであっても画像の明るさが所定の明るさ以上となってしまう。
　そのため、期間T3では、照明光の強度を下げるために、映像読み出し期間Tbにおいては照明光を出射し、全ライン同時露光期間Taにおいて、発光させる時間により照明光量を制御するPWM制御を行う。また、期間T4では、全ライン同時露光期間Taにおいて発光させる時間をさらに絞り、映像読み出し期間Tbのみで照明光を出射し、全ライン同時露光期間Taでの照明光を出射していない。
　照明光量をさらに下げる場合、期間T4から期間T5にかけて、照射させるタイミングを映像読み出し期間Tbから全ライン同時露光期間Taに移し替える照射タイミングの移し替えが行われる。このとき、期間T5の全ライン同時露光期間Taでの光量がR1+R2の光量と同じ光量となるようにPWM制御を行うことが望ましい。
　すなわち、挿入部の先端が被検体に近づいたりして、全ライン同時露光期間Ta及び映像読み出し期間Tbにおいて照明光を出射すると照明光の強度が強すぎてしまうときは、制御部２１は、適切な明るさの画像を得るために全ライン同時露光期間Taのみにおいて照明光を出射する第２照明モードM2による照明制御を実行するように照明モードを切り替える。このように、制御部２１は、映像読み出し期間Tbに被検体に光を照射する第１照明モード（第１のパターン）M1と、映像読み出し期間Tbに被検体に光を照射しない第２照明モード（第２のパターン）M2とを切り替える制御を行う照明制御部を構成する。
　第２照明モードM2は、全ライン同時露光期間Taにおいてのみ照明光を出射し、映像読み出し期間Tbにおいては照明光を出射しないので、必要な光量が少ないときに実行されるモードである。第２照明モードM2では、駆動信号Iの大きさを増減させて光の強度を制御する電流制御と、発光させる時間により照明光量を制御するPWM制御とが併用される。すなわち、図示は省略しているが、第２照明モードM2においても、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整される。
　第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられる。図２では、期間T4から期間T5に移行する時に、第１照明モードから第２照明モードM2への照明制御の移行が行われていることを示している。
　このように、期間T4から期間T5において照射タイミングの移し替えが行われるが、期間T5の映像読み出し期間Tbにおいても照明光が照射されるため、ライン１からラインｎになるに従い露光量が少なくなり、露光ムラが発生する。
　そこで、制御部２１は、第1照明モードから第２照明モードに切り替わると、期間T5の全ライン同時露光期間Taで電子シャッタ処理を行うように電子シャッタ制御信号CS2を撮像素子駆動部２３に出力する。撮像素子駆動部２３は、電子シャッタ制御信号CS2に基づいて撮像素子１１に電子シャッタ駆動信号SC2を出力する。これにより、期間T5の全ライン同時露光期間Taにおいて電子シャッタ処理を行い、映像読み出し期間Tbに露光された電荷をリセットする。この結果、期間T5における電荷蓄積時間は全ラインで同じになり、期間T5における輝度ムラを防止することができる。
　期間T6では、全ライン同時露光期間Taにおける発光させる時間を期間T5よりも短くし、すなわち、PWMのデューティー幅を最小値まで絞り、照明光の発光量を最少にしている。
　次に、発光素子１３が出射する照明光の発光量を最少から最大に増加する際の制御について説明する。
　図３は、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力（発光量：最少から最大）との関係を説明するための模式的な図である。なお、図３において、図２と同様の構成については、同一の符号を付して説明を省略する。
　期間T6は、図２の期間T6と同様であり、全ライン同時露光期間TaにおけるPWMのデューティー幅を最小値まで絞り、照明光の発光量を最少にしている状態である。例えば、挿入部の先端が被検体から遠ざかったことにより、明るさ信号Bが小さくなって、照明光の強度を上げる必要があるため、期間T7では、全ライン同時露光期間Taにおける駆動信号Iの印加時間が期間T6よりも長くなっている。
　照明光量をさらに上げる場合、期間T8から期間T9にかけて、照射させるタイミングを全ライン同時露光期間Taから映像読み出し期間Tbに移し替える照射タイミングの移し替えが行われる。このとき、期間T7の全ライン同時露光期間Taでの光量がR3+R4の光量と同じ光量となることが望ましい。
　このように、期間T8から期間T9において照射タイミングの移し替えが行われるが、期間T8の全ライン同時露光期間Taにおいても照明光が照射されるため、ライン１からラインｎになるに従い露光量が多くなり、露光ムラが発生する。
　そこで、制御部２１は、第２照明モードから第１照明モードに切り替わると、期間T8の全ライン同時露光期間Taで電子シャッタ処理を行うように電子シャッタ制御信号CS2を撮像素子駆動部２３に出力する。撮像素子駆動部２３は、電子シャッタ制御信号CS2に基づいて撮像素子１１に電子シャッタ駆動信号SC2を出力する。これにより、期間T8の全ライン同時露光期間Taにおいて電子シャッタ処理を行い、全ライン同時露光期間Taに露光された電荷をリセットする。この結果、期間T8における電荷蓄積時間は全ラインで同じになり、期間T8における輝度ムラを防止することができる。
　以上のように、制御部２１は、第１照明モードM1から第２照明モードM2、または、第２照明モードM2から第１照明モードM1に切り替えられたタイミングに対応するフレームにおいて、全ライン同時露光期間Taに撮像素子１１の電子シャッタ処理を行わせるように制御する電子シャッタ制御部を構成する。
　照明光量をさらに上げる場合、期間T10及びT11のように、制御部２１は、発光素子１３に流れる駆動信号Iの大きさを所定の最小値Iminから所定の最大値Imaxの間で調整することによって、調光を行う電流レベル制御を実行する。
　次に、内視鏡装置１の動作について説明する。　
　上述したように、第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられるが、第１照明モードM1と第２照明モードM2の切替処理にいついて説明する。
　図４は、照明モードを説明するための図である。図４の縦軸は、明るさLを示している。通常、制御部２１は、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。しかし、内視鏡２の先端部が検査部位に近づき過ぎたときは、上述した駆動電流Iが最小値Iminになっても、得られる画像の明るさLは適切な明るさにならず、所定の閾値Lth以上となる。
　そこで、制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて算出された画像の明るさLが所定の閾値Lth以上であれば、第２照明モードM2で照明制御を実行し、画像の明るさLが所定の閾値Lth未満であるとき、第１照明モードM1で照明制御を実行する。明るさLが所定の閾値Lth以上になるとき、及び、明るさLが所定の閾値Lth未満になるとき、照明モードの切り替えが行われる。
　図５は、照明モードの切替処理の流れの例を示すフローチャートである。図５の処理は、第１照明モードM1と第２照明モードM2で照明制御が実行されているとき、常に実行されている。
　制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて、画像の明るさLが所定の閾値Lth以下であるか否かを判定する（S1）。画像の明るさLが所定の閾値Lthを超えている場合（S1:NO）、制御部２１は、現在の照明モードが第２照明モードM2であるかを判定し（S2）、第２照明モードM2である場合（S2:YES）、処理は何もしない。
　一方、第２照明モードM2でない場合（S2:NO）、制御部２１は、第１照明モードM1から第２照明モードM2に切り替わると判断し、電子シャッタ処理及び光量設定を行い（S3）、第２照明モードM2で光量制御を行い（S4）、処理を終了する。
　S3の電子シャッタ処理では、図２に示すように、照明モードが切り替わった後のフレームの全ライン同時露光期間Taのうち、照明光の照射が開始されるまでの期間（すなわち、駆動信号Iが印加される前までの期間）に電子シャッタ処理を行う。
　また、画像の明るさLが所定の閾値Lth以下であると（S1:YES）、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定し（S5）、第１照明モードM1である場合（S5:YES）、処理は何もしない。
　一方、第１照明モードM1でない場合（S5:NO）、制御部２１は、第２照明モードM2から第１照明モードM1に切り替わると判断し、電子シャッタ処理及び光量設定を行い（S6）、第１照明モードM1で光量制御を行い（S7）、処理を終了する。
　S6の電子シャッタ処理では、図３に示すように、照明モードが切り替わる際のフレームの全ライン同時露光期間Taのうち、照明光の照射されている期間（すなわち、駆動信号Iが印加されている期間）に電子シャッタ処理を行う。
　以上のように、内視鏡装置１は、照明モードを切り替える際（照射タイミングの移し替えを行う際）に、電子シャッタ処理により、映像読み出し期間Tbまたは全ライン同時露光期間Taに蓄積された電荷をリセットし、全ラインで均一の電荷蓄積時間、すなわち、全ラインで均一の明るさの画像となるようにした。この結果、内視鏡装置１は、異なるライン毎に異なるゲイン値をかけるゲイン処理等の高速で複雑な処理を行うことなく、輝度ムラを低減した画像を得ることができる。
　よって、本実施形態の内視鏡装置によれば、高速で複雑な処理を行うことなく、輝度ムラを低減することができる。
（変形例）
　次に、上述した実施形態の変形例について説明する。
　上述した実施形態では、照射タイミングの移し替えを行う際に電子シャッタ処理を行っていたが、照射タイミングの移し替え以外、例えば、光源OFF時に電子シャッタ処理を行ってもよい。
　図６は、光源OFF時の電子シャッタ処理について説明するための模式的な図である。
　図６に示すように、時刻t1において光源がOFFされると、期間T13の映像読み出し期間Tbにおいて電荷が蓄積される。このため、ライン１からラインｎになるに従い露光量が少なくなり、輝度ムラがある画像がモニタ５に表示される。
　そこで、制御部２１は、光源がOFFされると、光源OFF後に電子シャッタ処理を行うように電子シャッタ制御信号CS2を撮像素子駆動部２３に出力する。撮像素子駆動部２３は、電子シャッタ制御信号CS2に基づいて撮像素子１１に電子シャッタ駆動信号SC2を出力する。これにより、図６に示すように、光源OFF後に電子シャッタ処理が行われ、期間T13の映像読み出し期間Tbに蓄積された電荷がリセットされ、全ラインに照明光が照射されていない画像が生成される。
　この結果、変形例の内視鏡装置によれば、例えば光源OFF時のように、照射タイミングの移し替え以外であって、上述した実施形態と同様に、高速で複雑な処理を行うことなく、輝度ムラを低減することができる。
　なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　本発明は、上述した実施形態及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１６年３月１７日に日本国に出願された特願２０１６－５４０９０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (5)

  1. 　被検体に照明するための光を発する発光部と、
    　前記発光部が発する光が照明された前記被検体からの光を受光して電気信号を生成する複数の画素からなるラインを複数有し、前記電気信号を前記ライン毎に順次読み出し、かつ前記電気信号の読み出しが完了したラインから順次露光を開始して１フレームの撮像信号を生成するローリングシャッタ方式の撮像部と、
    　前記撮像部において前記ライン毎に順次前記電気信号の読み出しが行われる読み出し期間に前記被検体に前記光を照射する第１のパターンと、前記読み出し期間に前記被検体に前記光を照射しない第２のパターンとを切り替える制御を行う照明制御部と、
    　前記照明制御部により前記第１のパターン及び前記第２のパターンのうち一方のパターンから他方のパターンに切り替えられたタイミングに対応するフレームにおいて、前記複数のラインの露光を同時に行う全ライン露光期間に前記撮像部に電子シャッタ処理を行わせるように制御する電子シャッタ制御部と、を有することを特徴とする内視鏡装置。
  2. 　前記第２のパターンは、前記読み出し期間に前記被検体に前記光を照射せずに、かつ、前記全ライン露光期間に前記光を照射するパターンであって、
    　前記電子シャッタ制御部は、前記照明制御部により前記第１のパターンから前記第２のパターンに切り替えられたタイミングに対応するフレームの前記全ライン露光期間のうち、前記光の照射が開始されるまでの期間にローリングシャッタ方式の電子シャッタ処理を行うことを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記第１のパターンは、前記読み出し期間及び前記全ライン露光期間に前記光を照射するパターンであって、
    　前記電子シャッタ制御部は、前記照明制御部により前記第２のパターンから前記第１のパターンに切り替えられたタイミングに対応するフレームの前記全ライン露光期間のうち、前記光の照射されている期間にローリングシャッタ方式の電子シャッタ処理を行うことを特徴とする請求項１に記載の内視鏡装置。
  4. 　前記電子シャッタ制御部は、前記電子シャッタ処理が行われたフレームよりも後のフレームの前記全ライン露光期間において前記電子シャッタ処理を行わないように制御することを特徴とする請求項１に記載の内視鏡装置。
  5. 　被検体に照明するための光を発する発光部が発する光が照明された前記被検体からの光を受光して電気信号を生成する複数の画素からなるラインを複数有し、前記電気信号を前記ライン毎に順次読み出し、かつ前記電気信号の読み出しが完了したラインから順次露光を開始して１フレームの撮像信号を生成するローリングシャッタ方式の撮像部からの前記電気信号が入力されて内視鏡画像を生成するビデオプロセッサであって、
    　前記撮像部において前記ライン毎に順次前記電気信号の読み出しが行われる読み出し期間に前記被検体に前記光を照射する第１のパターンと、前記読み出し期間に前記被検体に前記光を照射しない第２のパターンとを切り替える制御を行う照明制御部と、
    　前記照明制御部により前記第１のパターン及び前記第２のパターンのうち一方のパターンから他方のパターンに切り替えられたタイミングに対応するフレームにおいて、前記複数のラインの露光を同時に行う全ライン露光期間に前記撮像部に電子シャッタ処理を行わせるように制御する電子シャッタ制御部と、を有することを特徴とするビデオプロセッサ。
PCT/JP2016/082038 2016-03-17 2016-10-28 内視鏡装置及びビデオプロセッサ WO2017158906A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680083584.0A CN108778090B (zh) 2016-03-17 2016-10-28 内窥镜装置和视频处理器
DE112016006615.5T DE112016006615T5 (de) 2016-03-17 2016-10-28 Endoskopvorrichtung und Videoprozessor
JP2017548314A JP6239220B1 (ja) 2016-03-17 2016-10-28 内視鏡装置及びビデオプロセッサ
US16/130,007 US11337593B2 (en) 2016-03-17 2018-09-13 Endoscope apparatus and video processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-054090 2016-03-17
JP2016054090 2016-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/130,007 Continuation US11337593B2 (en) 2016-03-17 2018-09-13 Endoscope apparatus and video processor

Publications (1)

Publication Number Publication Date
WO2017158906A1 true WO2017158906A1 (ja) 2017-09-21

Family

ID=59851621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082038 WO2017158906A1 (ja) 2016-03-17 2016-10-28 内視鏡装置及びビデオプロセッサ

Country Status (5)

Country Link
US (1) US11337593B2 (ja)
JP (1) JP6239220B1 (ja)
CN (1) CN108778090B (ja)
DE (1) DE112016006615T5 (ja)
WO (1) WO2017158906A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024169077A1 (zh) * 2023-02-16 2024-08-22 瀚湄信息科技(上海)有限公司 自动曝光调节并实现全局卷帘快门的内窥镜装置及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP2020151402A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び内視鏡システム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP2022070310A (ja) * 2020-10-27 2022-05-13 Hoya株式会社 光源装置、および内視鏡システム
JP7547178B2 (ja) 2020-11-09 2024-09-09 Hoya株式会社 光源装置、および内視鏡システム
JP2022082298A (ja) * 2020-11-20 2022-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
EP4272427A1 (en) 2020-12-30 2023-11-08 Stryker Corporation Systems and methods for mitigating artifacts in medical imaging
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
JP2023039812A (ja) 2021-09-09 2023-03-22 Hoya株式会社 光源装置、および内視鏡システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318581A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置、撮影補助光源発光／撮像制御方法、および撮影補助光源発光／撮像制御プログラム
JP2010262224A (ja) * 2009-05-11 2010-11-18 Panasonic Corp カメラおよびｌｅｄ点灯制御方法
WO2013175908A1 (ja) * 2012-05-25 2013-11-28 オリンパスメディカルシステムズ株式会社 撮像システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078353A (en) * 1996-09-12 2000-06-20 Fuji Photo Optical Co., Ltd. All-pixels reading type electronic endoscope apparatus
US20070123751A1 (en) * 2005-11-29 2007-05-31 Pentax Corporation Endoscope with brightness adjustment function
JP5860952B2 (ja) * 2012-03-28 2016-02-16 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
CN103583038B (zh) 2012-04-16 2017-03-22 奥林巴斯株式会社 摄像系统、摄像方法
JP2016054090A (ja) 2014-09-04 2016-04-14 矢崎総業株式会社 スイッチユニット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318581A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置、撮影補助光源発光／撮像制御方法、および撮影補助光源発光／撮像制御プログラム
JP2010262224A (ja) * 2009-05-11 2010-11-18 Panasonic Corp カメラおよびｌｅｄ点灯制御方法
WO2013175908A1 (ja) * 2012-05-25 2013-11-28 オリンパスメディカルシステムズ株式会社 撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024169077A1 (zh) * 2023-02-16 2024-08-22 瀚湄信息科技(上海)有限公司 自动曝光调节并实现全局卷帘快门的内窥镜装置及方法

Also Published As

Publication number Publication date
US11337593B2 (en) 2022-05-24
CN108778090A (zh) 2018-11-09
CN108778090B (zh) 2020-08-04
JPWO2017158906A1 (ja) 2018-03-29
US20190008372A1 (en) 2019-01-10
JP6239220B1 (ja) 2017-11-29
DE112016006615T5 (de) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6239220B1 (ja) 内視鏡装置及びビデオプロセッサ
WO2013157368A1 (ja) 撮像システム、撮像方法
JP6234632B2 (ja) 内視鏡装置及びビデオプロセッサ
JP5452785B1 (ja) 撮像システム
US9307600B2 (en) Synchronized light source for rolling shutter imagers
JP6360988B1 (ja) 内視鏡および内視鏡システム
JP6150944B2 (ja) 撮像システム
WO2022097671A1 (ja) 光源装置、および内視鏡システム
JP7394547B2 (ja) 制御装置、医療用観察システム、制御方法およびプログラム
JP2020151402A (ja) 医療用制御装置及び内視鏡システム
WO2017047166A1 (ja) 内視鏡装置及びビデオプロセッサ
JP7235608B2 (ja) 光源制御装置、医療用観察システム、光源制御方法およびプログラム
JP6735586B2 (ja) 電子内視鏡システムおよび電子内視鏡システムの作動方法
WO2024171726A1 (ja) 電子内視鏡システム
JP2018526765A (ja) ローリングシャッター撮像素子用の同期光源
WO2019167298A1 (ja) 被検体観察システム、被検体観察システムの作動方法
JP4439245B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017548314

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16894523

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16894523

Country of ref document: EP

Kind code of ref document: A1