WO2016035829A1 - 撮像装置および処理装置 - Google Patents

撮像装置および処理装置 Download PDF

Info

Publication number
WO2016035829A1
WO2016035829A1 PCT/JP2015/074988 JP2015074988W WO2016035829A1 WO 2016035829 A1 WO2016035829 A1 WO 2016035829A1 JP 2015074988 W JP2015074988 W JP 2015074988W WO 2016035829 A1 WO2016035829 A1 WO 2016035829A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
unit
light
state
illumination state
Prior art date
Application number
PCT/JP2015/074988
Other languages
English (en)
French (fr)
Inventor
弘太郎 小笠原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP15838369.5A priority Critical patent/EP3190785A4/en
Priority to JP2016508888A priority patent/JP5927370B1/ja
Priority to CN201580005870.0A priority patent/CN105934942B/zh
Publication of WO2016035829A1 publication Critical patent/WO2016035829A1/ja
Priority to US15/231,865 priority patent/US20160345812A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052—Constructional details of control elements, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Definitions

  • the present invention relates to an imaging device that images a subject and generates a pixel signal, and a processing device that processes the pixel signal.
  • an endoscope system is used for observation inside a subject.
  • an endoscope inserts a flexible insertion portion having an elongated shape into a subject such as a patient, and illuminates illumination light supplied from a light source device from the distal end of the insertion portion. The reflected light is received by the imaging unit at the distal end of the insertion unit to capture an in-vivo image.
  • the in-vivo image picked up by the image pickup unit of the endoscope is subjected to predetermined image processing in the processing device of the endoscope system and then displayed on the display of the endoscope system.
  • a user such as a doctor observes the organ of the subject based on the in-vivo image displayed on the display.
  • CMOS Complementary Metal Oxide Semiconductor
  • the CMOS sensor may generate image data by a rolling shutter system in which exposure or reading is performed at different timings for each horizontal line.
  • solid-state light sources such as LEDs and laser diodes as light sources for illumination can easily change the brightness by adjusting the current flowing through the element, and are smaller and more power-saving than conventional lamps.
  • these light sources are also known to change the spectral characteristics of light emission depending on the value of the current flowing or the temperature of the light source itself.
  • the amount of illumination light depending on the light emission time of the light source is also known. Control (PWM control) is performed. This eliminates the need for a diaphragm mechanism for adjusting the amount of illumination light as in the case of conventional halogen or xenon light sources, making it possible to reduce the size of the apparatus and reducing the probability of failure because there are no operating parts.
  • the present invention has been made in view of the above, and an object thereof is to provide an imaging device and a processing device that can maintain a smooth change in display image brightness and image quality even when the illumination state is switched. To do.
  • an imaging apparatus includes an illumination unit that emits illumination light for illuminating a subject, and the subject that is illuminated with illumination light from the illumination unit.
  • a light receiving unit in which a plurality of pixels that generate a pixel signal by photoelectrically converting the received light are arranged on a plurality of horizontal lines, and the horizontal with respect to the plurality of pixels of the light receiving unit
  • An imaging control unit that sequentially starts exposure for each line and sequentially reads pixel signals from a plurality of pixels belonging to the horizontal line after a predetermined exposure period has elapsed from the start of exposure, and the pixels sequentially for each horizontal line
  • An illumination control unit that performs control to switch an illumination state within a readout period for reading a signal between a first illumination state and a second illumination state different from the first illumination state; Multiplying the pixel signal read in the readout period after the illumination state of the bright part is switched from the first illumination state to the second illumination state by a different gain coefficient for
  • the first illumination state is an illumination state in which illumination light is emitted in at least a part of the readout period, and the second illumination state is not in the readout period.
  • the illumination state is such that illumination light is not emitted.
  • the signal processing unit may be configured such that the illumination state of the illumination unit is the second illumination state from the first illumination state where the illumination state is the illumination state of the previous readout period.
  • the gain adjustment is performed by multiplying the pixel signal read out during the readout period switched to 1 by multiplying a relatively high gain coefficient as the horizontal line is read out later.
  • the signal processing unit may be configured such that the illumination state of the illumination unit is the first illumination state from the second illumination state, which is the illumination state of the previous readout period.
  • the gain adjustment is performed by multiplying the pixel signal read out during the readout period switched to 1 by multiplying the pixel line read out later by a relatively low gain coefficient.
  • the imaging apparatus further includes a brightness detection unit that detects the brightness of the subject based on the read pixel signal, and the illumination control unit is detected by the brightness detection unit. Switching between the first illumination state and the second illumination state is performed based on the brightness of the subject.
  • the imaging apparatus is characterized in that the illumination control unit switches between the first illumination state and the second illumination state at a start timing of one frame period.
  • the illumination control unit variably controls the intensity and illumination time of illumination light emitted by the illumination unit in a period other than the readout period, and in the first illumination state, the readout period
  • the intensity of the illumination light emitted from the illumination unit is kept constant in at least a part of the illumination unit.
  • the illumination control unit includes an integrated value of the amount of light emitted by the illumination unit during one frame period immediately after switching the illumination state of the illumination unit, and the next of the one frame period.
  • the amount of illumination light emitted by the illumination unit is controlled so that the integrated value of the amount of light emitted by the illumination unit is equal during one frame period.
  • An imaging apparatus is an endoscope system including an insertion unit that is inserted into a subject, a processing device that is connected to the insertion unit, and a light source device that supplies illumination light to the insertion unit.
  • the insertion unit includes the light receiving unit and the imaging control unit
  • the processing device includes the illumination control unit and the signal processing unit
  • the light source device includes the illumination unit.
  • the processing device controls an illumination device that emits illumination light, and a plurality of pixels that photoelectrically convert light from a subject illuminated with the illumination light are arranged on a number of horizontal lines.
  • the imaging control unit sequentially starts exposure for each horizontal line, and processes pixel signals sequentially read from a plurality of pixels belonging to the horizontal line after a predetermined exposure period has elapsed from the start of exposure.
  • the illumination state in the readout period for sequentially reading out the pixel signals for each horizontal line is between a first illumination state and a second illumination state different from the first illumination state.
  • An illumination control unit that performs switching control, and the readout unit in the readout period after the illumination state of the illumination unit is switched from the first illumination state to the second illumination state.
  • For the pixel signal read I characterized by comprising a signal processing unit for performing gain adjustment by multiplying the different gain factor for each horizontal line.
  • control is performed to switch the illumination state of the illumination unit between the first illumination state and a second illumination state different from the first illumination state, and readout after the illumination state is switched.
  • the brightness of the display image is changed even when the illumination state is switched because the pixel signal read during the period is adjusted by gain adjustment by multiplying the horizontal line by a different gain coefficient to eliminate unevenness in image brightness. Smooth change and image quality can be maintained.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically showing the configuration of the endoscope system shown in FIG.
  • FIG. 3 is a diagram for explaining the irradiation process of the illumination light emitted from the illumination unit shown in FIG. 2, the exposure and readout period of the imaging unit, and the gain adjustment process for the pixel signal by the gain adjustment unit.
  • FIG. 4A is a diagram illustrating an example of an image corresponding to the pixel signal read by the reading unit illustrated in FIG.
  • FIG. 4B is a diagram illustrating an example of an image corresponding to the pixel signal processed in the transmission image processing unit illustrated in FIG. 2.
  • FIG. 2 is a block diagram schematically showing the configuration of the endoscope system shown in FIG.
  • FIG. 3 is a diagram for explaining the irradiation process of the illumination light emitted from the illumination unit shown in FIG. 2, the exposure and readout period of the imaging unit, and
  • FIG. 5 is a diagram for explaining the exposure and readout period of the imaging unit shown in FIG. 2, the irradiation process of the illumination light emitted from the illumination unit, and the gain adjustment process for the pixel signal by the gain adjustment unit.
  • 6A is a diagram illustrating an example of an image corresponding to the pixel signal read by the reading unit illustrated in FIG. 6B is a diagram illustrating an example of an image corresponding to a pixel signal processed in the image processing unit illustrated in FIG.
  • an endoscope system will be described as a mode for carrying out the present invention (hereinafter referred to as “embodiment”). Moreover, this invention is not limited by this embodiment. Furthermore, the same code
  • FIG. 1 is a schematic diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • an endoscope system 1 according to this embodiment is introduced into a subject, and an endoscope 2 (scope) that captures an image of the inside of the subject and generates an image signal in the subject.
  • a processing device 3 that performs predetermined image processing on an image signal captured by the endoscope 2 and controls each part of the endoscope system 1, and illumination light (observation light) of the endoscope 2
  • a light source device 4 to be generated and a display device 5 for displaying an image corresponding to an image signal subjected to image processing by the processing device 3 are provided.
  • the endoscope 2 includes an insertion part 21 to be inserted into a subject, an operation part 22 on the proximal end side of the insertion part 21 and held by an operator, and a flexible universal extending from the operation part 22.
  • a code 23 is
  • the insertion part 21 is realized using an illumination fiber (light guide cable) and an electric cable.
  • the insertion portion 21 includes a distal end portion 24 having an imaging portion incorporating a CMOS imaging device as an imaging device for imaging the inside of the subject, a bendable bending portion 25 constituted by a plurality of bending pieces, and a base of the bending portion 25. And a flexible tube portion 26 having flexibility provided on the end side.
  • the distal end portion 24 includes an illumination unit that illuminates the inside of the subject via an illumination lens, an imaging unit that images the inside of the subject, an opening (not shown) that communicates a processing tool channel, and an air / water feeding nozzle. (Not shown) is provided.
  • the operation unit 22 includes a bending knob 22a that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 22b in which a treatment tool such as a biological forceps and a laser knife is inserted into the body cavity of the subject, and the processing device 3. And a plurality of switch portions 22c for operating peripheral devices such as the light source device 4, the air supply device, the water supply device, and the gas supply device.
  • the treatment tool inserted from the treatment tool insertion portion 22b is exposed from the opening at the distal end of the insertion portion 21 through a treatment tool channel provided inside.
  • the universal cord 23 is configured using an illumination fiber and an electric cable.
  • the universal cord 23 has a connector 27 detachably attached to the processing device 3 and the light source device 4 branched at the proximal end.
  • the universal code 23 transmits an image signal captured by the imaging unit provided at the distal end portion 24 to the processing device 3 via the connector 27.
  • the universal cord 23 propagates the illumination light emitted from the light source device 4 to the distal end portion 24 via the connector 27, the operation portion 22, and the flexible tube portion 26.
  • the processing device 3 performs predetermined image processing on the imaging signal in the subject imaged by the imaging unit at the distal end portion 24 of the endoscope 2 input via the universal code 23.
  • the processing device 3 controls each unit of the endoscope system 1 based on various instruction signals transmitted from the switch unit 22 c in the operation unit 22 of the endoscope 2 via the universal cord 23.
  • the light source device 4 includes a light source that emits white light, a condensing lens, and the like.
  • the light source device 4 serves as illumination light for illuminating white light from a white light source toward the subject, which is a subject, to the endoscope 2 connected via the illumination fiber of the connector 27 and the universal cord 23. Supply.
  • the display device 5 is configured by using a display using liquid crystal or organic EL (Electro Luminescence).
  • the display device 5 displays various types of information including an image corresponding to a display image signal that has been subjected to predetermined image processing by the processing device 3 via a video cable. Thereby, the surgeon can observe and characterize a desired position in the subject by operating the endoscope 2 while viewing the image (in-vivo image) displayed on the display device 5.
  • FIG. 2 is a block diagram schematically showing the configuration of the endoscope system 1 shown in FIG.
  • the endoscope 2 has an imaging unit 29 at the distal end portion 24.
  • the imaging unit 29 includes a light receiving unit 29a that generates a pixel signal representing the inside of the subject from an optical image formed on the light receiving surface, a reading unit 29b, and an analog front end unit (hereinafter referred to as “AFE unit”) 29c.
  • the imaging control unit 29d is provided.
  • An optical system such as an objective lens is disposed on the light receiving surface side of the light receiving unit 29a.
  • the light receiving unit 29a a plurality of pixels that receive light from the subject illuminated by the light source device 4 and generate a pixel signal by photoelectrically converting the received light are disposed on the light receiving surface.
  • a plurality of pixels are arranged in a matrix in the light receiving unit 29a.
  • a plurality of pixel rows horizontal lines in which two or more pixels are arranged in the horizontal direction are arranged in the vertical direction.
  • the light receiving unit 29a generates a pixel signal representing the inside of the subject from the optical image formed on the light receiving surface.
  • the reading unit 29b performs exposure of a plurality of pixels in the light receiving unit 29a and reading of pixel signals from the plurality of pixels.
  • the light receiving unit 29a and the reading unit 29b are configured by, for example, a CMOS image sensor, and can perform exposure and reading for each horizontal line.
  • the reading unit 29b performs an imaging operation for performing exposure and reading from the top horizontal line. It is also possible to generate a pixel signal by a rolling shutter system that executes, shifts the timing for each horizontal line, and performs charge reset, exposure, and readout. Therefore, when the imaging unit 29 adopts the rolling shutter system, the exposure timing and the readout timing are different for each horizontal line even in one imaging period (frame).
  • the AFE unit 29c performs noise removal, A / D conversion, and the like on the electrical signal of the pixel signal read by the reading unit 29b.
  • the AFE unit 29c reduces noise components included in the electrical signal (analog), adjusts the amplification factor (gain) of the electrical signal for maintaining the output level, and performs A / D conversion of the analog electrical signal.
  • the imaging control unit 29d controls various operations of the light receiving unit 29a, the reading unit 29b, and the AFE unit 29c of the imaging unit 29 according to the control signal received from the processing device 3.
  • the image signal (digital) generated by the imaging unit 29 is output to the processing device 3 via a signal cable and a connector 27 (not shown).
  • the processing device 3 includes an image processing unit 31, a display control unit 33, a brightness detection unit 34, a control unit 35, an input unit 38, and a storage unit 39.
  • the image processing unit 31 performs predetermined signal processing on pixel signals (image signals) of a plurality of pixels read by the reading unit 29b of the imaging unit 29.
  • the image processing unit 31 performs an optical black subtraction process, a gain adjustment process, a white balance (WB) adjustment process on the pixel signal, an image signal synchronization process, a color matrix calculation process when the image sensor is a Bayer array, Image processing including gamma correction processing, color reproduction processing, edge enhancement processing, and the like is performed.
  • the image processing unit 31 includes a gain adjustment unit 32 that executes gain adjustment processing.
  • the display control unit 33 generates a display image signal to be displayed on the display device 5 from the image signal processed by the image processing unit 31, and outputs the display image signal to the display device 5.
  • the display image signal output to the display device 5 is, for example, a digital signal of SDI, DVI, HDMI (registered trademark) format or the like.
  • the display control unit 33 may convert the display image signal from a digital signal to an analog signal, change the image data of the converted analog signal to a format such as a high-definition method, and output the converted image signal to the display device 5.
  • the brightness detection unit 34 detects the brightness of the subject based on the pixel signal read by the reading unit 29b. For example, the brightness detection unit 34 acquires sample image data from the image processing unit 31, detects a brightness level corresponding to each pixel, and outputs the detected brightness level to the control unit 35.
  • the control unit 35 is realized using a CPU or the like.
  • the control unit 35 controls the processing operation of each unit of the processing device 3.
  • the control unit 35 controls the operation of the processing device 3 by transferring instruction information and data to each component of the processing device 3.
  • the control unit 35 is connected to the imaging unit 29 and the light source device 4 via each cable.
  • the control unit 35 includes an illumination control unit 36 and a gain setting unit 37.
  • the illumination control unit 36 sets the illumination state of the illumination unit 42 to be described later to a first state in which the readout unit 29b emits illumination light in at least a part of the readout period in which all the horizontal lines of the light receiving unit 29a are read out during one frame period. Control is performed to switch between the illumination state and the second illumination state in which illumination light is not emitted during the readout period.
  • the illumination control unit 36 switches between the first illumination state and the second illumination state based on the brightness of the subject detected by the brightness detection unit 34.
  • the illumination control unit 36 switches between the first illumination state and the second illumination state at the start timing of one frame period.
  • the illumination control unit 36 keeps the intensity of illumination light emitted by the illumination unit 42 constant in at least a part of the readout period in the first illumination state. That is, the illumination control unit 36 controls the illumination state of the illumination unit 42 so that there is no temporal change in light quantity at least during a single readout period.
  • the illumination control unit 36 variably controls the intensity and illumination time of the illumination light emitted from the illumination unit 42 outside the readout period. In other words, the illumination control unit 36 performs PWM control on the intensity and illumination time of the illumination light emitted from the illumination unit 42 of the light source device 4 outside the readout period.
  • the illumination control unit 36 illuminates the integrated value of the amount of light emitted by the illumination unit 42 during one frame period immediately after switching the illumination state of the illumination unit 42 and the next one frame period of the one frame period.
  • the amount of illumination light emitted by the illumination unit 42 is controlled so that the integrated value of the amount of light emitted by the unit 42 is equal, and the light amount curve of the illumination light emitted by the illumination unit 42 can be continuously changed.
  • the illumination control unit 36 sets the amount of illumination light emitted from the illumination unit 42 and the illumination light irradiation timing based on the brightness of the subject included in the image signal detected by the brightness detection unit 34.
  • a dimming signal including the set conditions is output to the light source device 4.
  • the gain setting unit 37 obtains a gain coefficient based on the brightness level detected by the brightness detection unit 34, and outputs the obtained gain coefficient to the gain adjustment unit 32.
  • the gain setting unit 37 Set a different gain factor for each horizontal line.
  • the gain adjustment unit 32 applies the pixel state read by the readout unit 29b during the readout period when the illumination state by the illumination unit 42 is switched from the illumination state of the previous readout period to the other illumination state. In this case, the gain adjustment is performed by multiplying the horizontal line by a different gain coefficient.
  • the input unit 38 is realized by using an operation device such as a mouse, a keyboard, and a touch panel, and receives input of various instruction information of the endoscope system 1. Specifically, the input unit 38 inputs subject information (for example, ID, date of birth, name, etc.), identification information (for example, ID or examination corresponding item) of the endoscope 2, and various instruction information such as examination contents. Accept.
  • subject information for example, ID, date of birth, name, etc.
  • identification information for example, ID or examination corresponding item
  • various instruction information such as examination contents. Accept.
  • the storage unit 39 is realized by using a volatile memory or a nonvolatile memory, and stores various programs for operating the processing device 3 and the light source device 4.
  • the storage unit 39 temporarily stores information being processed by the processing device 3.
  • the storage unit 39 stores the pixel signal read by the reading unit 29b in units of frames.
  • the storage unit 39 may be configured using a memory card or the like attached from the outside of the processing device 3.
  • the light source device 4 includes a light source control unit 41 and an illumination unit 42 including a light source driver 43 and a light source 44.
  • the light source control unit 41 controls the illumination light emission process of the illumination unit 42 under the control of the illumination control unit 36.
  • the light source driver 43 supplies predetermined power to the light source 44 under the control of the light source control unit 41.
  • the light source 44 is configured by using a light source such as a white LED that emits white light and an optical system such as a condenser lens.
  • the light source 44 generates illumination light to be supplied to the endoscope 2.
  • the light emitted from the light source 44 is illuminated onto the subject by the light guide cable 28 through the connector 27 and the universal cord 23 from the illumination window 28 a of the distal end portion 24 of the insertion portion 21.
  • An imaging unit 29 is disposed in the vicinity of the illumination window 28a.
  • FIG. 3 illustrates an illumination process of illumination light emitted from the illumination unit 42 in the endoscope system 1, an exposure and readout period of the imaging unit 29, and a gain adjustment process for the pixel signal read by the readout unit 29b by the gain adjustment unit 32.
  • FIG. (1) of FIG. 3 is a timing chart showing the illumination timing and intensity of illumination light emitted by the illumination unit 42.
  • (2) of FIG. 3 is a timing chart showing exposure and readout periods in the imaging unit 29.
  • (3) of FIG. 3 is a schematic diagram showing the gain coefficients actually used for the gain adjustment processing by the gain adjustment unit 32 in time series. In (3) of FIG. 3, the gain coefficient used in the gain adjustment process by the gain adjustment unit 32 and the readout timing of the horizontal line that is the gain adjustment target are positioned on the same straight line. The time axis corresponding to the gain adjustment processing of the adjustment unit 32 is moved.
  • the imaging unit 29 applies a rolling shutter system that changes the exposure and readout timing for each horizontal line, as shown in (2) of FIG. 3, even for pixel signals of the same frame, for each horizontal line.
  • the timing of exposure and readout is different.
  • the readout period reading section 29b reads a pixel signal D N of all horizontal lines of the light receiving portion 29a R N.
  • the period from time te to time tf is the read period R (N + 1) , and is a time other than the read period R (N + 1) of time to time te from tc, in a period from time tc to time td that overlaps with the read period R N of the frame N, the exposure in order from the beginning of the horizontal line read processing in the frame N is completed is started, the time The period from td to time te is the all-line simultaneous exposure period V (N + 1) .
  • the illumination state by the illumination unit 42 is either a first illumination state in which illumination light is emitted with a constant intensity or a second illumination state in which illumination light is not emitted during the readout period by the illumination control unit 36. Be controlled.
  • the first illumination state is switched to the second illumination state at the start timing of frame N (time ta).
  • the illumination unit 42 emits, for example, illumination light having an intensity E 1 (first illumination state), and the readout period RN of the frame N and the frame ( In the (N + 1) readout period R (N + 1) , no illumination light is emitted (second illumination state).
  • the illumination unit 42 in full line simultaneous exposure period V N frame period T N, similarly to the frame (N-1) all the lines simultaneously in the exposure period V (N-1), all the lines simultaneously exposure period V
  • the illumination light with intensity E 2 is emitted only during the period P 2 of N.
  • the illumination control unit 36 has the illumination unit 42 in the frame period T N in order to realize continuous light quantity control between the frame N after the illumination state is switched and the next frame (N + 1).
  • the amount of illumination light emitted by the illumination unit 42 is controlled so that the integrated value of the amount of emitted light and the integrated value of the amount of light emitted by the illumination unit 42 during the frame period T (N + 1) are equal.
  • the illumination control unit 36 reduces the amount of illumination light applied to the subject by shortening the illumination time of each line exposure period or reducing the intensity of illumination light. Decrease gradually.
  • FIG. 4A is a diagram illustrating an example of an image corresponding to the pixel signal read by the reading unit 29b.
  • FIG. 4B is a diagram illustrating an example of an image corresponding to the pixel signal processed in the signal processing unit 31.
  • the image of the frame N as shown in (2) of FIG. 3, in the all-line simultaneous exposure period V N , all horizontal lines are exposed with the same amount of light, but the readout period R (N ⁇ 1 ) , The exposure amount is different for each horizontal line, and the exposure amount decreases from the first horizontal line to the last horizontal line. For this reason, as shown in FIG. 4A, when the readout unit 29b reads out the pixel signal from each horizontal line of the light receiving unit 29a, it gradually becomes darker from the upper part to the lower part of the acquired image W1, and luminance unevenness occurs.
  • the gain setting unit 37 acquires the exposure time for each horizontal line of the frame N from the illumination control unit 36, and sets a different gain coefficient for each horizontal line according to the acquired exposure time for each horizontal line.
  • the gain setting unit 37 for the pixel signal D N of the frame N read by the reading unit 29b in the read period R N, a relatively high gain factor as the horizontal line read later Set. That is, the gain setting unit 37 sets the gain coefficient to gradually increase as the line number advances from the first horizontal line 1 to the last horizontal line K.
  • the gain adjustment unit 32 adjusts the gain of the pixel signal of frame N by multiplying the horizontal line read later by a relatively higher gain coefficient. Will be done.
  • a corrected image W2 (see FIG. 4B) in which luminance unevenness is corrected can be generated.
  • the gain coefficient used in the gain adjustment unit 32 is the same for all horizontal lines.
  • the gain adjusting unit 32 reads the reading unit during the reading period when the lighting state of the lighting unit 42 is switched from the first lighting state, which is the lighting state of the previous reading period, to the second lighting state.
  • the pixel signal read out by 29b is subjected to gain adjustment by multiplying the horizontal line read out later by a relatively high gain coefficient to correct luminance unevenness.
  • FIG. 5 is a diagram showing an illumination process of illumination light emitted from the illumination unit 42 in this case, an exposure and readout period of the imaging unit 29, and a gain adjustment process for the pixel signal read out by the readout unit 29b by the gain adjustment unit 32. It is. (1) of FIG. 5 is a timing chart showing illumination timing and intensity of illumination light emitted by the illumination unit 42. (2) of FIG. 5 is a timing chart showing exposure and readout periods in the imaging unit 29. (3) of FIG. 5 is a schematic diagram showing the gain coefficients actually used by the gain adjustment unit 32 for gain adjustment processing in time series.
  • the gain coefficient actually used during the gain adjustment processing by the gain adjustment unit 32 and the readout timing of the horizontal line to be gain adjusted are The time axis corresponding to the gain adjustment processing of the gain adjustment unit 32 is moved so as to be positioned on the same straight line.
  • the frame M of the frame period T M from time tg time tj, period readout period R M becomes from time ti to time tj, the readout period of the previous frame (M-1) R (M- In the period from time tg to time th overlapping with 1), the exposure is started in order from the top horizontal line where the reading process in the frame (M ⁇ 1) is completed, and from time th to time ti, the light receiving unit 29a all horizontal lines is full-line simultaneous exposure period V M to be exposed at the same time.
  • the frame (M + 1) of the frame period T (M + 1) from the time ti to time tl, time read from time tk until the time tl R (M + 1) becomes from time ti to overlap the read period R M
  • the exposure is started in order from the top horizontal line where the reading process in the frame M is completed, and the period from the time tj to the time tk becomes the all-line simultaneous exposure period V (M + 1) .
  • the illumination unit 42 is switched from the second illumination state to the first illumination state at the start timing (time tg) of the frame M. That is, the illumination unit 42, the readout period of a frame illumination light from the second illumination condition which is not emitted in (M-1) of the readout period R (M-1), frame M readout period R M and frame (M + 1) It is switched to a first illumination state that emits illumination light intensity E 3 in R (M + 1).
  • the illumination unit 42 in full line simultaneous exposure period V M of the frame period T M, as with frame (M-1) all the lines simultaneously in the exposure period V (M-1), the illumination light intensity E 4 Is emitted.
  • the illumination control unit 36 performs the all-line simultaneous exposure period in the frame (M + 1) in order to realize continuous light amount control between the frame M after the illumination state is switched and the next frame (M + 1).
  • V in (M + 1) part of the period P 4 of the illumination light intensity E 4 and is emitted to the illumination unit 42
  • the illumination control unit 36 extends the illumination time in each line simultaneous exposure period, increases the intensity of illumination light, or increases the intensity of illumination light in the readout period. By doing so, the amount of illumination light applied to the subject is gradually increased.
  • FIG. 6A is a diagram illustrating an example of an image corresponding to the pixel signal read by the reading unit 29b.
  • FIG. 6B is a diagram illustrating an example of an image corresponding to the pixel signal processed in the signal processing unit 31.
  • the acquired image W3 gradually becomes brighter from the upper part to the lower part, resulting in luminance unevenness.
  • the gain setting unit 37 for the pixel signal D M of frames M read by the reading unit 29b in the reading period R M, according to the line number is advanced to the final horizontal line K from the head of the horizontal line 1, Relatively, the gain coefficient is set so as to gradually decrease.
  • the gain adjustment unit 32 adjusts the gain of the pixel signal of the frame M by multiplying the horizontal line read later by a relatively low gain coefficient. Then, a corrected image W4 (see FIG. 6B) in which luminance unevenness is corrected is generated.
  • the integrated value of the amount of light irradiated in the frame period T (M + 1) is the same value in any horizontal line. Since the illumination process is controlled as described above, the gain coefficient used in the gain adjusting unit 32 is the same coefficient for any horizontal line.
  • the gain adjusting unit 32 reads the reading unit during the reading period when the lighting state of the lighting unit 42 is switched from the first lighting state, which is the lighting state of the previous reading period, to the second lighting state.
  • the pixel signal read by 29b is subjected to gain adjustment by multiplying a horizontal line read later by a relatively low gain coefficient to correct luminance unevenness.
  • gain adjustment is performed by multiplying the horizontal line by a different gain coefficient to eliminate unevenness in the brightness of the image.Therefore, even when the illumination state is switched, the brightness of the display image changes smoothly and the image quality Can be held.
  • the first illumination state is a state in which illumination light is emitted during the entire readout period.
  • illumination light is emitted only in at least a part of the readout period. It may be a state to be done.
  • the illumination control unit 36 may switch between the first illumination state and the second illumination state at any timing, not limited to the start timing of one frame period. Depending on the timing at which the illumination control unit 36 switches between the first illumination state and the second illumination state, the gain adjustment target frame and the horizontal line to which a different gain coefficient should be set are different.
  • a gain adjustment target frame or a different gain coefficient is set according to the timing at which the illumination controller 36 switches between the first illumination state and the second illumination state and the readout timing of each horizontal line by the readout unit 29b. What is necessary is just to discriminate
  • illumination control is performed in which the integrated value of the amount of illumination light during the frame period is equalized between the frame after the illumination state is switched and the next frame.
  • the present invention is not particularly limited to this, and the integrated value of the amount of illumination light during the frame period may be changed between the frame after the illumination state is switched and the next frame.
  • An execution program for each process executed by the processing apparatus 3 and other components according to the present embodiment is an installable format or executable file, and is a CD-ROM, flexible disk, CD-ROM. It may be configured to be recorded on a computer-readable recording medium such as R, DVD (Digital Versatile Disk), etc., stored on a computer connected to a network such as the Internet, and downloaded via the network. You may comprise so that it may provide. Further, it may be configured to be provided or distributed via a network such as the Internet.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　内視鏡システム１は、照明部４２、複数の画素が行列状に配置された受光部２９ａ、受光部２９ａから水平ラインごとに画素信号を読み出す読み出し部２９ｂ、読み出し部２９ｂが受光部２９ａの全ての水平ラインを読み出す読み出し期間の少なくとも一部において照明光を出射させる第１の照明状態と、読み出し期間では照明光を出射させない第２の照明状態と、のいずれかに照明部４２の照明状態を切り替える照明制御部３６、および、照明部４２の照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行うゲイン調整部３２を備える。

Description

撮像装置および処理装置
　本発明は、被写体を撮像して画素信号を生成する撮像装置、および画素信号を処理する処理装置に関する。
　従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から、光源装置から供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。
　このような内視鏡システムが有する撮像素子として、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサを適用する場合がある。ＣＭＯＳセンサは、水平ラインごとにタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する場合がある。
　一方、照明用の光源としてＬＥＤやレーザーダイオードのような固体光源は、素子に流す電流を調整することで、明るさを簡単に変化させることができること、従来のランプに比べ小型、省電力であること、応答速度が速いことなど多くのメリットがあり急速に普及しつつある。しかしながら、これらの光源は、流す電流値、または、光源自身の温度によって発光する分光特性が変わることも知られており、これを回避するために電流制御の他、光源の発光時間による照明光量の制御（ＰＷＭ制御）が行われている。これにより、従来のハロゲンやキセノン光源のように照明光量を調整する場合の絞り機構などが不要となり装置の小型化を実現できるとともに、稼動部分がないために故障の確率を低減できる。
　この内視鏡システムでは、遠点を観察する場合には、照明光を連続点灯させる制御を行い、近点を観察する場合には、ＣＭＯＳ撮像素子のＶブランク期間内でのＰＷＭ制御および電流制御を行って、照明光の明るさを調整する方法が提案されている（たとえば、特許文献１参照）。
特許第５４５２７８５号公報
　しかしながら、特許文献１に記載の方法では、連続点灯とＰＷＭ制御との切り替えによって、ＣＭＯＳセンサにおける水平ラインごとの露光量が大きく変動し、明暗のムラ（輝度ムラ）が顕著に生じてしまう結果、ディスプレイに表示される画像の明るさが滑らかに変化しないという問題があった。また、照明状態の切り替え時に静止画フリーズをかけると、水平ラインごとの露光量が大きく変動するため、水平方向の輝度ムラが生じてしまい、画像品質を保持できないという問題があった。
　本発明は、上記に鑑みてなされたものであって、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持できる撮像装置および処理装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を照明するための照明光を出射する照明部と、前記照明部による照明光で照明された前記被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が複数の水平ライン上に配列されてなる受光部と、前記受光部の前記複数の画素に対して前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から画素信号を順次読み出すように制御する撮像制御部と、前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、を備えたことを特徴とする。
　また、本発明にかかる撮像装置は、前記第１の照明状態は、前記読み出し期間内の少なくとも一部において照明光を出射させる照明状態であり、前記第２の照明状態は、前記読み出し期間ないでは照明光を出射させない照明状態であることを特徴とする。
　また、本発明にかかる撮像装置は、前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第１の照明状態から、前記第２の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする。
　また、本発明にかかる撮像装置は、前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第２の照明状態から、前記第１の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする。
　また、本発明にかかる撮像装置は、前記読み出された画素信号をもとに前記被写体の明るさを検出する明るさ検出部をさらに備え、前記照明制御部は、前記明るさ検出部が検出した前記被写体の明るさに基づいて、前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする。
　また、本発明にかかる撮像装置は、前記照明制御部は、１フレーム期間の開始タイミングで前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする。
　また、本発明にかかる撮像装置は、前記照明制御部は、前記読み出し期間以外において前記照明部が出射する照明光の強度および照明時間を可変制御し、前記第１の照明状態では、前記読み出し期間の少なくとも一部において前記照明部が出射する照明光の強度を一定に保持することを特徴とする。
　また、本発明にかかる撮像装置は、前記照明制御部は、前記照明部の照明状態を切り替えた直後の１フレーム期間中に前記照明部が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に前記照明部が出射する光量の積算値と、が等しくなるように前記照明部が出射する照明光の光量を制御することを特徴とする。
　また、本発明にかかる撮像装置は、被検体内に挿入される挿入部と、挿入部と接続する処理装置と、挿入部に照明光を供給する光源装置と、を備えた内視鏡システムであって、前記挿入部は、前記受光部および前記撮像制御部を備え、前記処理装置は、前記照明制御部および前記信号処理部を備え、前記光源装置は、前記照明部を備えたことを特徴とする。
　また、本発明にかかる処理装置は、照明光を出射する照明装置を制御するとともに、前記照明光で照明された被写体からの光を光電変換する複数の画素がすく数の水平ライン上に配列されてなる受光部から、撮像制御部によって前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から順次読み出された画素信号を処理するであって、前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に前記読み出し部によって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、を備えたことを特徴とする。
　本発明によれば、第１の照明状態と、第１の照明状態とは異なる第２の照明状態との間で照明部の照明状態を切り替える制御を行い、照明状態が切り替えられた後の読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行って画像の輝度ムラをなくしているため、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持することができる。
図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。 図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。 図３は、図２に示す照明部が出射する照明光の照射処理、撮像部の露光および読み出し期間、および、ゲイン調整部による画素信号に対するゲイン調整処理を説明する図である。 図４Ａは、図２に示す読出し部が読み出した画素信号に対応する画像の一例を示す図である。 図４Ｂは、図２に示す信画像処理部において処理される画素信号に対応する画像の一例を示す図である。 図５は、図２に示す撮像部の露光および読み出し期間、照明部が出射する照明光の照射処理、および、ゲイン調整部による画素信号に対するゲイン調整処理を説明する図である。 図６Ａは、図２に示す読出し部が読み出した画素信号に対応する画像の一例を示す図である。 図６Ｂは、図２に示す画像処理部において処理される画素信号に対応する画像の一例を示す図である。
　以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
（実施の形態）
　図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡２（スコープ）と、内視鏡２によって撮像された画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３と、内視鏡２の照明光（観察光）を生成する光源装置４と、処理装置３が画像処理を施した画像信号に対応する画像を表示する表示装置５と、を備える。
　内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。
　挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端部側に設けられた可撓性を有する可撓管部２６と、を有する。先端部２４には、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する撮像部、処理具用チャンネルを連通する開口部（図示せず）および送気・送水用ノズル（図示せず）が設けられている。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２ａと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２ｂと、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２ｃと、を有する。処置具挿入部２２ｂから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部から表出する。
　ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐した処理装置３および光源装置４に着脱自在なコネクタ２７を有する。ユニバーサルコード２３は、先端部２４に設けられた撮像部が撮像した画像信号を、コネクタ２７を介して、処理装置３に伝送する。ユニバーサルコード２３は、光源装置４から出射された照明光を、コネクタ２７、操作部２２および可撓管部２６を介して先端部２４に伝播する。
　処理装置３は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２４における撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置３は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２ｃから送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。
　光源装置４は、白色光を出射する光源や集光レンズ等を用いて構成される。光源装置４は、白色光源からの白色光を、コネクタ２７およびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。
　表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）を用いた表示ディスプレイ等を用いて構成される。表示装置５は、映像ケーブルを介して処理装置３によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置５が表示する画像（体内画像）を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
　つぎに、図１で説明した内視鏡システム１の構成について説明する。図２は、図１に示す内視鏡システム１の構成を模式的に示すブロック図である。
　内視鏡２は、先端部２４に撮像部２９を有する。撮像部２９は、受光面に結像された光学像から被検体内を表す画素信号を生成する受光部２９ａと、読み出し部２９ｂと、アナログフロントエンド部（以下、「ＡＦＥ部」という）２９ｃと、撮像制御部２９ｄを備える。なお、受光部２９ａの受光面側には、対物レンズ等の光学系（不図示）が配置される。
　受光部２９ａは、受光面に、光源装置４により照明された被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が配置される。受光部２９ａには、複数の画素が行列状に配置される。受光部２９ａには、二以上の画素が水平方向に沿って配置される画素行（水平ライン）が、垂直方向に複数並ぶように配置される。受光部２９ａは、受光面に結像された光学像から被検体内を表す画素信号を生成する。
　読み出し部２９ｂは、受光部２９ａにおける複数の画素に対する露光と複数の画素からの画素信号の読み出しとを行う。受光部２９ａおよび読み出し部２９ｂは、たとえば、ＣＭＯＳ撮像素子によって構成され、水平ラインごとの露光、かつ、読み出しが可能であり、読み出し部２９ｂは、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画素信号を生成することも可能である。したがって、撮像部２９がローリングシャッタ方式を採用した場合には、１つの撮像期間（フレーム）であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。
　ＡＦＥ部２９ｃは、読み出し部２９ｂが読み出した画素信号の電気信号に対して、ノイズ除去や、Ａ／Ｄ変換などを行う。ＡＦＥ部２９ｃは、電気信号（アナログ）に含まれるノイズ成分の低減、出力レベルの維持のための電気信号の増幅率（ゲイン）の調整、および、アナログの電気信号のＡ／Ｄ変換を行う。
　撮像制御部２９ｄは、処理装置３から受信した制御信号にしたがって、撮像部２９の受光部２９ａ、読み出し部２９ｂおよびＡＦＥ部２９ｃの各種動作を制御する。撮像部２９が生成した画像信号（デジタル）は、図示しない信号ケーブルやコネクタ２７を介して、処理装置３に出力される。
　次に、処理装置３について説明する。処理装置３は、画像処理部３１と、表示制御部３３と、明るさ検出部３４と、制御部３５と、入力部３８と、記憶部３９とを備える。
　画像処理部３１は、撮像部２９の読み出し部２９ｂによって読み出された複数の画素の画素信号（画像信号）に対し、所定の信号処理を行う。画像処理部３１は、画素信号に対して、オプティカルブラック減算処理、ゲイン調整処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像信号の同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部３１は、ゲイン調整処理を実行するゲイン調整部３２を備える。
　表示制御部３３は、画像処理部３１が処理した画像信号から、表示装置５に表示させるための表示用画像信号を生成し、表示装置５へ出力する。表示装置５に出力される表示用画像信号は、たとえば、ＳＤＩ，ＤＶＩ，ＨＤＭＩ（登録商標）形式等のデジタル信号である。あるいは、表示制御部３３は、表示用画像信号をデジタル信号からアナログ信号に変換後、変換したアナログ信号の画像データをハイビジョン方式等のフォーマットに変更して、表示装置５へ出力してもよい。
　明るさ検出部３４は、読み出し部２９ｂによって読み出された画素信号をもとに被写体の明るさを検出する。明るさ検出部３４は、たとえば、画像処理部３１からサンプル用の画像データを取得し、各画素に対応する明るさレベルを検出し、検出した明るさレベルを制御部３５に出力する。
　制御部３５は、ＣＰＵ等を用いて実現される。制御部３５は、処理装置３の各部の処理動作を制御する。制御部３５は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３５は、各ケーブルを介して撮像部２９および光源装置４にそれぞれに接続されている。制御部３５は、照明制御部３６と、ゲイン設定部３７とを有する。
　照明制御部３６は、後述する照明部４２の照明状態を、１フレーム期間のうち読み出し部２９ｂが受光部２９ａの全ての水平ラインを読み出す読み出し期間の少なくとも一部において照明光を出射させる第１の照明状態と、読み出し期間では照明光を出射させない第２の照明状態と、のいずれかの状態に切り替える制御を行う。照明制御部３６は、明るさ検出部３４が検出した被写体の明るさに基づいて、第１の照明状態と第２の照明状態との切り替えを行う。照明制御部３６は、１フレーム期間の開始タイミングで第１の照明状態と第２の照明状態との切り替えを行う。
　照明制御部３６は、第１の照明状態では、読み出し期間の少なくとも一部において照明部４２が出射する照明光の強度を一定に保持する。すなわち、照明制御部３６は、一回の読み出し期間中の少なくとも一部では、時間的な光量変化がないように照明部４２の照明状態を制御している。照明制御部３６は、読み出し期間以外において照明部４２が出射する照明光の強度および照明時間を可変制御する。言い換えると、照明制御部３６は、読み出し期間以外では、光源装置４の照明部４２が出射する照明光の強度および照明時間をＰＷＭ制御する。これによって、照明制御部３６は、照明部４２の照明状態を切り替えた直後の１フレーム期間中に照明部４２が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に照明部４２が出射する光量の積算値と、が等しくなるように照明部４２が出射する照明光の光量を制御して、照明部４２が出射する照明光の光量カーブの連続的変化を可能とする。照明制御部３６は、明るさ検出部３４が検出した画像信号に含まれる被写体の明るさをもとに、照明部４２が出射する照明光の光量や照明光の照射タイミング等を設定し、この設定した条件を含む調光信号を光源装置４に出力する。
　ゲイン設定部３７は、明るさ検出部３４が検出した明るさレベルをもとに、ゲイン係数を求め、求めたゲイン係数をゲイン調整部３２へ出力する。ゲイン設定部３７は、照明部４２による照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を設定する。このため、ゲイン調整部３２は、照明部４２による照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う。
　入力部３８は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部３８は、被検体情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。
　記憶部３９は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置３および光源装置４を動作させるための各種プログラムを記憶する。記憶部３９は、処理装置３の処理中の情報を一時的に記憶する。記憶部３９は、読み出し部２９ｂによって読み出された画素信号を、フレーム単位で記憶する。記憶部３９は、処理装置３の外部から装着されるメモリカード等を用いて構成されてもよい。
　つぎに、光源装置４について説明する。光源装置４は、光源制御部４１と、光源ドライバ４３および光源４４を備える照明部４２とを有する。
　光源制御部４１は、照明制御部３６の制御のもと、照明部４２の照明光の出射処理を制御する。光源ドライバ４３は、光源制御部４１の制御のもと、光源４４に所定の電力を供給する。光源４４は、白色光を出射する白色ＬＥＤ等の光源と、集光レンズなどの光学系とを用いて構成される。光源４４は、内視鏡２に供給する照明光を発生する。光源４４から発せられた光は、ライトガイドケーブル２８によって、コネクタ２７およびユニバーサルコード２３を介して挿入部２１の先端部２４の照明窓２８ａから被写体に照明される。なお、照明窓２８ａ近傍には、撮像部２９が配置される。
　まず、徐々に照明光の光量を減少させるために、照明部４２の照明状態を、第１の照明状態から第２の照明状態に切り替える場合について説明する。図３は、内視鏡システム１における照明部４２が出射する照明光の照明処理、撮像部２９の露光および読み出し期間、および、ゲイン調整部３２による読み出し部２９ｂが読み出した画素信号に対するゲイン調整処理を示す図である。図３の（１）は、照明部４２によって出射される照明光の照明タイミングおよび強度を示すタイミングチャートである。図３の（２）は、撮像部２９における露光および読み出し期間を示すタイミングチャートである。図３の（３）は、ゲイン調整部３２がゲイン調整処理のために実際に用いる各ゲイン係数を時系列に示した模式図である。図３の（３）においては、実際にゲイン調整部３２によるゲイン調整処理時に使用されるゲイン係数と、ゲイン調整対象となる水平ラインの読み出しタイミングとが、同一直線上に位置するように、ゲイン調整部３２のゲイン調整処理に対応する時間軸を移動させている。
　撮像部２９が、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用する場合には、図３の（２）に示すように、同一フレームの画素信号であっても、水平ラインごとに露光および読み出しのタイミングが異なる。フレームＮについては、時間ｔａから時間ｔｄのフレーム期間ＴＮのうち、時間ｔｃから時間ｔｄまでの期間が、読み出し部２９ｂが受光部２９ａの全ての水平ラインの画素信号ＤＮを読み出す読み出し期間ＲＮとなる。読み出し期間ＲＮ以外の時間ｔａから時間ｔｄのうち、一つ前のフレーム（Ｎ－１）の読み出し期間Ｒ（Ｎ－１）と重複する時間ｔａから時間ｔｂまでの期間において、フレーム（Ｎ－１）における読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｂから時間ｔｃまでは、受光部２９ａの全水平ラインが同時に露光される全ライン同時露光期間（Ｖブランク期間）ＶＮとなる。フレーム（Ｎ＋１）については、時間ｔｃから時間ｔｆまでのフレーム期間Ｔ（Ｎ＋１）のうち、時間ｔｅから時間ｔｆまでの期間が、読み出し期間Ｒ（Ｎ＋１）となり、読み出し期間Ｒ（Ｎ＋１）以外の時間ｔｃから時間ｔｅまでの期間のうち、フレームＮの読み出し期間ＲＮと重複する時間ｔｃから時間ｔｄまでの期間において、フレームＮにおける読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｄから時間ｔｅまでの期間が、全ライン同時露光期間Ｖ（Ｎ＋１）となる。
　照明部４２による照明状態は、照明制御部３６によって、読み出し期間では、一定の強度で照明光を出射する第１の照明状態、あるいは、照明光を出射しない第２の照明状態とのいずれかに制御される。図３の例では、フレームＮの開始タイミング（時間ｔａ）において第１の照明状態から第２の照明状態に切り替えられる。照明部４２は、フレーム（Ｎ－１）の読み出し期間Ｒ（Ｎ－１）では、たとえば強度Ｅ１の照明光を出射し（第１の照明状態）、フレームＮの読み出し期間ＲＮおよびフレーム（Ｎ＋１）の読み出し期間Ｒ（Ｎ＋１）では、照明光を出射しない（第２の照明状態）。
　また、照明部４２は、フレーム期間ＴＮの全ライン同時露光期間ＶＮにおいては、フレーム（Ｎ－１）における全ライン同時露光期間Ｖ（Ｎ－１）と同様に、全ライン同時露光期間ＶＮのうちの期間Ｐ２の間のみ強度Ｅ２の照明光を出射する。この場合、照明制御部３６は、照明状態が切り替わった後のフレームＮと、その次のフレーム（Ｎ＋１）との連続的な光量制御を実現するために、フレーム期間ＴＮ中に照明部４２が出射する光量の積算値と、フレーム期間Ｔ（Ｎ＋１）中に照明部４２が出射する光量の積算値と、が等しくなるように照明部４２が出射する照明光の光量を制御している。具体的には、照明制御部３６は、フレーム（Ｎ＋１）における全ライン同時露光期間Ｖ（Ｎ＋１）全期間において強度Ｅ２の照明光を照明部４２に出射させて、フレーム期間Ｔ（Ｎ＋１）中に照明部４２が出射する光量の積算値Ｌ（Ｎ＋１）（＝Ｖ（Ｎ＋１）×Ｅ２）と、フレーム期間ＴＮ中に照明部４２が出射する光量の積算値ＬＮ（＝Ｒ（Ｎ－１）×Ｅ１＋Ｐ２×Ｅ２）とを同量としている。照明制御部３６は、フレーム（Ｎ＋１）より後のフレームについては、たとえば、各全ライン露光期間の照明時間を短縮、あるいは、照明光の強度を低めることによって、被写体に照射する照明光の光量を徐々に減少させる。
　図４Ａは、読出し部２９ｂが読み出した画素信号に対応する画像の一例を示す図である。図４Ｂは、信号処理部３１において処理される画素信号に対応する画像の一例を示す図である。フレームＮの画像については、図３の（２）に示すように、全ライン同時露光期間ＶＮでは、いずれの水平ラインについても同量の光量で露光されるものの、読み出し期間Ｒ（Ｎ－１）において、水平ラインごとに露光量が異なり、先頭の水平ラインから最終の水平ラインにしたがって露光量が減少する。このため、図４Ａに示すように、読み出し部２９ｂが受光部２９ａの各水平ラインから画素信号を読み出した段階では、取得画像Ｗ１の上部から下部に向かって次第に暗くなり、輝度ムラが生じる。
　そこで、ゲイン設定部３７は、フレームＮの各水平ラインにおける露光時間を照明制御部３６から取得し、取得した各水平ラインの露光時間に応じて、水平ラインごとに異なるゲイン係数を設定する。図３の例では、ゲイン設定部３７は、読み出し期間ＲＮに読み出し部２９ｂによって読み出されたフレームＮの画素信号ＤＮについては、後から読み出された水平ラインほど相対的に高いゲイン係数を設定する。すなわち、ゲイン設定部３７は、先頭の水平ライン１から最終の水平ラインＫにライン番号が進むにしたがって、相対的に、ゲイン係数が徐々に高くなるように設定する。この結果、図３の（３）に示すように、ゲイン調整部３２は、フレームＮの画素信号については、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うこととなる。このゲイン調整部３２によるゲイン調整処理によって、輝度ムラが補正された補正画像Ｗ２（図４Ｂ参照）を生成できる。なお、読み出し期間Ｒ（Ｎ＋１）に読み出されたフレーム（Ｎ＋１）の画素信号Ｄ（Ｎ＋１）については、全ての水平ラインが、全ライン同時露光期間Ｖ（Ｎ＋１）の間、一定の強度Ｅ２の照明光で露光され、水平ライン間で露光量に変動はないため、ゲイン調整部３２において用いられるゲイン係数は、いずれの水平ラインについても同じ係数となる。
　このように、ゲイン調整部３２は、照明部４２の照明状態が、一つ前の読み出し期間の照明状態である第１の照明状態から、第２の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行って、輝度ムラを補正する。
　次に、徐々に照明光の光量を増大させるために、照明部４２の照明状態を、第２の照明状態から第１の照明状態に切り替える場合について説明する。図５は、この場合における照明部４２が出射する照明光の照明処理、撮像部２９の露光および読み出し期間、および、ゲイン調整部３２による読み出し部２９ｂが読み出した画素信号に対するゲイン調整処理を示す図である。図５の（１）は、照明部４２によって出射される照明光の照明タイミングおよび強度を示すタイミングチャートである。図５の（２）は、撮像部２９における露光および読み出し期間を示すタイミングチャートである。図５の（３）は、ゲイン調整部３２がゲイン調整処理のために実際に用いる各ゲイン係数を時系列に示した模式図である。図５の（３）においても、図３の（３）と同様に、実際にゲイン調整部３２によるゲイン調整処理時に使用されるゲイン係数と、ゲイン調整対象となる水平ラインの読み出しタイミングとが、同一直線上に位置するように、ゲイン調整部３２のゲイン調整処理に対応する時間軸を移動させている。
　フレームＭについては、時間ｔｇから時間ｔｊのフレーム期間ＴＭのうち、時間ｔｉから時間ｔｊまでの期間が読み出し期間ＲＭとなり、一つ前のフレーム（Ｍ－１）の読み出し期間Ｒ（Ｍ－１）と重複する時間ｔｇから時間ｔｈまでの期間において、フレーム（Ｍ－１）における読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｈから時間ｔｉまでは、受光部２９ａの全水平ラインが同時に露光される全ライン同時露光期間ＶＭとなる。フレーム（Ｍ＋１）については、時間ｔｉから時間ｔｌまでのフレーム期間Ｔ（Ｍ＋１）のうち、時間ｔｋから時間ｔｌまでの期間が読み出し期間Ｒ（Ｍ＋１）となり、読み出し期間ＲＭと重複する時間ｔｉから時間ｔｊまでの期間において、フレームＭにおける読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｊから時間ｔｋまでの期間が、全ライン同時露光期間Ｖ（Ｍ＋１）となる。
　図５の例では、照明部４２は、フレームＭの開始タイミング（時間ｔｇ）において第２の照明状態から第１の照明状態に切り替えられる。すなわち、照明部４２は、フレーム（Ｍ－１）の読み出し期間Ｒ（Ｍ－１）において照明光を出射しない第２の照明状態から、フレームＭの読み出し期間ＲＭおよびフレーム（Ｍ＋１）の読み出し期間Ｒ（Ｍ＋１）において強度Ｅ３の照明光を出射する第１の照明状態に切り替えられる。また、照明部４２は、フレーム期間ＴＭの全ライン同時露光期間ＶＭにおいては、フレーム（Ｍ－１）における全ライン同時露光期間Ｖ（Ｍ－１）と同様に、強度Ｅ４の照明光を出射する。この場合、照明制御部３６は、照明状態が切り替わった後のフレームＭと、その次のフレーム（Ｍ＋１）との連続的な光量制御を実現するために、フレーム（Ｍ＋１）における全ライン同時露光期間Ｖ（Ｍ＋１）の一部の期間Ｐ４において、強度Ｅ４の照明光を照明部４２に出射させて、フレーム期間Ｔ（Ｍ＋１）中に照明部４２が出射する光量の積算値Ｌ（Ｍ＋１）（＝ＲＭ×Ｅ３＋Ｐ４×Ｅ４＋Ｒ（Ｍ＋１）×Ｅ３）と、フレーム期間ＴＭ中に照明部４２が出射する光量の積算値ＬＭ（＝ＶＭ×Ｅ４＋ＲＭ×Ｅ３）とを同量としている。照明制御部３６は、フレーム（Ｍ＋１）より後のフレームについては、たとえば、各全ライン同時露光期間の照明時間を延長、あるいは、照明光の強度を高めたり、読み出し期間の照明光の強度を高めたりすることによって、被写体に照射する照明光の光量を徐々に増加させる。
　図６Ａは、読出し部２９ｂが読み出した画素信号に対応する画像の一例を示す図である。図６Ｂは、信号処理部３１において処理される画素信号に対応する画像の一例を示す図である。フレームＭの画像については、図５の（２）に示すように、読み出し期間ＲＭでは、先頭の水平ラインから最終の水平ラインにしたがって露光量が増加するため、読み出し部２９ｂが受光部２９ａの各水平ラインから画素信号を読み出した段階では、取得画像Ｗ３（図６Ａ参照）の上部から下部に向かって次第に明るくなり、輝度ムラが生じる。
　そこで、ゲイン設定部３７は、読み出し期間ＲＭに読み出し部２９ｂによって読み出されたフレームＭの画素信号ＤＭについては、先頭の水平ライン１から最終の水平ラインＫにライン番号が進むにしたがって、相対的に、ゲイン係数が徐々に低くなるように設定する。この結果、図５の（３）に示すように、ゲイン調整部３２は、フレームＭの画素信号については、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行い、輝度ムラが補正された補正画像Ｗ４（図６Ｂ参照）を生成する。なお、読み出し期間Ｒ（Ｍ＋１）に読み出されたフレーム（Ｍ＋１）の画素信号Ｄ（Ｍ＋１）については、フレーム期間Ｔ（Ｍ＋１）に照射される光量の積算値がいずれの水平ラインにおいても同値となるように照明処理が制御されるため、ゲイン調整部３２において用いられるゲイン係数は、いずれの水平ラインについても同じ係数となる。
　このように、ゲイン調整部３２は、照明部４２の照明状態が、一つ前の読み出し期間の照明状態である第１の照明状態から、第２の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行って、輝度ムラを補正する。
　以上のように、実施の形態によれば、照明部４２の照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じるゲイン調整を行って画像の輝度ムラをなくしているため、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持することができる。
　なお、本実施の形態では、第１の照明状態が、読み出し期間の全期間において照明光が出射される状態である場合について説明したが、もちろん、読み出し期間の少なくとも一部においてのみ照明光が出射される状態であってもよい。また、照明制御部３６は、第１の照明状態と第２の照明状態との切り替えを１フレーム期間の開始タイミングに限らず、いずれのタイミングで行ってもよい。照明制御部３６が第１の照明状態と第２の照明状態とを切り替えたタイミングに応じて、ゲイン調整対象のフレームや異なるゲイン係数を設定すべき水平ラインが異なるため、ゲイン設定部３７は、照明制御部３６による第１の照明状態と第２の照明状態とを切り替えたタイミングと、読み出し部２９ｂによる各水平ラインの読み出しタイミングとに応じて、ゲイン調整対象のフレームや、異なるゲイン係数を設定すべき水平ラインを判別すればよい。また、本実施の形態では、照明状態が切り替わった後のフレームと、その次のフレームとで、フレーム期間中における照明光の光量の積算値を等しくさせる照明制御を行った場合を例に説明したが、もちろん、特にこれに限るものではなく、照明状態が切り替わった後のフレームと、その次のフレームとで、フレーム期間中における照明光の光量の積算値を変えてもよい。
　また、本実施の形態にかかる処理装置３、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　４　光源装置
　５　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　２７　コネクタ
　２８　ライトガイドケーブル
　２９　撮像部
　２９ａ　受光部
　２９ｂ　読み出し部
　２９ｃ　ＡＦＥ部
　２９ｄ　撮像制御部
　３１　画像処理部
　３２　ゲイン調整部
　３３　表示制御部
　３４　明るさ検出部
　３５　制御部
　３６　照明制御部
　３７　ゲイン設定部
　３８　入力部
　３９　記憶部
　４１　光源制御部
　４２　照明部
　４３　光源ドライバ
　４４　光源

Claims (10)

  1. 　被写体を照明するための照明光を出射する照明部と、
    　前記照明部による照明光で照明された前記被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が複数の水平ライン上に配列されてなる受光部と、
    　前記受光部の前記複数の画素に対して前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から画素信号を順次読み出すように制御する撮像制御部と、
    　前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、
    　前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、
    　を備えたことを特徴とする撮像装置。
  2. 　前記第１の照明状態は、前記読み出し期間内の少なくとも一部において照明光を出射させる照明状態であり、
    　前記第２の照明状態は、前記読み出し期間内では照明光を出射させない照明状態であることを特徴とする請求項１に記載の撮像装置。
  3. 　前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第１の照明状態から、前記第２の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする請求項２に記載の撮像装置。
  4. 　前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第２の照明状態から、前記第１の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする請求項２に記載の撮像装置。
  5. 　前記読み出された画素信号をもとに前記被写体の明るさを検出する明るさ検出部をさらに備え、
    　前記照明制御部は、前記明るさ検出部が検出した前記被写体の明るさに基づいて、前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする請求項１に記載の撮像装置。
  6. 　前記照明制御部は、１フレーム期間の開始タイミングで前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする請求項１に記載の撮像装置。
  7. 　前記照明制御部は、前記読み出し期間以外において前記照明部が出射する照明光の強度および照明時間を可変制御し、前記第１の照明状態では、前記読み出し期間の少なくとも一部において前記照明部が出射する照明光の強度を一定に保持することを特徴とする請求項６に記載の撮像装置。
  8. 　前記照明制御部は、前記照明部の照明状態を切り替えた直後の１フレーム期間中に前記照明部が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に前記照明部が出射する光量の積算値と、が等しくなるように前記照明部が出射する照明光の光量を制御することを特徴とする請求項６に記載の撮像装置。
  9. 　当該撮像装置は、被検体内に挿入される挿入部と、挿入部と接続する処理装置と、挿入部に照明光を供給する光源装置と、を備えた内視鏡システムであって、
    　前記挿入部は、前記受光部および前記撮像制御部を備え、
    　前記処理装置は、前記照明制御部および前記信号処理部を備え、
    　前記光源装置は、前記照明部を備えたことを特徴とする請求項１に記載の撮像装置。
  10. 　照明光を出射する照明装置を制御するとともに、前記照明光で照明された被写体からの光を光電変換する複数の画素が複数の水平ライン上に配列されてなる受光部から、撮像制御部によって前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から順次読み出された画素信号を処理する処理装置であって、
    　前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、
    　前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に前記読み出し部によって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、
    　を備えたことを特徴とする処理装置。
PCT/JP2015/074988 2014-09-05 2015-09-02 撮像装置および処理装置 WO2016035829A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15838369.5A EP3190785A4 (en) 2014-09-05 2015-09-02 Imaging device and processing device
JP2016508888A JP5927370B1 (ja) 2014-09-05 2015-09-02 撮像装置および処理装置
CN201580005870.0A CN105934942B (zh) 2014-09-05 2015-09-02 摄像装置和处理装置
US15/231,865 US20160345812A1 (en) 2014-09-05 2016-08-09 Imaging apparatus and processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014181305 2014-09-05
JP2014-181305 2014-09-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/231,865 Continuation US20160345812A1 (en) 2014-09-05 2016-08-09 Imaging apparatus and processing device

Publications (1)

Publication Number Publication Date
WO2016035829A1 true WO2016035829A1 (ja) 2016-03-10

Family

ID=55439888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074988 WO2016035829A1 (ja) 2014-09-05 2015-09-02 撮像装置および処理装置

Country Status (5)

Country Link
US (1) US20160345812A1 (ja)
EP (1) EP3190785A4 (ja)
JP (1) JP5927370B1 (ja)
CN (1) CN105934942B (ja)
WO (1) WO2016035829A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6402286B1 (ja) * 2017-06-29 2018-10-10 オリンパス株式会社 撮像システム及び内視鏡システム
CN108989773A (zh) * 2017-06-01 2018-12-11 安讯士有限公司 用于改善图像质量的方法以及近红外敏感摄像机
WO2019003509A1 (ja) * 2017-06-29 2019-01-03 オリンパス株式会社 撮像システム及び内視鏡システム
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019225074A1 (ja) * 2018-05-21 2019-11-28 オリンパス株式会社 内視鏡システム
WO2024154530A1 (ja) * 2023-01-16 2024-07-25 Hoya株式会社 撮像システム、電子内視鏡システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872028B2 (ja) * 2017-09-08 2021-05-19 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP2020151402A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び内視鏡システム
JP7536472B2 (ja) * 2020-03-03 2024-08-20 Hoya株式会社 内視鏡システム
JP2021145859A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016976A (ja) * 2006-07-03 2008-01-24 Canon Inc 撮像装置及びその制御方法並びに撮像システム
WO2013157368A1 (ja) * 2012-04-16 2013-10-24 オリンパスメディカルシステムズ株式会社 撮像システム、撮像方法
WO2013175908A1 (ja) * 2012-05-25 2013-11-28 オリンパスメディカルシステムズ株式会社 撮像システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964715B2 (ja) * 1991-07-01 1999-10-18 富士写真光機株式会社 電子内視鏡システム
DE69822958T2 (de) * 1997-10-23 2005-03-10 Olympus Corporation Bildaufnahmevorrichtung mit Mitteln zur Erweiterung des Dynamikbereichs
US6462770B1 (en) * 1998-04-20 2002-10-08 Xillix Technologies Corp. Imaging system with automatic gain control for reflectance and fluorescence endoscopy
JP3884226B2 (ja) * 2000-10-10 2007-02-21 オリンパス株式会社 撮像システム
US6511422B1 (en) * 2002-04-30 2003-01-28 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
US7428997B2 (en) * 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
KR100583250B1 (ko) * 2004-03-05 2006-05-24 한국전기연구원 개선된 영상 검출 모듈을 갖는 형광 내시경 장치
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
US20070019916A1 (en) * 2005-07-20 2007-01-25 Pentax Corporation Stereoscopic illumination endoscope system
DE102008018931A1 (de) * 2007-04-17 2008-11-13 Gyrus ACMI, Inc., Southborough Lichtquellenleistung auf der Grundlage einer vorbestimmten erfaßten Bedingung
JP2009136447A (ja) * 2007-12-05 2009-06-25 Hoya Corp 光源制御システム、シャッタ制御システム。内視鏡プロセッサ、および内視鏡システム
US8203709B2 (en) * 2008-09-17 2012-06-19 Fujifilm Corporation Image obtaining method and image obtaining apparatus
JP4868021B2 (ja) * 2009-01-07 2012-02-01 ソニー株式会社 固体撮像素子および駆動制御方法
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
WO2012014678A1 (ja) * 2010-07-26 2012-02-02 オリンパスメディカルシステムズ株式会社 内視鏡装置および内視鏡装置の制御方法
JP5343055B2 (ja) * 2010-09-13 2013-11-13 本田技研工業株式会社 撮像装置および撮像方法
US8878920B2 (en) * 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP5941630B2 (ja) * 2011-07-14 2016-06-29 オリンパス株式会社 カメラ
JPWO2013084839A1 (ja) * 2011-12-09 2015-04-27 ソニー株式会社 撮像装置、電子機器、輝尽発光検出スキャナーおよび撮像方法
TWI467751B (zh) * 2011-12-12 2015-01-01 Sony Corp A solid-state imaging device, a driving method of a solid-state imaging device, and an electronic device
CN104168814B (zh) * 2012-03-28 2016-08-17 富士胶片株式会社 摄像装置以及具备该摄像装置的内窥镜装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016976A (ja) * 2006-07-03 2008-01-24 Canon Inc 撮像装置及びその制御方法並びに撮像システム
WO2013157368A1 (ja) * 2012-04-16 2013-10-24 オリンパスメディカルシステムズ株式会社 撮像システム、撮像方法
WO2013175908A1 (ja) * 2012-05-25 2013-11-28 オリンパスメディカルシステムズ株式会社 撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3190785A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989773A (zh) * 2017-06-01 2018-12-11 安讯士有限公司 用于改善图像质量的方法以及近红外敏感摄像机
CN108989773B (zh) * 2017-06-01 2021-04-09 安讯士有限公司 用于改善图像质量的方法以及近红外敏感摄像机
JP6402286B1 (ja) * 2017-06-29 2018-10-10 オリンパス株式会社 撮像システム及び内視鏡システム
WO2019003509A1 (ja) * 2017-06-29 2019-01-03 オリンパス株式会社 撮像システム及び内視鏡システム
US11596290B2 (en) 2017-06-29 2023-03-07 Olympus Corporation Image pickup system, endoscope system, and image pickup gain setting method
JPWO2019159817A1 (ja) * 2018-02-14 2021-01-28 富士フイルム株式会社 内視鏡システム及びその作動方法
CN111712178A (zh) * 2018-02-14 2020-09-25 富士胶片株式会社 内窥镜系统及其工作方法
JP7069290B2 (ja) 2018-02-14 2022-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2019225074A1 (ja) * 2018-05-21 2021-03-18 オリンパス株式会社 内視鏡システム、内視鏡用プロセッサ、内視鏡システムの制御方法、及び、プログラム
WO2019225074A1 (ja) * 2018-05-21 2019-11-28 オリンパス株式会社 内視鏡システム
US12035892B2 (en) 2018-05-21 2024-07-16 Olympus Corporation Endoscope system, processor for endoscope, method of controlling endoscope system, and recording medium
WO2024154530A1 (ja) * 2023-01-16 2024-07-25 Hoya株式会社 撮像システム、電子内視鏡システム

Also Published As

Publication number Publication date
CN105934942A (zh) 2016-09-07
EP3190785A4 (en) 2018-03-28
JPWO2016035829A1 (ja) 2017-04-27
US20160345812A1 (en) 2016-12-01
JP5927370B1 (ja) 2016-06-01
CN105934942B (zh) 2019-09-24
EP3190785A1 (en) 2017-07-12

Similar Documents

Publication Publication Date Title
JP5927370B1 (ja) 撮像装置および処理装置
JP5452785B1 (ja) 撮像システム
JP6072372B2 (ja) 内視鏡システム
CN106256123B (zh) 处理装置、摄像装置以及内窥镜系统
JP5467182B1 (ja) 撮像システム
US10349027B2 (en) Imaging device and processing device
JP6360988B1 (ja) 内視鏡および内視鏡システム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US10441135B2 (en) Endoscope system
WO2015114906A1 (ja) 撮像システムおよび撮像装置
US11503990B2 (en) Imaging system, processing device and illumination control method to set emission timing of illumination light in readout period of signal value of imager
JP5885617B2 (ja) 撮像システム
JPWO2014188852A1 (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016508888

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015838369

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015838369

Country of ref document: EP