WO2013099942A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013099942A1
WO2013099942A1 PCT/JP2012/083649 JP2012083649W WO2013099942A1 WO 2013099942 A1 WO2013099942 A1 WO 2013099942A1 JP 2012083649 W JP2012083649 W JP 2012083649W WO 2013099942 A1 WO2013099942 A1 WO 2013099942A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
period
light
unit
image data
Prior art date
Application number
PCT/JP2012/083649
Other languages
English (en)
French (fr)
Inventor
大野 渉
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2013519890A priority Critical patent/JP5427316B2/ja
Priority to CN201280036864.8A priority patent/CN103732119B/zh
Priority to EP12861066.4A priority patent/EP2719320A4/en
Priority to US13/873,305 priority patent/US8866893B2/en
Publication of WO2013099942A1 publication Critical patent/WO2013099942A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an imaging apparatus including an imaging element capable of outputting an electrical signal after photoelectric conversion as pixel information from a pixel arbitrarily designated as a readout target among a plurality of pixels for imaging.
  • an endoscope system is used to observe an organ of a subject such as a patient.
  • An endoscope system has, for example, an elongated shape having flexibility, an insertion unit that is inserted into a body cavity of a subject, an imaging unit that is provided at the distal end of the insertion unit and captures an in-vivo image, and an imaging unit. And a display unit capable of displaying the captured in-vivo image.
  • an illumination method for example, a surface sequential method that sequentially switches illumination light of three color components of red (R), green (G), and blue (B) is known (see, for example, Patent Document 1). .
  • a CCD (Charge Coupled Device) image sensor is used to individually pick up images under sequentially changing illumination light.
  • CMOS Complementary Metal Oxide Semiconductor
  • the CMOS image sensor can arbitrarily set the method of reading pixel information based on the electric charge stored in the pixel, it can perform various types of imaging as compared with a CCD image sensor that reads all pixels simultaneously.
  • the readout timing differs for each horizontal line.
  • the exposure period may span different illumination periods.
  • the present invention has been made in view of the above, and captures an image corresponding to each illumination at the same time and with sufficient sensitivity under the condition that a plurality of illuminations are switched while using a CMOS image sensor.
  • An object of the present invention is to provide an imaging device capable of performing the above.
  • an imaging apparatus includes a light source unit capable of emitting a plurality of illumination lights, and each receiving light and performing photoelectric conversion to generate an electrical signal.
  • a plurality of pixels to be generated are arranged on the secondary surface, and a plurality of horizontal lines can be sequentially read out line by line using pixel information as an electrical signal generated by a pixel arbitrarily set as a read target area among the plurality of pixels.
  • the sensor for each illumination period having a length corresponding to at least two frame periods, where the reading of the pixel information generated by each pixel is completed as one frame period
  • a light source control unit that controls the light source unit so as to sequentially emit the plurality of illumination lights in synchronization with the start of the exposure period of the horizontal line that is read first, and in the last one frame period of the illumination period
  • the image data corresponding to the pixel information read by the sensor unit is controlled while the image data corresponding to the pixel information read by the sensor unit is controlled to be excluded from a predetermined processing target.
  • a control unit that performs control to perform the predetermined processing.
  • control unit performs control not to acquire image data corresponding to the pixel information read by the sensor unit during the first frame period of the illumination period. It is characterized by.
  • the image processing apparatus further includes an interpolation image generation unit that generates interpolation image data for interpolating two image data acquired before and after in time.
  • the length of the illumination period determined according to each of the plurality of illumination lights is all two frame periods
  • the interpolated image generation unit Interpolated image data is generated by using image data acquired in the last frame period and pixel information for two screens read by the sensor unit in frame periods before and after acquiring the image data.
  • the imaging apparatus is characterized in that, in the above-described invention, lengths of illumination periods determined according to each of the plurality of illumination lights are equal to each other.
  • the light source unit can emit red light, green light, and blue light as the illumination light, and the light source control unit The red light, the green light, and the blue light are sequentially emitted.
  • the light source unit can emit white light and light having spectral characteristics different from the white light as the illumination light, and the light source control unit can emit the light source.
  • the white light is emitted intermittently while the special light, which is light in a specific wavelength band, is continuously emitted to the unit.
  • the illumination period having a length of at least two frame periods is defined as one frame period until the readout of the pixel information generated by is completed.
  • the plurality of illumination lights are sequentially emitted, and control is performed to exclude image data corresponding to pixel information read by the sensor unit during the last one frame period of the illumination period from a predetermined processing target, while other frames in the illumination period
  • An image captured under a single illumination to obtain image data corresponding to the pixel information read by the sensor unit during the period and to perform a predetermined process. It can be acquired only over data. Therefore, it is possible to capture images under a plurality of illuminations that are switched periodically while securing sufficient sensitivity while using a CMOS image sensor.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system that is an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a cross-sectional view illustrating an outline of the internal configuration of the distal end portion of the endoscope included in the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram schematically showing an outline of an image acquisition method that can be executed by the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system that is an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a cross-sectional view illustrating an outline of the internal configuration of the distal end portion of the endoscope included in the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing a schematic configuration of an endoscope system that is an imaging apparatus according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 7 is a diagram schematically showing an outline of an image acquisition method characteristic of an endoscope system that is an imaging apparatus according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 8 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to the second embodiment of the present invention.
  • FIG. 9 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram schematically illustrating an outline of an image acquisition method characteristic of the endoscope system according to the modified example 2-1 of the second embodiment of the present invention.
  • FIG. 11 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system according to Embodiment 3 of the present invention.
  • FIG. 12 is a diagram schematically illustrating an outline of an image acquisition method characteristic of the endoscope system according to Modification 3-1 of Embodiment 3 of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system that is an imaging apparatus according to Embodiment 1 of the present invention.
  • An endoscope system 1 shown in FIG. 1 processes an endoscope 2 that captures an in-vivo image of a subject by inserting a tip portion into the body cavity of the subject, and an in-vivo image acquired by the endoscope 2.
  • a control device 4 having a function to perform and a function to comprehensively control the operation of the entire endoscope system 1, a light source device 6 that generates illumination light emitted from the distal end of the endoscope 2, and the control device 4.
  • a display device 8 for displaying an in-vivo image subjected to image processing.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives an input of an operation signal, and the insertion portion 21 is connected to the operation portion 22.
  • a universal cord 23 that extends in a direction different from the extending direction and incorporates various cables connected to the control device 4 and the light source device 6, and is provided at the distal end of the universal cord 23, the endoscope 2, the control device 4, and the light source device 6 and the connector part 24 which each establishes a connection.
  • the insertion portion 21 is connected to the distal end portion 25 containing an image pickup device to be described later, a bendable bending portion 26 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 26, and has a flexible length.
  • Shaped flexible tube portion 27 is connected to the distal end portion 25 containing an image pickup device to be described later, a bendable bending portion 26 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 26, and has a flexible length.
  • Shaped flexible tube portion 27 is connected to the distal end portion 25 containing an image pickup device to be described later, a bendable bending portion 26 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 26, and has a flexible length.
  • FIG. 2 is a cross-sectional view for explaining the outline of the internal configuration of the tip portion 25.
  • the distal end portion 25 is configured using a glass fiber or the like, and forms a light guide path for light generated by the light source device 6, and an illumination lens 252 provided at the distal end of the light guide 251.
  • a condensing optical system 253, and an image sensor 254 that is provided at an image forming position of the optical system 253, receives light collected by the optical system 253, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing.
  • a treatment instrument channel 255 through which the treatment instrument for the endoscope 2 is passed.
  • the optical system 253 includes two lenses 253a and 253b. Note that the types and number of lenses constituting the optical system 253 are not limited to those shown in FIG.
  • FIG. 3 is a block diagram showing a functional configuration of a main part of the endoscope system 1.
  • the configuration of the image sensor 254 will be described with reference to FIG.
  • the imaging element 254 includes a sensor unit 254a that photoelectrically converts light from the optical system 253 and outputs an electrical signal, and an analog front end that performs noise removal and A / D conversion on the electrical signal output from the sensor unit 254a ( AFE) unit 254b, a P / S conversion unit 254c for parallel / serial conversion of the digital signal output from the analog front end unit 254b, a drive timing pulse for the sensor unit 254a, and an analog front end unit 254b and a P / S conversion unit It has a timing generator 254d that generates pulses for various signal processing in 254c, and an imaging control unit 254e that controls the operation of the imaging element 254.
  • the image sensor 254 is a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the sensor unit 254a is connected to the IC circuit group 254G via the substrate 254S.
  • the IC circuit group 254G includes a plurality of IC circuits having functions of an analog front end unit 254b, a P / S conversion unit 254c, a timing generator 254d, and an imaging control unit 254e.
  • the sensor unit 254a includes a light receiving unit 254f in which a plurality of pixels each having a photodiode that accumulates a charge according to the amount of light and an amplifier that amplifies the charge accumulated by the photodiode are arranged in a two-dimensional matrix, and a light receiving unit 254f.
  • a readout unit 254g that reads out, as pixel information, an electrical signal generated by a pixel arbitrarily set as a readout target among the plurality of pixels.
  • the light receiving unit 254f is provided with RGB color filters for each pixel, so that a color image can be obtained.
  • the analog front end unit 254b includes a noise reduction unit 254h that reduces a noise component included in the signal, and an A / D conversion unit 254i that performs A / D conversion on the signal with reduced noise.
  • the noise reduction unit 254h performs noise reduction using, for example, a correlated double sampling method.
  • An AGC (Auto Gain Control) circuit that automatically adjusts the signal gain and always maintains a constant output level may be provided between the noise reduction unit 254h and the A / D conversion unit 254i.
  • the imaging control unit 254e controls various operations of the distal end portion 25 according to the setting data received from the control device 4.
  • the imaging control unit 254e is configured using a CPU (Central Processing Unit) or the like.
  • a collective cable 256 Connected to the electrode 254E provided on the substrate 254S is a collective cable 256 in which a plurality of signal lines for transmitting and receiving electrical signals to and from the control device 4 are bundled.
  • the plurality of signal lines include a signal line that transmits an image signal output from the imaging device 254 to the control device 4, a signal line that transmits a control signal output from the control device 4 to the imaging device 254, and the like.
  • the operation unit 22 includes a bending knob 28 that bends the bending portion 26 in the vertical direction and the left-right direction, a treatment instrument insertion unit 29 that inserts a treatment instrument such as a biopsy forceps and a laser probe into the body cavity, the control device 4, and the light source.
  • a treatment instrument such as a biopsy forceps and a laser probe into the body cavity
  • the control device 4 and the light source.
  • the device 6 has a plurality of switches 30 that are operation input units for inputting operation instruction signals of peripheral devices such as an air supply means, a water supply means, and a gas supply means.
  • the treatment instrument inserted from the treatment instrument insertion portion 29 is exposed from the opening 255 a via the treatment instrument channel 255 of the distal end portion 25.
  • the universal cord 23 includes at least a light guide 251 and a collective cable 256.
  • the connector part 24 includes an electrical contact part 241 connected to the control device 4, a light guide connector 242 detachably connected to the light source device 6, and an air supply base 243 for sending air to the nozzle of the tip part 25.
  • the control device 4 includes an S / P conversion unit 41, an image processing unit 42, a brightness detection unit 43, a dimming unit 44, a read address setting unit 45, a drive signal generation unit 46, an input unit 47, a storage unit 48, and a control unit. 49 and a reference clock generation unit 50.
  • the S / P converter 41 performs serial / parallel conversion on the image signal (digital signal) received from the distal end portion 25.
  • the image processing unit 42 generates an in-vivo image displayed by the display device 8 based on the parallel image signal output from the S / P conversion unit 41.
  • the image processing unit 42 includes a synchronization unit 421, a white balance (WB) adjustment unit 422, a gain adjustment unit 423, a ⁇ correction unit 424, a D / A conversion unit 425, a format change unit 426, a sample memory 427, and a still image use A memory 428 is provided.
  • WB white balance
  • the synchronization unit 421 inputs an image signal input as pixel information to three memories (not shown) provided for each pixel, and associates the image signal with the pixel address of the light receiving unit 254f read by the reading unit 254g. Then, the values of the respective memories are held while being sequentially updated, and the image signals of these three memories are synchronized as RGB image signals.
  • the synchronization unit 421 sequentially outputs the synchronized RGB image signals to the white balance adjustment unit 422 and outputs some of the RGB image signals to the sample memory 427 for image analysis such as brightness detection.
  • the white balance adjustment unit 422 adjusts the white balance of the RGB image signal.
  • the gain adjustment unit 423 adjusts the gain of the RGB image signal.
  • the gain adjustment unit 423 outputs the RGB signal subjected to gain adjustment to the ⁇ correction unit 424, and uses a part of the RGB signals for still image display, enlarged image display, or emphasized image display as a still image memory 428. Output to.
  • the ⁇ correction unit 424 performs gradation correction ( ⁇ correction) of the RGB image signal in correspondence with the display device 8.
  • the D / A conversion unit 425 converts the gradation-corrected RGB image signal output from the ⁇ correction unit 424 into an analog signal.
  • the format changing unit 426 changes the image signal converted into the analog signal to a moving image file format and outputs it to the display device 8.
  • a moving image file format As this file format, an AVI format, an MPEG format, or the like can be applied.
  • the brightness detection unit 43 detects a brightness level corresponding to each pixel from the RGB image signals held in the sample memory 427, records the detected brightness level in a memory provided therein, and controls the control unit 49. Output to. Further, the brightness detection unit 43 calculates the gain adjustment value and the light irradiation amount based on the detected brightness level, and outputs the gain adjustment value to the gain adjustment unit 423, while the light irradiation amount is adjusted to the light adjustment unit 44. Output to.
  • the light control unit 44 sets the type, amount of light, light emission timing, and the like of light generated by the light source device 6 based on the light irradiation amount calculated by the brightness detection unit 43 under the control of the control unit 49.
  • a light source synchronization signal including the set conditions is transmitted to the light source device 6.
  • the read address setting unit 45 has a function of setting a pixel to be read and a reading order in the light receiving unit of the sensor unit 254a. That is, the read address setting unit 45 has a function of setting the pixel address of the sensor unit 254a read by the analog front end unit 254b. Further, the read address setting unit 45 outputs the set address information of the pixel to be read to the synchronization unit 421.
  • the drive signal generation unit 46 generates a driving timing signal for driving the image sensor 254 and transmits the timing signal to the timing generator 254d via a predetermined signal line included in the collective cable 256.
  • This timing signal includes address information of a pixel to be read.
  • the input unit 47 receives input of various signals such as an operation instruction signal that instructs the operation of the endoscope system 1.
  • the storage unit 48 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the storage unit 48 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1.
  • the control unit 49 is configured using a CPU or the like, and performs drive control of each component including the tip 25 and the light source device 6, input / output control of information with respect to each component, and the like.
  • the control unit 49 transmits setting data for imaging control to the imaging control unit 254e via a predetermined signal line included in the collective cable 256.
  • the setting data includes the imaging speed (frame rate) of the image sensor 254, instruction information for instructing the reading speed of pixel information from any pixel of the sensor unit 254a, and pixel information read by the analog front end unit 254b. Transmission control information.
  • the reference clock generation unit 50 generates a reference clock signal that is a reference for the operation of each component of the endoscope system 1 and supplies the generated reference clock signal to each component of the endoscope system 1.
  • the light source device 6 is a device that can emit a plurality of types of illumination light having different spectral characteristics.
  • the light source device 6 includes a white light source 61, a special light source 62, a light source controller 63, and an LED (Light Emitting Diode) driver 64.
  • the white light source 61 and the special light source 62 form part of the light source unit.
  • the white light source 61 is composed of a white LED and generates white illumination light.
  • the special light source 62 generates light of a specific wavelength band that is different from the wavelength of the white illumination light and that has any of the R, G, and B components narrowed by a narrow band pass filter as special light. To do.
  • the special light generated by the special light source 62 includes, for example, NBI (Narrow Band Imaging) illumination light of two types of bands, blue light and green light, which are narrowed to be easily absorbed by hemoglobin in blood, Examples thereof include excitation light for generating fluorescence having a predetermined wavelength.
  • the light source control unit 63 controls the amount of current supplied to the white light source 61 or the special light source 62 in accordance with the light source synchronization signal transmitted from the light control unit 44. More specifically, the light source control unit 63 starts from the start of an exposure period for exposing a plurality of pixels on the horizontal line to be read out first among a plurality of horizontal lines belonging to the reading target area of the sensor unit 254a.
  • the reading of the pixel information generated by each pixel on the horizontal line is defined as one frame period, and the horizontal line first read out from the sensor unit 254a for each illumination period having a length of at least two frame periods.
  • the light source unit is controlled to sequentially emit a plurality of illumination lights in synchronization with the start of the exposure period.
  • the LED driver 64 supplies light to the white light source 61 or the special light source 62 by supplying a current to the white light source 61 or the special light source 62 under the control of the light source control unit 63.
  • Light generated by the white light source 61 or the special light source 62 is irradiated to the outside from the tip of the tip 25 via the light guide 251.
  • the display device 8 has a function of receiving the in-vivo image generated by the control device 4 from the control device 4 and displaying it.
  • the display device 8 has a display such as liquid crystal or organic EL (Electro Luminescence).
  • FIG. 4 is a diagram schematically showing an outline of an image acquisition method that can be executed by the endoscope system 1 having the above configuration.
  • the imaging element 254 is a CMOS image sensor as described above, and a focal plane electronic shutter is employed. For this reason, when a plurality of frames are continuously imaged, the accumulated charges are read sequentially for each horizontal line. As a result, there is a time difference between the horizontal line read first by the image sensor 254 and the horizontal line read last. In the first embodiment, it is assumed that this time difference is substantially equal to one frame Tf.
  • the image sensor 254 starts from the horizontal line at the top of the screen and sequentially reads out pixels to the lower horizontal line.
  • the light source device 6 switches different types of illumination light with a 1-frame period Tf as a cycle.
  • different types of illumination light for example, one illumination can be white illumination and the other illumination can be NBI illumination.
  • the exposure period for one frame in the sensor unit 254a is a period that crosses the switching timing of the illumination intensity.
  • the exposure under the first illumination irradiated in the first illumination period L1 is dominant in the horizontal line at the top of the screen, while the second illumination period is in the horizontal line at the bottom of the screen.
  • the exposure under the second illumination irradiated at L2 is dominant. Therefore, the image data 101 based on the pixel information read out by the reading unit 254g during the transfer period T1 of the charge received and accumulated by the light receiving unit 254f during the exposure period P1 is different in the type of illumination that has been irradiated upward and downward.
  • the image data is a mixture of images taken under two illuminations.
  • the exposure under the second illumination is dominant in the horizontal line at the top of the screen, whereas the exposure under the first illumination is dominant in the horizontal line at the bottom of the screen. Is. Therefore, the image data 102 based on the pixel information read out by the reading unit 254g during the transfer period T2 of the charge received and accumulated by the light receiving unit 254f during the exposure period P2 is imaged under two illuminations like the image data 101.
  • the image data is a mixture of things.
  • FIG. 5 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system 1.
  • the control device 4 of the endoscope system 1 switches the illumination every two frame periods and acquires only the illumination of the second frame as image data. More specifically, the control unit 49 of the control device 4 acquires image data corresponding to the pixel information read by the sensor unit 254a during the second frame period of the two frame periods, while 1 of the two frame periods. Control is performed so that image data corresponding to the pixel information read by the sensor unit 254a is not acquired during the frame period.
  • control unit 49 performs image data corresponding to all the pixel information read by the sensor unit 254a instead of performing control not to acquire image data corresponding to the pixel information read by the sensor unit 254a in the period of the first frame. Then, control for excluding the image data corresponding to the pixel information in the period of the first frame from the processing target of the image processing unit 42 may be performed.
  • the exposure period P11 included in the first illumination period L11 includes only exposure under the first illumination. Therefore, in the control device 4, the light receiving unit 254f receives light during the exposure period P11 and acquires the image data 201 based on the pixel information read out by the reading unit 254g during the charge transfer period T11 accumulated during the exposure period P11. On the other hand, in the control device 4, the light receiving unit 254f receives light during the exposure period P12 straddling the first illumination period L11 and the second illumination period L12, and the readout unit 254g operates during the transfer period T12 of charges accumulated during the exposure period P12. The image data 202 based on the read pixel information is not acquired.
  • the control device 4 is based on the pixel information read by the light receiving unit 254f during the exposure period P13 included in the second illumination period L21 and read out by the reading unit 254g during the charge transfer period T13 accumulated during the exposure period P13.
  • Image data 203 is acquired.
  • the light receiving unit 254f receives light in the exposure period P14 straddling the second illumination period L21 and the first illumination period L12, and the reading unit 254g in the transfer period T14 of charges accumulated in the exposure period P14.
  • the image data 204 based on the read pixel information is not acquired.
  • control device 4 corresponds to the pixel information read by the light receiving unit 254f during the exposure period P15 included in the first illumination period L12 and read out by the reading unit 254g during the charge transfer period T15 accumulated during the exposure period P15.
  • the image data 205 to be acquired is acquired.
  • control device 4 acquires only the image data based on the pixel information exposed under a single illumination among the pixel information read by the reading unit 254g. As a result, the above-described problem of the focal plane electronic shutter is solved.
  • the sensor unit has a length of at least two frame periods as a unit of one frame period during which the pixel information for one screen is read, and a plurality of illuminations.
  • Each illumination light is sequentially emitted for each illumination period determined according to each of the light, and image data corresponding to the pixel information read by the sensor unit in the last one frame period of the illumination period is acquired, while the first of the illumination period Since image data corresponding to the pixel information read by the sensor unit during one frame period is not acquired, only image data captured under a single illumination can be acquired. Therefore, it is possible to capture images under a plurality of illuminations that are switched periodically while securing sufficient sensitivity while using a CMOS image sensor.
  • the control device acquires an image in accordance with switching of the illumination light of the light source device, so that pixel information is read out at the distal end portion of the endoscope.
  • FIG. 6 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to the modified example 1-1 of the first embodiment.
  • the endoscope system 11 shown in the figure includes an endoscope 2-2, a control device 4, a light source device 7, and a display device 8.
  • the configuration of the endoscope 2-2 is the same as the configuration of the endoscope 2 described above.
  • the light source device 7 includes a red light source 71R made of a red LED, a green light source 71G made of a green LED, a blue light source 71B made of a blue LED, a special light source 72, a light source control unit 63, and an LED driver 64.
  • the light source device 7 has a function of irradiating frame-sequential illumination light using illumination light of three colors of red (R), green (G), and blue (B).
  • red light is light having a wavelength band of approximately 610 to 780 nm
  • green light is light having a wavelength band of approximately 500 to 570 nm
  • blue light is light having a wavelength band of approximately 400 to 500 nm.
  • the red light source 71R, the green light source 71G, and the blue light source 71B are all turned on to form white light.
  • the surface sequential light source device it is also possible for the surface sequential light source device to switch the illumination light by rotating a disk-shaped rotation filter provided with R, G, B color filters in front of the white light source of the light source device 7. It is.
  • FIG. 7 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system 11.
  • the light source device 7 irradiates red (first illumination), green (second illumination), and blue (third illumination) in order of two frame periods.
  • the control device 4 acquires image data based on the pixel information of the second frame in each illumination period. Specifically, the control device 4 receives the pixel information received by the light receiving unit 254-2f during the exposure period P21 from the first frame to the second frame of the first illumination period L31 and read by the reading unit 254g during the transfer period T21.
  • the image data 301 based on the above is acquired.
  • the light receiving unit 254-2f receives light during the exposure period P23 from the 1st frame to the 2nd frame of the second illumination period L32, and the reading unit 254g operates during the transfer period T23 of the charge accumulated during the exposure period P23.
  • Image data 303 based on the read pixel information is acquired.
  • the control device 4 receives the light receiving unit 254-2f during the exposure period P25 from the first frame to the second frame of the third illumination period L33 and reads out the charge during the transfer period T25 of the charges accumulated during the exposure period P25.
  • Image data 305 based on the pixel information read by 254g is acquired.
  • the controller 4 receives the light received by the light receiving unit 254-2f during the exposure period P22 across different illumination periods (the first illumination period L31 and the second illumination period L32), and transfers the charge accumulated in the exposure period P22.
  • the image data 302 based on the pixel information read by the reading unit 254g in the period T22 is not acquired.
  • the control device 4 receives the light receiving unit 254-2f in the exposure period P24 that straddles different illumination periods (the second illumination period L32 and the third illumination period L33), and transfers the charge accumulated in the exposure period P24 T24.
  • the image data 304 based on the pixel information read by the reading unit 254g is not acquired.
  • the first embodiment can be applied to a case where a plurality of types of illumination light are switched every two frames.
  • FIG. 8 is a block diagram illustrating a functional configuration of a main part of an endoscope system that is an imaging apparatus according to Embodiment 2 of the present invention.
  • An endoscope system 12 shown in FIG. 1 includes an endoscope 2, a control device 13, a light source device 6, and a display device 8.
  • the control device 13 is different from the control device 4 of the endoscope system 1 described above in the configuration of the image processing unit.
  • the image processing unit 131 included in the control device 13 includes, in addition to the configuration of the image processing unit 42 of the control device 4, two pieces of image data captured under a single illumination, respectively, and the control device 13 moves back and forth in time.
  • FIG. 9 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system 12.
  • the control device 13 acquires the image data 201 and 203 captured under a single illumination, and the interpolated image data 211 that interpolates between the image data 201 and 203 is used as the interpolated image generation unit 132. Is generated by.
  • the interpolated image generation unit 132 generates interpolated image data 212 that interpolates between the image data 205 acquired after the image data 203 is generated.
  • the control device 13 alternately displays the image data 201, 203, 205... Acquired from the endoscope 2 and the interpolated image data 211, 212,. Output to device 8.
  • the interpolated image generating unit 132 generates interpolated image data using the three image data 200, 201, and 202 read continuously by the reading unit 254g.
  • the image data 201 of the intermediate frame among the three consecutive image data is image data corresponding to the pixel information received and read out under a single illumination (first illumination).
  • the interpolated image generation unit 132 reads the image data 200 and 201 from the sample memory 427 and reads the image data 202 from the synchronization unit 421, and calculates the pixel values of the corresponding pixels according to the following equation (1).
  • the interpolated image data 211 is generated.
  • (Interpolated image data 211) (Image data 200) + (image data 202)-(image data 201) (1)
  • the interpolated image generation unit 132 reads out the image data 202 and 203 from the sample memory 427 and also reads out the image data 204 from the synchronization unit 421, and sets the pixel values of the corresponding pixels to the following formula (2). Therefore, the interpolated image data 212 is generated by calculation.
  • (Interpolated image data 212) (Image data 202) + (Image data 204)-(Image data 203) (2)
  • the image data 203 of the intermediate frame of the three image data corresponds to the pixel information received and read out under a single illumination (second illumination).
  • the interpolated image generating unit 132 sequentially generates interpolated images by repeating the same processing as described above.
  • interpolated image data is generated using image data of a frame in which a plurality of illuminations are mixed. Therefore, brightness and video continuity are ensured by using all captured frames. And a smoother image can be obtained.
  • FIG. 10 is a diagram schematically illustrating an outline of an image acquisition method characteristic of the endoscope system according to the modified example 2-1 of the second embodiment.
  • Modified Example 2-1 it is possible to make the frame rate of the acquired image non-uniform by exposing the light receiving unit 254f in a state in which one of the two types of illumination light that is alternately illuminated is irradiated for a long time. is there. Such a situation may occur, for example, when a still image is shot during moving image shooting, or when the irradiation time is changed by input from any of the plurality of switches 30.
  • the interpolated image generation unit 132 receives light during the exposure period P31 under single illumination in the first illumination period L41, and reads out during the transfer period T31 of charges accumulated during the exposure period P31.
  • the image data 402 based on the pixel information read out by the unit 254g and the light receiving unit 254f receives the light during the exposure period P34 under the single illumination in the first illumination period L43, and the charge transfer period T34 accumulated during the exposure period P34.
  • Two pieces of interpolated image data are generated between the image data 405 based on the pixel information read by the reading unit 254g.
  • the pixel value of each pixel of the interpolated image data 411 generated after the image data 402 is obtained by using the image data 401 and 403 before and after the image data 402. Is obtained by the following equation (3).
  • (Interpolated image data 411) (Image data 401) + (image data 403)-(image data 402) (3)
  • the interpolated image data 412 generated after the interpolated image data 411 by the interpolated image generating unit 132 is the image data 403 based on the pixel information read by the reading unit 254g in the only transfer period T32 of the second illumination period L42. Then, the image data 404 based on the pixel information read by the reading unit 254g and the next transfer period T34 (under a single illumination) in the first transfer period T33 (corresponding to the long exposure period P33) of the first illumination period L43 thereafter.
  • the image data 405 based on the pixel information read out during the exposure period P34, the following equation (4) is obtained.
  • (Interpolated image data 412) (Image data 403) + (image data 404)-(image data 405) (4)
  • the image data 402, the interpolated image data 411, 412 and the image data 405 output to the display device 8 are arranged regardless of each illumination period and readout timing. That is, it goes without saying that the interpolated image data 412 and the image data 405 are generated after the pixel information is read out during the transfer period T34.
  • the interpolation image is generated even when the frame rate is non-uniform by exposing for a long time under one illumination.
  • the same effect as in the second mode can be obtained.
  • the present modification 2-1 is effective, for example, when a still image is acquired while a normal moving image is shot and the exposure time of the still image changes.
  • the third embodiment of the present invention provides an image acquisition method that can cope with imaging with different sensitivities by switching illumination.
  • the configuration of the endoscope system according to the third embodiment is the same as the configuration of the endoscope system 1 described in the first embodiment.
  • FIG. 11 is a diagram schematically showing an outline of an image acquisition method characteristic of the endoscope system 1 according to the third embodiment.
  • the first illumination is special light
  • the second illumination is white light illumination.
  • the first illumination needs to be imaged with higher sensitivity.
  • the frame is switched to the second illumination period L52 for two frames between the first illumination periods L51 and L53. In this way, the situation of switching to white light imaging intermittently during the period of special light imaging is performed when the structural information of the observation site is acquired by white light imaging and the location of the lesion is specified. Is called.
  • At least one frame period is required for switching in order to change gain settings and operation mode settings during imaging. Therefore, in the third embodiment, one frame after switching the illumination is set as a switching period, and the control device 4 acquires pixel information read in the subsequent frame.
  • the control device 4 straddles the first transfer period T42 (the first illumination period L51 and the second illumination period L52).
  • the image data 503 based on the pixel information read by the reading unit 254g is not acquired during the exposure period P42).
  • the control device 4 performs the initial transfer period T44 (the second illumination period L52 and the first illumination period L53).
  • the image data 505 based on the pixel information read out by the reading unit 254g is not acquired during the exposure period P44 that extends between the two.
  • a frame corresponding to the switching process period may be interpolated by the immediately preceding image data (image data 502 and 504 in FIG. 11). As a result, it is possible to reduce flicker generated on the display screen when the display device 8 displays.
  • Modification 3-1 of the third embodiment performs an illumination light switching operation when a freeze signal for freezing an image is input by a freeze switch provided as one of a plurality of switches 30 of the endoscope 2. It executes, and preserve
  • FIG. 12 is a diagram schematically showing an outline of an image acquisition method that is characteristic of the endoscope system according to Modification 3-1.
  • the image acquisition method itself is the same as that in the third embodiment.
  • Modified Example 3-1 when the freeze switch is turned on, when one of the horizontal lines of the light receiving unit 254f performing exposure at that time (at the time of (switch on) in FIG. 11) completes exposure. Then, the light source device 6 switches the light source and shifts to the second illumination period L52.
  • the light source device 6 switches the irradiation light source again and transitions to the first illumination period L53.
  • the control device 4 transfers the image data 502 based on the pixel information read by the reading unit 254g in the transfer period T41 immediately before the first illumination switching, and the transfer corresponding to the exposure period P43 under the single illumination included in the second illumination period L52.
  • the image data 504 based on the pixel information read by the reading unit 254g in the period T43 is recorded and stored in the storage unit 48 in a lump.
  • the reading unit may read only pixel information to be acquired by the control device.
  • the reading order when the reading unit reads the pixel information is not limited to the case of starting from the horizontal line at the top of the screen, and may be changed as appropriate.
  • control device may acquire image data based on all pixel information read out by the sensor unit.
  • the present invention can include various embodiments that are not described herein, and various design changes and the like can be made within the scope of the technical idea described in the claims. It is.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

 撮像装置は、センサ部の読み出し対象領域に属する複数の水平ラインのうち、初めに読み出される水平ライン上の複数の画素を露光するための露光期間の開始時点から該水平ライン上の各画素が生成した画素情報の読み出しが完了するまでを1フレーム期間として、少なくとも2フレーム期間分の長さを有する照明期間ごとに、センサ部から最初に読み出される水平ラインの露光期間の開始に同期して複数の照明光を順次出射し、照明期間の最後の1フレーム期間にセンサ部が読み出した画素情報に対応する画像データを所定の処理対象から除外する制御を行う一方、照明期間のその他のフレーム期間にセンサ部が読み出した画素情報に対応する画像データを取得し、所定の処理を施す制御を行う。

Description

撮像装置
 本発明は、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像素子を備えた撮像装置に関する。
 従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像部と、撮像部が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像部が体内画像を撮像する。医師等のユーザは、表示部が表示する体内画像に基づいて被検体の臓器の観察を行う。
 内視鏡システムを用いて観察を行う場合、複数種類の照明を所定のタイミングで切り替える場合がある。このような照明方式として、例えば、赤(R)、緑(G)、青(B)の三色成分の照明光を順次切り替える面順次方式が知られている(例えば、特許文献1を参照)。この技術では、CCD(Charge Coupled Device)イメージセンサを用いることにより、順次切り替わる照明光の下での画像の撮像を個別に行っている。
特開2006-280465号公報
 ところで、内視鏡システムの撮像部にCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを適用することも考えられる。CMOSイメージセンサは、画素に蓄えられた電荷に基づく画素情報の読み出しの仕方を任意に設定することができるため、全画素を同時に読み出すCCDイメージセンサよりも多様な撮像を行うことができる。しかしながらその反面、フォーカルプレーン方式の電子シャッタを用いているため、水平ラインごとの読み出しタイミングが異なる。
 CMOSイメージセンサを適用した内視鏡システムでは、上述した複数種類の照明を撮像画像のフレームレートに合わせて切り替えると、互いに異なる照明期間に露光期間がまたがってしまうことがある。このような場合、取得した画像には2つの照明光が混ざった画像が得られてしまうという問題があった。この問題を解決するには、露光の同時性が確保される期間(ブランキング期間)で撮像を行う必要があるが、この場合には露光時間が制約を受けるため、十分な感度を確保することができなかった。
 本発明は、上記に鑑みてなされたものであって、CMOSイメージセンサを用いながらも、複数の照明が切り替わる条件下で各照明に対応した画像を略同時にかつ十分な感度を確保して撮像することができる撮像装置を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の照明光を出射可能な光源部と、各々が光を受光して光電変換を行うことによって電気信号を生成する複数の画素が二次面上に配置され、前記複数の画素のうち読み出し対象領域として任意に設定された画素が生成した電気信号を画素情報として複数の水平ラインをラインごとに順次読み出し可能なセンサ部と、前記センサ部の前記読み出し対象領域に属する前記複数の水平ラインのうち、初めに読み出される水平ライン上の複数の前記画素を露光するための露光期間の開始時点から該水平ライン上の各画素が生成した前記画素情報の読み出しが完了するまでを1フレーム期間として、少なくとも2フレーム期間分の長さを有する照明期間ごとに、前記センサ部から最初に読み出される前記水平ラインの前記露光期間の開始に同期して前記複数の照明光を順次出射するように前記光源部を制御する光源制御部と、前記照明期間の最後の1フレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを所定の処理対象から除外する制御を行う一方、前記照明期間のその他のフレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを取得し、前記所定の処理を施す制御を行う制御部と、を備えたことを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記照明期間の最初の1フレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを取得しない制御を行うことを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記照明光が切り替わるタイミングを含む期間に前記センサ部が受光した光に基づく画素情報を用いることにより、前記制御部が取得する画像データのうち時間的に前後して取得した2つの画像データを補間する補間画像データを生成する補間画像生成部をさらに備えたことを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記複数の照明光の各々に応じて定まる照明期間の長さは全て2フレーム期間分であり、前記補間画像生成部は、前記照明期間の最後のフレーム期間に取得した画像データと、該画像データを取得する前後のフレーム期間に前記センサ部がそれぞれ読み出した2画面分の前記画素情報とを用いることによって補間画像データを生成することを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記複数の照明光の各々に応じて定まる照明期間の長さは互いに等しいことを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記光源部は、前記照明光として赤色光、緑色光および青色光を出射可能であり、前記光源制御部は、前記光源部に対し、前記赤色光、前記緑色光および前記青色光を順次出射させることを特徴とする。
 また、本発明に係る撮像装置は、上記発明において、前記光源部は、前記照明光として白色光および該白色光と異なる分光特性を有する光を出射可能であり、前記光源制御部は、前記光源部に対し、特定の波長帯域の光である特殊光を連続して出射させる途中に前記白色光を間欠的に出射させることを特徴とする。
 本発明によれば、センサ部の読み出し対象領域に属する複数の水平ラインのうち、初めに読み出される水平ライン上の複数の画素を露光するための露光期間の開始時点から該水平ライン上の各画素が生成した画素情報の読み出しが完了するまでを1フレーム期間として、少なくとも2フレーム期間分の長さを有する照明期間ごとに、センサ部から最初に読み出される水平ラインの露光期間の開始に同期して前記複数の照明光を順次出射し、照明期間の最後の1フレーム期間にセンサ部が読み出した画素情報に対応する画像データを所定の処理対象から除外する制御を行う一方、照明期間のその他のフレーム期間にセンサ部が読み出した画素情報に対応する画像データを取得し、所定の処理を施す制御を行うため、単一照明下で撮像した画像データのみを取得することができる。したがって、CMOS型の撮像素子を用いながらも、周期的に切り替わる複数の照明下での画像を略同時にかつ十分な感度を確保して撮像することができる。
図1は、本発明の実施の形態1に係る撮像装置である内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1に係る内視鏡システムが備える内視鏡の先端部の内部構成の概略を説明する断面図である。 図3は、本発明の実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。 図4は、本発明の実施の形態1に係る内視鏡システムが実行可能な画像取得方法の概要を模式的に示す図である。 図5は、本発明の実施の形態1に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。 図6は、本発明の実施の形態1の変形例1-1に係る撮像装置である内視鏡システムの概略構成を示す図である。 図7は、本発明の実施の形態1の変形例1-1に係る撮像装置である内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。 図8は、本発明の実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。 図9は、本発明の実施の形態2に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。 図10は、本発明の実施の形態2の変形例2-1に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。 図11は、本発明の実施の形態3に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。 図12は、本発明の実施の形態3の変形例3-1に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。
 以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。なお、以下の説明で参照する図面は模式的なものであって、同じ物体を異なる図面で示す場合には、寸法や縮尺等が異なる場合もある。
(実施の形態1)
 図1は、本発明の実施の形態1に係る撮像装置である内視鏡システムの概略構成を示す図である。同図に示す内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2が取得した体内画像に処理を施す機能を有するとともに内視鏡システム1全体の動作を統括的に制御する機能を有する制御装置4と、内視鏡2の先端から出射する照明光を発生する光源装置6と、制御装置4が画像処理を施した体内画像を表示する表示装置8と、を備える。
 内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向とは異なる方向に延び、制御装置4および光源装置6と接続する各種ケーブルを内蔵するユニバーサルコード23と、ユニバーサルコード23の先端部に設けられ、内視鏡2と制御装置4および光源装置6との接続をそれぞれ確立するコネクタ部24と、を備える。
 挿入部21は、後述する撮像素子を内蔵した先端部25と、複数の湾曲駒によって構成され湾曲自在な湾曲部26と、湾曲部26の基端側に接続され、可撓性を有する長尺状の可撓管部27とを備える。
 図2は、先端部25の内部構成の概略を説明する断面図である。図2に示すように、先端部25は、グラスファイバ等を用いて構成されて光源装置6が発生した光の導光路をなすライトガイド251と、ライトガイド251の先端に設けられる照明レンズ252と、集光用の光学系253と、光学系253の結像位置に設けられ、光学系253が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子254と、内視鏡2用の処置具を通す処置具チャンネル255と、を有する。
 光学系253は、2つのレンズ253a、253bからなる。なお、光学系253を構成するレンズの種類や数は、図2に示されるものに限られるわけではない。
 図3は、内視鏡システム1の要部の機能構成を示すブロック図である。図3を参照して撮像素子254の構成を説明する。撮像素子254は、光学系253からの光を光電変換して電気信号を出力するセンサ部254aと、センサ部254aが出力した電気信号に対してノイズ除去やA/D変換を行うアナログフロントエンド(AFE)部254bと、アナログフロントエンド部254bが出力したデジタル信号をパラレル/シリアル変換するP/S変換部254cと、センサ部254aの駆動タイミングパルス、ならびにアナログフロントエンド部254bおよびP/S変換部254cにおける各種信号処理用のパルスを発生するタイミングジェネレータ254dと、撮像素子254の動作を制御する撮像制御部254eと、を有する。撮像素子254は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
 センサ部254aは、基板254Sを介してIC回路群254Gと接続される。IC回路群254Gは、アナログフロントエンド部254b、P/S変換部254c、タイミングジェネレータ254d、および撮像制御部254eの機能を有する複数のIC回路を有する。
 センサ部254aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設された受光部254fと、受光部254fの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画素情報として読み出す読み出し部254gとを有する。受光部254fには、画素ごとにRGB個別のカラーフィルタが設けられており、カラー画像の取得を可能にしている。
 アナログフロントエンド部254bは、信号に含まれるノイズ成分を低減するノイズ低減部254hと、ノイズが低減された信号をA/D変換するA/D変換部254iとを有する。ノイズ低減部254hは、例えば相関二重サンプリング(Correleted Double Sampling)法を用いてノイズの低減を行う。なお、ノイズ低減部254hとA/D変換部254iとの間に、自動的に信号のゲインを調整して常に一定の出力レベルを維持するAGC(Auto Gain Control)回路を設けてもよい。
 撮像制御部254eは、制御装置4から受信した設定データにしたがって、先端部25の各種動作を制御する。撮像制御部254eは、CPU(Central Proccessing Unit)等を用いて構成される。
 基板254Sに設けられる電極254Eには、制御装置4との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル256が接続している。複数の信号線には、撮像素子254が出力した画像信号を制御装置4へ伝送する信号線や、制御装置4が出力する制御信号を撮像素子254へ伝送する信号線などが含まれる。
 操作部22は、湾曲部26を上下方向および左右方向に湾曲させる湾曲ノブ28と、体腔内に生検鉗子、レーザプローブ等の処置具を挿入する処置具挿入部29と、制御装置4、光源装置6に加えて、送気手段、送水手段、送ガス手段などの周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ30とを有する。処置具挿入部29から挿入される処置具は、先端部25の処置具チャンネル255を経由して開口部255aから表出する。
 ユニバーサルコード23は、ライトガイド251と、集合ケーブル256とを少なくとも内蔵している。
 コネクタ部24は、制御装置4に接続される電気接点部241と、光源装置6に着脱自在に接続されるライトガイドコネクタ242と、先端部25のノズルに空気を送るための送気口金243とを有する。
 次に、制御装置4の構成を説明する。制御装置4は、S/P変換部41、画像処理部42、明るさ検出部43、調光部44、読出アドレス設定部45、駆動信号生成部46、入力部47、記憶部48、制御部49および基準クロック生成部50を有する。
 S/P変換部41は、先端部25から受信した画像信号(デジタル信号)をシリアル/パラレル変換する。
 画像処理部42は、S/P変換部41から出力されたパラレル形態の画像信号をもとに、表示装置8が表示する体内画像を生成する。画像処理部42は、同時化部421、ホワイトバランス(WB)調整部422、ゲイン調整部423、γ補正部424、D/A変換部425、フォーマット変更部426、サンプル用メモリ427および静止画像用メモリ428を備える。
 同時化部421は、画素情報として入力された画像信号を、画素ごとに設けられた3つのメモリ(図示せず)に入力し、読み出し部254gが読み出した受光部254fの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら3つのメモリの画像信号をRGB画像信号として同時化する。同時化部421は、同時化したRGB画像信号をホワイトバランス調整部422へ順次出力するとともに、一部のRGB画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ427へ出力する。
 ホワイトバランス調整部422は、RGB画像信号のホワイトバランスを調整する。
 ゲイン調整部423は、RGB画像信号のゲイン調整を行う。ゲイン調整部423は、ゲイン調整を行ったRGB信号をγ補正部424へ出力するとともに、一部のRGB信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ428へ出力する。
 γ補正部424は、表示装置8に対応させてRGB画像信号の階調補正(γ補正)を行う。
 D/A変換部425は、γ補正部424が出力した諧調補正後のRGB画像信号をアナログ信号に変換する。
 フォーマット変更部426は、アナログ信号に変換された画像信号を動画用のファイルフォーマットに変更して表示装置8に出力する。このファイルフォーマットとして、AVI形式、MPEG形式などを適用することができる。
 明るさ検出部43は、サンプル用メモリ427が保持するRGB画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部49へ出力する。また、明るさ検出部43は、検出した明るさレベルをもとにゲイン調整値および光照射量を算出し、ゲイン調整値をゲイン調整部423へ出力する一方、光照射量を調光部44へ出力する。
 調光部44は、制御部49の制御のもと、明るさ検出部43が算出した光照射量をもとに光源装置6が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置6へ送信する。
 読出アドレス設定部45は、センサ部254aの受光部における読み出し対象の画素および読み出し順序を設定する機能を有する。すなわち、読出アドレス設定部45は、アナログフロントエンド部254bが読出すセンサ部254aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部45は、設定した読み出し対象の画素のアドレス情報を同時化部421へ出力する。
 駆動信号生成部46は、撮像素子254を駆動するための駆動用のタイミング信号を生成し、集合ケーブル256に含まれる所定の信号線を介してタイミングジェネレータ254dへ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。
 入力部47は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
 記憶部48は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部48は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。
 制御部49は、CPU等を用いて構成され、先端部25および光源装置6を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部49は、撮像制御のための設定データを、集合ケーブル256に含まれる所定の信号線を介して撮像制御部254eへ送信する。ここで、設定データは、撮像素子254の撮像速度(フレームレート)、およびセンサ部254aの任意の画素からの画素情報の読み出し速度を指示する指示情報、ならびにアナログフロントエンド部254bが読み出した画素情報の伝送制御情報などを含む。
 基準クロック生成部50は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。
 次に、光源装置6の構成を説明する。光源装置6は、分光特性が互いに異なる複数種類の照明光を出射可能な装置である。具体的には、光源装置6は、白色光源61と、特殊光光源62と、光源制御部63と、LED(Light Emitting Diode)ドライバ64とを有する。白色光源61および特殊光光源62は、光源部の一部をなす。
 白色光源61は、白色LEDからなり、白色照明光を発生する。
 特殊光光源62は、白色照射光とは波長帯域が異なる特定の波長帯域の光であって狭帯域バンドパスフィルタによって狭帯域化したR、G、Bいずれかの成分の光を特殊光として発生する。特殊光光源62が発生する特殊光としては、例えば血液中のヘモグロビンに吸収されやすくなるように狭帯域化された青色光および緑色光の2種の帯域のNBI(Narrow Band Imaging)照明光や、所定の波長を有する蛍光を発生させるための励起光などを挙げることができる。
 光源制御部63は、調光部44から送信された光源同期信号にしたがって白色光源61または特殊光光源62に供給する電流量を制御する。より具体的には、光源制御部63は、センサ部254aの読み出し対象領域に属する複数の水平ラインのうち、初めに読み出される水平ライン上の複数の画素を露光するための露光期間の開始時点から該水平ライン上の各画素が生成した画素情報の読み出しが完了するまでを1フレーム期間として、少なくとも2フレーム期間分の長さを有する照明期間ごとに、センサ部254aから最初に読み出される水平ラインの露光期間の開始に同期して複数の照明光を順次出射するように光源部を制御する。
 LEDドライバ64は、白色光源61あるいは特殊光光源62に対して光源制御部63の制御のもとで電流を供給することにより、白色光源61または特殊光光源62に光を発生させる。
 白色光源61または特殊光光源62が発生した光は、ライトガイド251を経由して先端部25の先端から外部へ照射される。
 表示装置8は、制御装置4が生成した体内画像を制御装置4から受信して表示する機能を有する。表示装置8は、液晶、有機EL(Electro Luminescence)等の表示ディスプレイを有する。
 図4は、以上の構成を有する内視鏡システム1が実行可能な画像取得方法の概要を模式的に示す図である。撮像素子254は、上述したようにCMOSイメージセンサであり、フォーカルプレーン方式の電子シャッタが採用される。このため、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを1つの水平ラインごとに順次行う。その結果、撮像素子254で最初に読み出す水平ラインと、最後に読み出す水平ラインとでは時間差が生じる。本実施の形態1では、この時間差が1フレームTf分に略等しいものとする。
 図4に示す場合、撮像素子254は、画面上部の水平ラインからスタートして順次下方の水平ラインへと画素の読み出しを行う。また、光源装置6は、異なる種類の照明光を、1レーム期間Tfを周期として切り替える。異なる種類の照明光としては、例えば一方の照明を白色照明とし、他方の照明をNBI照明とすることができる。この場合、センサ部254aにおける1フレーム分の露光期間は、照明強度の切り替えのタイミングをまたぐような期間となる。
 図4に示す露光期間P1は、画面上方の水平ラインでは、第1照明期間L1において照射される第1照明下での露光が支配的である一方、画面下方の水平ラインでは、第2照明期間L2において照射される第2照明下での露光が支配的である。したがって、露光期間P1に受光部254fが受光して蓄積された電荷の転送期間T1に読み出し部254gが読み出した画素情報に基づく画像データ101は、上方と下方で照射していた照明の種類が異なり、2つの照明下で撮像したものが混じった画像データとなる。
 これに対し、図4に示す露光期間P2は、画面上方の水平ラインでは、第2照明下での露光が支配的である一方、画面下方の水平ラインでは、第1照明下での露光が支配的である。したがって、露光期間P2に受光部254fが受光して蓄積された電荷の転送期間T2に読み出し部254gが読み出した画素情報に基づく画像データ102は、画像データ101と同様、2つの照明下で撮像したものが混じった画像データとなる。
 本実施の形態1では、CMOS型の撮像素子254を用いて複数の照明を切り替えながら撮像を行う場合であっても、異なる2つの照明下で撮像したものが混じらない画像データを生成する。以下、この点について詳細に説明する。
 図5は、内視鏡システム1に特徴的な画像取得方法の概要を模式的に示す図である。図5に示す場合、内視鏡システム1の制御装置4は、2フレーム期間ごとに照明を切り替え、2フレーム目の照明のみを画像データとして取得する。より具体的には、制御装置4の制御部49は、2フレーム期間のうち2フレーム目の期間にセンサ部254aが読み出した画素情報に対応する画像データを取得する一方、2フレーム期間のうち1フレーム目の期間にセンサ部254aが読み出した画素情報に対応する画像データを取得しない制御を行う。なお、制御部49は、1フレーム目の期間にセンサ部254aが読み出した画素情報に対応する画像データを取得しない制御を行う代わりに、センサ部254aが読み出した全ての画素情報に対応する画像データを取得した上で、1フレーム目の期間の画素情報に対応する画像データを画像処理部42の処理対象から除外する制御を行ってもよい。
 図5において、第1照明期間L11に含まれる露光期間P11は、第1照明下における露光のみを含む。したがって、制御装置4は受光部254fが、露光期間P11に受光し、その露光期間P11で蓄積した電荷の転送期間T11に読み出し部254gが読み出した画素情報に基づく画像データ201を取得する。これに対し、制御装置4は、第1照明期間L11と第2照明期間L12をまたぐ露光期間P12に受光部254fが受光し、その露光期間P12で蓄積した電荷の転送期間T12で読み出し部254gが読み出した画素情報に基づく画像データ202は取得しない。
 続いて、制御装置4は、第2照明期間L21に含まれる露光期間P13に受光部254fが受光し、その露光期間P13で蓄積した電荷の転送期間T13に読み出し部254gが読み出した画素情報に基づく画像データ203を取得する。これに対し、制御装置4は、第2照明期間L21および第1照明期間L12をまたぐ露光期間P14に受光部254fが受光し、その露光期間P14で蓄積した電荷の転送期間T14に読み出し部254gが読み出した画素情報に基づく画像データ204は取得しない。
 この後、制御装置4は、第1照明期間L12に含まれる露光期間P15に受光部254fが受光し、その露光期間P15で蓄積した電荷の転送期間T15に読み出し部254gが読み出した画素情報に対応する画像データ205を取得する。
 このようにして、制御装置4は、読み出し部254gが読み出した画素情報のうち、単一の照明下で露光された画素情報に基づく画像データのみを取得する。これにより、上述したフォーカルプレーン方式の電子シャッタの問題点は解消されることとなる。
 以上説明した本発明の実施の形態1によれば、センサ部が1画面分の前記画素情報を読み出す期間である1フレーム期間と単位として少なくとも2フレーム期間分の長さを有し、複数の照明光の各々に応じて定まる照明期間ごとに各照明光を順次出射し、照明期間の最後の1フレーム期間にセンサ部が読み出した画素情報に対応する画像データを取得する一方、照明期間の最初の1フレーム期間にセンサ部が読み出した画素情報に対応する画像データを取得しないため、単一照明下で撮像した画像データのみを取得することができる。したがって、CMOS型の撮像素子を用いながらも、周期的に切り替わる複数の照明下での画像を略同時にかつ十分な感度を確保して撮像することができる。
 また、本実施の形態1によれば、光源装置の照明光の切り替えに応じて、制御装置が画像を取得するか否かを選択するだけでよいため、内視鏡先端部における画素情報の読み出し方ならびに制御装置における画像受信設定および動作クロック信号の出力タイミング等の基本的な動作を変更する必要がない。したがって、照明光を切り替える場合であってもシームレスな動作を実現することができる。
(変形例1-1)
 図6は、本実施の形態1の変形例1-1に係る内視鏡システムの要部の機能構成を示すブロック図である。同図に示す内視鏡システム11は、内視鏡2-2と、制御装置4と、光源装置7と、表示装置8とを備える。
 内視鏡2-2は、撮像素子254-2の受光部254-2fにカラーフィルタが設けられていない。この点を除く内視鏡2-2の構成は、上述した内視鏡2の構成と同様である。
 光源装置7は、赤色LEDからなる赤色光源71Rと、緑色LEDからなる緑色光源71Gと、青色LEDからなる青色光源71Bと、特殊光光源72と、光源制御部63と、LEDドライバ64と、を有する。光源装置7は、赤(R)、緑(G)、青(B)の三色の照明光を用いた面順次方式の照明光を照射する機能を有する。ここで、赤色光はおよそ610~780nmの波長帯域の光であり、緑色光はおよそ500~570nmの波長帯域の光であり、青色光はおよそ400~500nmの波長帯域の光である。光源装置7が白色光を照射する場合には、赤色光源71R、緑色光源71Gおよび青色光源71Bを全て点灯して白色光を形成する。なお、面順次方式の光源装置を、光源装置7の白色光源の前方にR、G、Bのカラーフィルタを設けた円盤状の回転フィルタを回転させることによって照明光を切り替える構成とすることも可能である。
 図7は、内視鏡システム11に特徴的な画像取得方法の概要を模式的に示す図である。図7に示す場合、光源装置7は、赤(第1照明)、緑(第2照明)、青(第3照明)の順に2フレーム期間ずつ照射する。制御装置4は、各照明期間における2フレーム目の画素情報に基づく画像データを取得する。具体的には、制御装置4は、第1照明期間L31の1フレーム目から2フレーム目にかけての露光期間P21に受光部254-2fが受光し、転送期間T21で読み出し部254gが読み出した画素情報に基づく画像データ301を取得する。また、制御装置4は、第2照明期間L32の1フレームから2フレームにかけての露光期間P23に受光部254-2fが受光し、その露光期間P23で蓄積した電荷の転送期間T23に読み出し部254gが読み出した画素情報に基づく画像データ303を取得する。さらに、制御装置4は、第3照明期間L33の1フレーム目から2フレーム目にかけての露光期間P25に受光部254-2fが受光し、その露光期間P25で蓄積した電荷の転送期間T25に読み出し部254gが読み出した画素情報に基づく画像データ305を取得する。
 これに対し、制御装置4は、異なる照明期間(第1照明期間L31および第2照明期間L32)をまたぐ露光期間P22に受光部254-2fが受光し、その露光期間P22で蓄積した電荷の転送期間T22に読み出し部254gが読み出した画素情報に基づく画像データ302は取得しない。また、制御装置4は、異なる照明期間(第2照明期間L32および第3照明期間L33)をまたぐ露光期間P24に受光部254-2fが受光し、その露光期間P24で蓄積した電荷の転送期間T24に読み出し部254gが読み出した画素情報に基づく画像データ304も取得しない。
 以上説明した本実施の形態1の変形例によれば、面順次方式の照明光にも対応可能であり、実施の形態1と同様の効果を奏する内視鏡システムを提供することができる。
 このように、本実施の形態1は、複数種類の照明光を2フレームごとに切り替える場合にも適用することが可能である。
(実施の形態2)
 図8は、本発明の実施の形態2に係る撮像装置である内視鏡システムの要部の機能構成を示すブロック図である。同図に示す内視鏡システム12は、内視鏡2と、制御装置13と、光源装置6と、表示装置8と、を備える。
 制御装置13は、上述した内視鏡システム1の制御装置4と画像処理部の構成が異なる。制御装置13が有する画像処理部131は、制御装置4の画像処理部42の構成に加えて、それぞれ単一照明下で撮像された2つの画像データであって時間的に前後して制御装置13が取得する2つの画像データの間を補間する補間画像データを生成する補間画像生成部132を有する。
 図9は、内視鏡システム12に特徴的な画像取得方法の概要を模式的に示す図である。図9において、照明期間と露光期間および伝送期間との関係は、図5と同様である。本実施の形態2では、制御装置13が、単一照明下で撮像された画像データ201、203を取得するとともに、画像データ201、203の間を補間する補間画像データ211を補間画像生成部132によって生成している。また、補間画像生成部132は、画像データ203を生成した後に、その後に取得する画像データ205との間を補間する補間画像データ212を生成している。この結果、制御装置13は、内視鏡2から取得した画像データ201、203、205・・・と、補間画像生成部132が生成した補間画像データ211、212、・・・とを交互に表示装置8へ出力する。
 補間画像生成部132における補間画像データの生成方法をより詳細に説明する。補間画像生成部132は、読み出し部254gが連続して読み出した3つの画像データ200、201、202を用いて補間画像データを生成する。この際、連続する3つの画像データのうち中間フレームの画像データ201は、単一照明(第1照明)下で受光して読み出された画素情報に対応する画像データである。補間画像生成部132は、サンプル用メモリ427から画像データ200、201を読み出すとともに、同時化部421から画像データ202を読み出し、互いに対応する画素の画素値を以下の式(1)にしたがって演算することにより、補間画像データ211を生成する。
(補間画像データ211)
 =(画像データ200)+(画像データ202)-(画像データ201)・・・(1)
 続いて、補間画像生成部132は、サンプル用メモリ427から画像データ202、203を読み出すとともに、同時化部421から画像データ204を読み出し、互いに対応する画素の画素値を以下の式(2)にしたがって演算することにより、補間画像データ212を生成する。
(補間画像データ212)
 =(画像データ202)+(画像データ204)-(画像データ203)・・・(2)
ここでも、3つの画像データの中間フレームの画像データ203は、単一照明(第2照明)下で受光して読み出された画素情報に対応している。
 以後、補間画像生成部132は、上記同様の処理を繰り返すことにより、補間画像を順次生成する。
 以上説明した本発明の実施の形態2によれば、上記実施の形態1と同様の効果を得ることができる。加えて、本実施の形態2によれば、複数照明が混じったフレームの画像データを用いて補間画像データを生成するため、撮像した全フレームを利用することで、明るさや動画の連続性を確保することができ、よりスムーズな画像を得ることができる。
(変形例2-1)
 図10は、本実施の形態2の変形例2-1に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。本変形例2-1では、交互に照明する2種類の照明光の一方を長時間照射した状態で受光部254fが露光することにより、取得する画像のフレームレートを不均一にすることが可能である。このような状況は、例えば動画撮影中に静止画を撮影する場合や、複数のスイッチ30のいずれかからの入力により照射時間を変更する場合に起こりうる。
 図10に示す場合、補間画像生成部132は、第1照明期間L41における単一照明下での露光期間P31に受光部254fが受光し、その露光期間P31で蓄積した電荷の転送期間T31に読み出し部254gが読み出した画素情報に基づく画像データ402と、第1照明期間L43における単一照明下での露光期間P34に受光部254fが受光し、その露光期間P34で蓄積した電荷の転送期間T34に読み出し部254gが読み出した画素情報に基づく画像データ405との間に2つの補間画像データを生成する。
 補間画像生成部132が生成する2つの補間画像データのうち、画像データ402の後に生成する補間画像データ411の各画素の画素値は、画像データ402の前後の画像データ401、403を用いることにより、次式(3)によって求められる。
(補間画像データ411)
 =(画像データ401)+(画像データ403)-(画像データ402)・・・(3)
 これに対し、補間画像生成部132が補間画像データ411の後に生成する補間画像データ412は、第2照明期間L42の唯一の転送期間T32で読み出し部254gが読み出した画素情報に基づく画像データ403と、その後の第1照明期間L43の最初の転送期間T33(長時間の露光期間P33に対応)で読み出し部254gが読み出した画素情報に基づく画像データ404および次の転送期間T34(単一照明下の露光期間P34に対応)で読み出した画素情報に基づく画像データ405を用いることにより、次式(4)で求められる。
(補間画像データ412)
=(画像データ403)+(画像データ404)-(画像データ405)・・・(4)
 なお、図10において、表示装置8へ出力される画像データ402、補間画像データ411、412、画像データ405は、各照明期間および読み出しのタイミングとは無関係に配置されている。すなわち、補間画像データ412および画像データ405は、転送期間T34で画素情報を読み出した後に生成されることはいうまでもない。
 以上説明した本実施の形態2の変形例2-1によれば、一方の照明下で長時間露光してフレームレートを不均一にした場合であっても補間画像を生成することで、実施の形態2と同様の効果を得ることができる。
 本変形例2-1は、たとえば通常の動画を撮影している間に静止画を取得し、この静止画の露光時間が変わるような場合などに有効である。
(実施の形態3)
 本発明の実施の形態3は、照明を切り替えることによって互いの感度が異なる撮像を行う場合に対応可能な画像取得方法を与えるものである。本実施の形態3に係る内視鏡システムの構成は、実施の形態1で説明した内視鏡システム1の構成と同様である。
 図11は、本実施の形態3に係る内視鏡システム1に特徴的な画像取得方法の概要を模式的に示す図である。図11に示す場合、第1照明が特殊光である一方、第2照明が白色光照明である。この場合、第1照明の方が高感度での撮像が必要である。図11では、第1照明期間L51、L53の間に2フレーム分だけ第2照明期間L52に切り替えられている。このように、特殊光撮影を行っている期間の途中で間欠的に白色光撮影に切り替える状況は、白色光撮影によって観察部位の構造情報を取得し、病変部の場所を特定する場合などに行われる。
 照明光の切り替えでは、撮像時のゲイン設定や動作モードの設定を変更するため、切り替えに少なくとも1フレーム期間を有する。そこで、本実施の形態3では、照明を切り替えた後の1フレームを切り替え用の期間とし、その後に続くフレームで読み出した画素情報を制御装置4が取得するようにする。
 以下、図11を参照して、内視鏡システム1の処理をより具体的に説明する。光源装置6が特殊光光源62による照射から白色光源61による照射への切り替えを行った場合、制御装置4は、その最初の転送期間T42(第1照明期間L51と第2照明期間L52とをまたぐ露光期間P42に対応)に読み出し部254gが読み出した画素情報に基づく画像データ503を取得しない。同様に、光源装置6が白色光源61による照射から特殊光光源62による照射への切り替えを行った場合、制御装置4は、その最初の転送期間T44(第2照明期間L52と第1照明期間L53とをまたぐ露光期間P44に対応)に読み出し部254gが読み出した画素情報に基づく画像データ505を取得しない。
 以上説明した本発明の実施の形態3によれば、上述した実施の形態1と同様の効果を得ることができる。
 なお、本実施の形態3において、切り替え処理期間に対応するフレームを直前の画像データ(図11の画像データ502、504)によって補間するようにしてもよい。これにより、表示装置8が表示する際に表示画面に生じるフリッカを低減することが可能となる。
(変形例3-1)
 本実施の形態3の変形例3-1は、内視鏡2の複数のスイッチ30の1つとして設けられるフリーズスイッチによって画像をフリーズさせるフリーズ信号が入力された場合に、照明光の切り替え動作を実行し、スイッチ入力前後の特殊光と白色光の取得画像を保存することを特徴とする。
 図12は、本変形例3-1に係る内視鏡システムに特徴的な画像取得方法の概要を模式的に示す図である。図12において、画像取得方法自体は上記実施の形態3と同じである。本変形例3-1では、フリーズスイッチがオンされると、その時点(図11の(スイッチオン)の時点)で露光を行っている受光部254fの水平ラインのいずれかが露光を終了した時点で光源装置6が光源を切り替えて第2照明期間L52へ移行する。
 第2照明期間L52へ移行してから所定期間(図11の場合には2フレーム期間)経過した後、光源装置6は再び照射光源を切り替えて第1照明期間L53へ移行する。制御装置4は、最初の照明切り替え直前の転送期間T41に読み出し部254gが読み出した画素情報に基づく画像データ502と、第2照明期間L52に含まれる単一照明下の露光期間P43に対応する転送期間T43に読み出し部254gが読み出した画素情報に基づく画像データ504とを一括して記憶部48に記録し、保存する。
 以上説明した変形例3-1によれば、フリーズ処理を行った場合でも、撮像タイミングを変更することなく、2つの照明下でそれぞれ撮像した2つの画像データを略同時に取得して保存することが可能となる。
(その他の実施の形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は、上記実施の形態1~3によってのみ限定されるべきものではない。例えば、本発明は、異なる種類の照明を切り替える場合のみならず、同じ種類の照明の強度を切り替える場合にも適用することが可能である。
 また、本発明において、読み出し部が、制御装置で取得対象となる画素情報のみを読み出すようにしてもよい。
 また、本発明において、読み出し部が画素情報を読み出す際の読み出し順序は、画面上方の水平ラインから開始する場合に限られるわけではなく、適宜変更してもよい。
 また、本発明において、同一の照明光を照射し続ける場合には、制御装置が、センサ部によって読み出された全ての画素情報に基づく画像データを取得するようにしてもよい。
 このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲に記載した技術的思想の範囲内で種々の設計変更等を行うことが可能である。
 1、11、12 内視鏡システム
 2、2-2 内視鏡
 4、13 制御装置
 6、7 光源装置
 8 表示装置
 21 挿入部
 22 操作部
 25、25-2 先端部
 26 湾曲部
 27 可撓管部
 30 スイッチ
 41 S/P変換部
 42、131 画像処理部
 43 明るさ検出部
 44 調光部
 45 読出アドレス設定部
 46 駆動信号生成部
 47 入力部
 48 記憶部
 49 制御部
 50 基準クロック生成部
 61 白色光源
 62、72 特殊光光源
 63 光源制御部
 64 LEDドライバ
 71B 青色光源
 71G 緑色光源
 71R 赤色光源
 101~103、201~205、301~305、401~405、501~506 画像データ
 211、212、411、412 補間画像データ
 251 ライトガイド
 252 照明レンズ
 253 光学系
 254、254-2 撮像素子
 254a センサ部
 254b アナログフロントエンド部
 254c P/S変換部
 254e 撮像制御部
 254f、254-2f 受光部
 254g 読み出し部
 256 集合ケーブル
 L1、L11、L12、L31、L41、L43、L51、L53 第1照明期間
 L2、L21、L32、L42、L52 第2照明期間
 P1~P3、P10~P15、P21~P25、P31~P34、P41~P45 露光期間
 T1~T3、T10~T15、T21~T25、T31~T34、T41~T45 転送期間

Claims (7)

  1.  複数の照明光を出射可能な光源部と、
     各々が光を受光して光電変換を行うことによって電気信号を生成する複数の画素が二次面上に配置され、前記複数の画素のうち読み出し対象領域として任意に設定された画素が生成した電気信号を画素情報として複数の水平ラインをラインごとに順次読み出し可能なセンサ部と、
     前記センサ部の前記読み出し対象領域に属する前記複数の水平ラインのうち、初めに読み出される水平ライン上の複数の前記画素を露光するための露光期間の開始時点から該水平ライン上の各画素が生成した前記画素情報の読み出しが完了するまでを1フレーム期間として、少なくとも2フレーム期間分の長さを有する照明期間ごとに、前記センサ部から最初に読み出される前記水平ラインの前記露光期間の開始に同期して前記複数の照明光を順次出射するように前記光源部を制御する光源制御部と、
     前記照明期間の最初の1フレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを所定の処理対象から除外する制御を行う一方、前記照明期間のその他のフレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを取得し、前記所定の処理を施す制御を行う制御部と、
     を備えたことを特徴とする撮像装置。
  2.  前記制御部は、
     前記照明期間の最初の1フレーム期間に前記センサ部が読み出した前記画素情報に対応する画像データを取得しない制御を行うことを特徴とする請求項1に記載の撮像装置。
  3.  前記照明光が切り替わるタイミングを含む期間に前記センサ部が受光した光に基づく画素情報を用いることにより、前記制御部が取得する画像データのうち時間的に前後して取得した2つの画像データを補間する補間画像データを生成する補間画像生成部をさらに備えたことを特徴とする請求項1または2に記載の撮像装置。
  4.  前記複数の照明光の各々に応じて定まる照明期間の長さは全て2フレーム期間分であり、
     前記補間画像生成部は、
     前記照明期間の最後のフレーム期間に取得した画像データと、該画像データを取得する前後のフレーム期間に前記センサ部がそれぞれ読み出した2画面分の前記画素情報とを用いることによって補間画像データを生成することを特徴とする請求項3に記載の撮像装置。
  5.  前記複数の照明光の各々に応じて定まる照明期間の長さは互いに等しいことを特徴とする請求項1~3のいずれか一項に記載の撮像装置。
  6.  前記光源部は、
     前記照明光として赤色光、緑色光および青色光を出射可能であり、
     前記光源制御部は、
     前記光源部に対し、前記赤色光、前記緑色光および前記青色光を順次出射させることを特徴とする請求項1または2に記載の撮像装置。
  7.  前記光源部は、
     前記照明光として白色光および該白色光と異なる分光特性を有する光を出射可能であり、
     前記光源制御部は、
     前記光源部に対し、特定の波長帯域の光である特殊光を連続して出射させる途中に前記白色光を間欠的に出射させることを特徴とする請求項1~5のいずれか一項に記載の撮像装置。
PCT/JP2012/083649 2011-12-27 2012-12-26 撮像装置 WO2013099942A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013519890A JP5427316B2 (ja) 2011-12-27 2012-12-26 撮像装置
CN201280036864.8A CN103732119B (zh) 2011-12-27 2012-12-26 摄像装置
EP12861066.4A EP2719320A4 (en) 2011-12-27 2012-12-26 IMAGING DEVICE
US13/873,305 US8866893B2 (en) 2011-12-27 2013-04-30 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011285333 2011-12-27
JP2011-285333 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/873,305 Continuation US8866893B2 (en) 2011-12-27 2013-04-30 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2013099942A1 true WO2013099942A1 (ja) 2013-07-04

Family

ID=48697424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083649 WO2013099942A1 (ja) 2011-12-27 2012-12-26 撮像装置

Country Status (5)

Country Link
US (1) US8866893B2 (ja)
EP (1) EP2719320A4 (ja)
JP (1) JP5427316B2 (ja)
CN (1) CN103732119B (ja)
WO (1) WO2013099942A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194415A1 (ja) * 2014-06-18 2015-12-23 オリンパス株式会社 処理装置、撮像装置および内視鏡システム
WO2017060993A1 (ja) * 2015-10-07 2017-04-13 日立マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
JP2020068965A (ja) * 2018-10-30 2020-05-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JPWO2019039354A1 (ja) * 2017-08-23 2020-07-16 富士フイルム株式会社 光源装置及び内視鏡システム
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5669997B1 (ja) * 2013-08-01 2015-02-18 オリンパスメディカルシステムズ株式会社 撮像装置
CN105377111B (zh) * 2013-08-01 2017-08-04 奥林巴斯株式会社 内窥镜系统
CN106031158A (zh) 2014-07-07 2016-10-12 奥林巴斯株式会社 摄像装置
KR101571719B1 (ko) * 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
JP6355527B2 (ja) * 2014-10-31 2018-07-11 富士フイルム株式会社 内視鏡システム及びその作動方法
CN107072516B (zh) * 2015-01-16 2018-11-16 奥林巴斯株式会社 内窥镜系统
CN108259702B (zh) * 2016-12-28 2022-03-11 手持产品公司 一种用于同步多传感器成像器中的照明定时的方法和系统
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
KR102171940B1 (ko) * 2018-08-24 2020-11-02 인더스마트 주식회사 내시경 장치
JP2020151402A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び内視鏡システム
WO2021106452A1 (ja) * 2019-11-27 2021-06-03 富士フイルム株式会社 内視鏡システム及びその作動方法
US11528434B1 (en) * 2021-02-09 2022-12-13 Verily Life Sciences Llc Pulsed light imaging using rolling shutter image sensors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116784A (ja) * 2001-10-11 2003-04-22 Pentax Corp 電子内視鏡システム
JP2004057420A (ja) * 2002-07-26 2004-02-26 Pentax Corp 内視鏡を用いた補助診断システム
JP2006280465A (ja) 2005-03-31 2006-10-19 Olympus Medical Systems Corp 光源装置及び撮像装置
JP2010068992A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 電子内視鏡システム
JP2011206336A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8593513B2 (en) * 2008-04-02 2013-11-26 Fujifilm Corporation Image capturing apparatus having first and second light reception sections, image capturing method, and computer-readable medium
JP2011211553A (ja) 2010-03-30 2011-10-20 Fujifilm Corp Cmos撮像素子及び該cmos撮像素子を備えた内視鏡装置
JP5570273B2 (ja) 2010-03-30 2014-08-13 富士フイルム株式会社 内視鏡システム
JP2011235021A (ja) 2010-05-13 2011-11-24 Hoya Corp 電子内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116784A (ja) * 2001-10-11 2003-04-22 Pentax Corp 電子内視鏡システム
JP2004057420A (ja) * 2002-07-26 2004-02-26 Pentax Corp 内視鏡を用いた補助診断システム
JP2006280465A (ja) 2005-03-31 2006-10-19 Olympus Medical Systems Corp 光源装置及び撮像装置
JP2010068992A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 電子内視鏡システム
JP2011206336A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2719320A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194415A1 (ja) * 2014-06-18 2015-12-23 オリンパス株式会社 処理装置、撮像装置および内視鏡システム
JP5948512B2 (ja) * 2014-06-18 2016-07-06 オリンパス株式会社 処理装置、撮像装置および内視鏡システム
US10051193B2 (en) 2014-06-18 2018-08-14 Olympus Corporation Processing device, imaging device, and endoscope system
WO2017060993A1 (ja) * 2015-10-07 2017-04-13 日立マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
JPWO2017060993A1 (ja) * 2015-10-07 2018-07-05 マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
US10459577B2 (en) 2015-10-07 2019-10-29 Maxell, Ltd. Video display device and manipulation detection method used therefor
JPWO2019039354A1 (ja) * 2017-08-23 2020-07-16 富士フイルム株式会社 光源装置及び内視鏡システム
JP2020068965A (ja) * 2018-10-30 2020-05-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JP7277108B2 (ja) 2018-10-30 2023-05-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、および医療用観察システムの作動方法
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JP5427316B2 (ja) 2014-02-26
CN103732119A (zh) 2014-04-16
EP2719320A4 (en) 2015-07-01
US20130300849A1 (en) 2013-11-14
US8866893B2 (en) 2014-10-21
EP2719320A1 (en) 2014-04-16
JPWO2013099942A1 (ja) 2015-05-11
CN103732119B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
JP5427316B2 (ja) 撮像装置
JP5452776B2 (ja) 撮像装置
JP5259882B2 (ja) 撮像装置
US8823789B2 (en) Imaging apparatus
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
JPWO2019123796A1 (ja) 内視鏡システム、内視鏡システムの制御方法
WO2012033200A1 (ja) 撮像装置
JP6228833B2 (ja) 撮像システム、及び内視鏡装置
US8878921B2 (en) Imaging system
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
JP2013000176A (ja) 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法
JP5775986B2 (ja) 内視鏡システム
JP2014147667A (ja) 内視鏡装置及びその作動方法
JPWO2013121616A1 (ja) 内視鏡装置
JP2007029746A (ja) 内視鏡装置
JP6137892B2 (ja) 撮像システム
JPH11305144A (ja) 内視鏡装置
WO2019221306A1 (ja) 内視鏡システム
JP2010124921A (ja) 画像取得方法および装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013519890

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861066

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012861066

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE