WO2015170515A1 - 固体撮像素子、内視鏡および内視鏡システム - Google Patents
固体撮像素子、内視鏡および内視鏡システム Download PDFInfo
- Publication number
- WO2015170515A1 WO2015170515A1 PCT/JP2015/058110 JP2015058110W WO2015170515A1 WO 2015170515 A1 WO2015170515 A1 WO 2015170515A1 JP 2015058110 W JP2015058110 W JP 2015058110W WO 2015170515 A1 WO2015170515 A1 WO 2015170515A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- light
- filters
- filter
- wavelength band
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to a solid-state imaging device that photoelectrically converts light to generate an imaging signal, an endoscope that acquires an imaging signal generated by the solid-state imaging device, and an endoscope system.
- endoscopes have been widely used for various examinations in the medical field and the industrial field.
- medical endoscopes are inserted into the body cavity of a subject such as a patient by inserting a flexible insertion portion having an elongated shape provided with an imaging element having a plurality of pixels at the tip, Since an in-vivo image in a body cavity can be acquired without incising the subject, the burden on the subject is small, and it is becoming popular.
- a narrow-band light imaging (NBI) method using illumination light composed of two narrow-band lights (narrow-band illumination light) is widely known.
- the narrow-band light observation method can obtain an image that highlights capillaries and mucous membrane fine patterns that are present on the mucous membrane surface layer (biological surface layer) of the living body. According to such a narrow-band light observation method, it is possible to more accurately find a lesion in the surface of the mucous membrane of a living body.
- a filter array generally referred to as a Bayer array is provided on the light receiving surface of the solid-state image sensor in order to obtain a captured image by a single-plate solid-state image sensor.
- a color filter arranged for each pixel is provided as one unit (see, for example, Patent Document 1).
- each pixel receives light in the wavelength band that has passed through the filter, and generates an electrical signal of a color component corresponding to the light in that wavelength band. For this reason, in the process of generating a color image, an interpolation process for interpolating signal values of missing color components without passing through a filter in each pixel is performed.
- Patent Document 2 discloses an arrangement of color filters for performing observation more suitable for the narrow-band light observation method. According to Patent Document 2, by replacing one of the two filters that transmit light in the green wavelength band in the Bayer array with a filter that transmits light in the blue wavelength band, a narrowband light observation method is used. The resulting image can be made clear.
- Patent Document 2 when both the white illumination light observation method and the narrow-band light observation method are attempted to be compatible using the same color filter, there are few filters that transmit light in the green wavelength band.
- a green component signal used as a luminance component at the time of interpolation processing cannot be sufficiently obtained, and a clear image cannot be obtained in the white illumination light observation method as compared with the narrow band observation method.
- the present invention has been made in view of the above, and is a solid-state imaging device, an endoscope, and an endoscope system capable of obtaining a clear image in both the white illumination light observation method and the narrow-band light observation method
- the purpose is to provide.
- the solid-state imaging device includes a light receiving unit in which a plurality of photoelectric conversion elements that accumulate charges according to the amount of received light are arranged in a grid pattern, A readout unit that reads an imaging signal based on charges accumulated in the light receiving unit, and a plurality of filters that are provided on the light receiving surface of the light receiving unit and each transmit light in a wavelength band that is individually set A color filter arranged according to the arrangement of the color filter, wherein the color filter is a red filter that transmits light in a red wavelength band, a green filter that transmits light in a green wavelength band, and a color filter in a blue wavelength band.
- the readout unit includes two filters that transmit light in the wavelength band of the same color adjacent in the row direction, and the readout unit receives an instruction from the outside. Accordingly, the charge stored in the photoelectric conversion elements in the odd or even rows is read out.
- the readout unit includes two filters that transmit light in the wavelength band of the same color adjacent to each other in the column direction, and the readout unit receives an instruction from the outside. Accordingly, charges stored in the photoelectric conversion elements in the odd-numbered or even-numbered columns are read out.
- the solid-state imaging device is characterized in that, in the above invention, the filter units have the same filter arrangement.
- the endoscope according to the present invention is characterized in that the solid-state imaging device according to the present invention is provided at the distal end of the insertion portion.
- an endoscope system includes an endoscope including the solid-state imaging device according to the above-described invention at a distal end of an insertion portion, and white illumination light including light in red, green, and blue wavelength bands, or An illumination unit that emits narrow-band illumination light that includes light of a narrow band included in each of the blue and green wavelength bands, and the endoscope is connected to the imaging signal obtained from the endoscope
- An image processing unit that generates an image signal for displaying an image, and the filter unit includes two rows and two four filters corresponding to the two readout units adjacent in a direction orthogonal to the one direction.
- the image processing unit is divided into basic units arranged in a row, and the image processing unit has a single color component for each color component based on the basic unit based on a signal value of a photoelectric conversion element corresponding to the readout unit.
- Image information It generates, and generates an image signal for image display on the basis of the image information thus generated.
- the readout unit includes two filters that transmit light in the wavelength band of the same color adjacent in the row direction, and the readout unit includes the illumination unit.
- the charges stored in the odd-numbered or even-numbered photoelectric conversion elements are read according to the emitted illumination light, and the image processing unit stores the odd-numbered or even-numbered photoelectric conversion elements read by the reading unit.
- the image information is generated using an imaging signal based on the charge to be generated.
- the readout unit includes two filters that transmit light in the wavelength band of the same color adjacent in the column direction, and the readout unit includes the illumination unit.
- the charges stored in the odd-numbered or even-numbered photoelectric conversion elements are read according to the emitted illumination light, and the image processing unit stores the odd-numbered or even-numbered photoelectric conversion elements read by the reading unit.
- the image information is generated using an imaging signal based on the charge to be generated.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is a schematic diagram illustrating the configuration of the sensor unit according to the first embodiment of the present invention.
- FIG. 4 is a schematic diagram illustrating an example of the configuration of the color filter according to the first embodiment of the present invention.
- FIG. 5 is a flowchart showing signal processing performed by the endoscope system according to the first embodiment of the present invention.
- FIG. 6 is a diagram for explaining a color component acquisition mode in the sensor unit according to the first embodiment of the present invention, and is a diagram for explaining acquisition of a red component from an R pixel.
- FIG. 7 is a diagram for explaining a color component acquisition mode in the sensor unit according to the first embodiment of the present invention, and is a diagram for explaining acquisition of a green component from a G pixel.
- FIG. 8 is a diagram for explaining a color component acquisition mode in the sensor unit according to the first embodiment of the present invention, and is a diagram for explaining acquisition of a blue component from a B pixel.
- FIG. 9 is a diagram for explaining extraction processing in the extraction unit according to the first embodiment of the present invention, and is a diagram for explaining extraction regions.
- FIG. 10 is a diagram for explaining the extraction process in the extraction unit according to the first embodiment of the present invention, and is a diagram illustrating an extracted image for the red component.
- FIG. 11 is a diagram for explaining the extraction process in the extraction unit according to the first embodiment of the present invention, and is a diagram showing an extracted image for the green component.
- FIG. 12 is a diagram for explaining extraction processing in the extraction unit according to the first embodiment of the present invention, and is a diagram illustrating an extracted image for a blue component.
- FIG. 13 is a schematic diagram illustrating an example of a configuration of a color filter according to a modification of the first embodiment of the present invention.
- FIG. 14 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment of the present invention.
- FIG. 15 is a schematic diagram illustrating an example of a configuration of a color filter according to the second embodiment of the present invention.
- FIG. 16 is a flowchart illustrating signal processing performed by the endoscope system according to the second embodiment of the present invention.
- FIG. 17 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment of the present invention, and is a diagram for explaining readout of pixels in odd rows.
- FIG. 18 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment of the present invention, and is a diagram showing an extracted image for the red component.
- FIG. 19 is a diagram for explaining extraction processing in the extraction unit according to the second embodiment of the present invention, and is a diagram illustrating an extracted image for the green component.
- FIG. 17 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment of the present invention, and is a diagram for explaining readout of pixels in odd rows.
- FIG. 18 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment of the present invention, and is a diagram showing an extracted image for the red component.
- FIG. 19 is
- FIG. 20 is a diagram for explaining extraction processing in the extraction unit according to the second embodiment of the present invention, and is a diagram illustrating an extracted image for a blue component.
- FIG. 21 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment of the present invention, and is a diagram for explaining readout of pixels in even rows.
- FIG. 22 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment of the present invention, and is a diagram illustrating an extracted image for the green component.
- FIG. 23 is a diagram for explaining extraction processing in the extraction unit according to the second embodiment of the present invention, and is a diagram illustrating an extracted image for a blue component.
- FIG. 21 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment of the present invention, and is a diagram for explaining readout of pixels in even rows.
- FIG. 22 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment of the present invention, and is a diagram illustrating
- FIG. 24 is a schematic diagram illustrating an example of a configuration of a color filter according to the first modification of the second embodiment of the present invention.
- FIG. 25 is a schematic diagram illustrating an example of a configuration of a color filter according to the second modification of the second embodiment of the present invention.
- FIG. 26 is a schematic diagram illustrating an example of a configuration of a color filter according to the third modification of the second embodiment of the present invention.
- FIG. 27 is a schematic diagram illustrating an example of a configuration of a color filter according to the third embodiment of the present invention.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment.
- An endoscope system 1 shown in FIG. 1 and FIG. 2 is emitted from an endoscope 2 that acquires an in-vivo image of a subject by inserting a tip portion into the body cavity of the subject, and from the tip of the endoscope 2.
- a light source device 3 that generates illumination light
- a processing device 4 that performs predetermined image processing on the in-vivo image acquired by the endoscope 2, and comprehensively controls the operation of the entire endoscope system 1, and the processing device 4 includes a display device 5 that displays an in-vivo image subjected to image processing.
- the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22.
- a universal cord 23 that extends in a direction different from the direction in which 21 extends, is detachable from the light source device 3 and the processing device 4, and incorporates various cables that are electrically connected to the light source device 3 and the processing device 4, respectively.
- the insertion unit 21 receives a light and performs photoelectric conversion to generate an electrical signal (imaging signal), a distal end portion 24 including a solid-state imaging device 244 in which pixels that are two-dimensionally arranged, and a plurality of bending pieces
- the bendable bendable portion 25 is configured to be connected to the base end side of the bendable portion 25 and has a long flexible tube portion 26 having flexibility.
- tip part 24 a CMOS image sensor is mentioned, for example.
- the distal end portion 24 includes a light guide 241, an illumination lens 242, an imaging optical system 243 (objective optical system), and a solid-state imaging device 244.
- the light guide 241 is configured using a glass fiber or the like and serves as a light guide path for light emitted from the light source device 3.
- the illumination lens 242 is provided at the tip of the light guide 241 and emits light from the ride guide 241 to the outside.
- the imaging optical system 243 is provided between the distal end surface of the distal end portion 24 and the color filter 244g, and includes one or a plurality of lenses.
- the solid-state image sensor 244 photoelectrically converts the light received via the imaging optical system 243 to generate an imaging signal, and outputs the digitized imaging signal by parallel / serial conversion.
- the solid-state imaging device 244 includes a sensor unit 244a, an analog front end unit 244b (hereinafter referred to as “AFE unit 244b”), a P / S conversion unit 244c, and an imaging control unit 244d.
- the sensor unit 244a includes a light receiving unit 244e, a reading unit 244f, and a color filter 244g.
- a plurality of pixels each having a photodiode that accumulates electric charge according to the amount of light and an amplifier that amplifies the electric charge accumulated by the photodiode are arranged in a lattice (matrix) shape. Accumulate the generated charge.
- the readout unit 244f reads out as an imaging signal corresponding to the charges accumulated in the plurality of pixels of the light receiving unit 244e, and outputs the imaging signal to the AFE unit 244b.
- the color filter 244g is provided on the light receiving surface of the light receiving unit 244e, and includes a plurality of filters that each transmit light in a wavelength band that is individually set.
- FIG. 3 is a schematic diagram illustrating a configuration of the sensor unit according to the first embodiment.
- the light receiving unit 244e a plurality of pixels that receive light from the outside are arranged in a matrix.
- the light receiving unit 244e accumulates electric charges by performing photoelectric conversion on the light received by each pixel.
- the electric charge accumulated in each pixel is converted into a voltage by the reading unit 244f and read as an imaging signal.
- This imaging signal includes a pixel value (luminance value) of each pixel, pixel position information, and the like.
- a pixel arranged in the i-th row and j-th column is denoted as a pixel P ij .
- FIG. 4 is a schematic diagram illustrating an example of the configuration of the color filter according to the first embodiment.
- the color filter 244g is, in the first embodiment, for example, arranged two-dimensionally (matrix) in accordance with the filter unit C11 of 16 filters that are arranged in a matrix of 4 ⁇ 4 in the arrangement of pixels P ij It is arranged.
- the pixel P ij provided with the filter receives light in a wavelength band transmitted through the filter.
- the pixel P ij provided with a filter that transmits light in the blue wavelength band receives light in the blue wavelength band.
- the pixel Pij that receives light in the blue wavelength band is referred to as a B pixel.
- a pixel that receives light in the green wavelength band is referred to as a G pixel
- a pixel that receives light in the red wavelength band is referred to as an R pixel.
- the filter unit C11 is divided into basic units C21 to C24 which are four areas divided in 2 rows ⁇ 2 columns.
- the basic units C21 to C24 are divided into read units C31 to C38 formed by dividing each basic unit into 1 row ⁇ 2 columns.
- the basic unit C21 has read units C31 and C32 divided by 1 row ⁇ 2 columns
- the basic unit C22 has read units C33 and C34 divided by 1 row ⁇ 2 columns
- the basic unit C23 Has read units C35 and C36 divided by 1 row ⁇ 2 columns
- basic unit C24 has read units C37 and C38 divided by 1 row ⁇ 2 columns.
- Filter unit C11 transmits light in a wavelength band H R in a blue wavelength band H B of (B), wavelength band H G and red green (G) (R).
- the filter unit C11 has 6 or more filters that transmit light in the wavelength band H G and 6 or more filters that transmit light in the wavelength band H B. a plurality of filters are selected so that the number of filters that transmit light in the wavelength band H R is 4 or less 2 or more, are arranged.
- Blue, green and red wavelength bands H B, H G and H R is, for example, a wavelength band H B is 390 nm ⁇ 500 nm, the wavelength band H G is 500 nm ⁇ 600 nm, the wavelength band H R is 600 nm ⁇ 700 nm.
- the filter unit C11 includes six (6/16) G filters that transmit light in the wavelength band H G and a B filter that transmits light in the wavelength band H B.
- There the eight (8/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- G ij when a G filter is provided at a position corresponding to the pixel P ij , this G filter is denoted as G ij .
- B filter is provided at a position corresponding to the pixel P ij , B ij , and when an R filter is provided, R ij is described.
- the readout units C31 and C32 have two filters that transmit light in the same wavelength band. Specifically, the readout unit C31 is formed by arranging two G filters that transmit light in the wavelength band H G in the row direction. The readout unit C32 is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C21 includes two G filters and two B filters that are adjacent in the row direction.
- the reading units C33 to C38 each have two filters that transmit light in the same wavelength band.
- the read unit C33 includes two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- the readout unit C34 includes two B filters that transmit light in the wavelength band H B arranged in the row direction.
- the basic unit C22 includes two R filters and two B filters that are adjacent in the row direction.
- Reading unit C35 includes two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C36 includes two B filters that transmit light in the wavelength band H B arranged in the row direction. Therefore, the basic unit C23 includes two G filters and two B filters that are adjacent in the row direction.
- Reading unit C37 includes two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C38 includes two B filters that transmit light in the wavelength band H B arranged in the row direction. Therefore, the basic unit C24 includes two G filters and two B filters that are adjacent in the row direction.
- each basic unit includes readout units that are adjacent in a direction (column direction) orthogonal to the filter arrangement direction (row direction) of the readout unit.
- the readout unit 244f outputs the charges accumulated in the plurality of pixels of the light receiving unit 244e as imaging signals by collectively reading out the charges accumulated in the two pixels corresponding to the readout units C31 to C38.
- the readout unit 244f converts the voltage (sum) by summing the charges G 11 pixels according to the read unit C31, it is G 12 pixels are accumulated respectively, to generate an imaging signal.
- the imaging optical system 243 is 4.5 (/ ⁇ m) ⁇ Fno/Q ⁇ 6.5 (where the F number of the objective optical system is Fno and the length of one side of the pixel of the light receiving unit 244e is Q ( ⁇ m). / ⁇ m).
- the F number is an index indicating the brightness of the lens, and is a value obtained by dividing the focal length of the lens by the effective aperture.
- the AFE unit 244b performs noise removal, A / D conversion, and the like on the imaging signal output from the sensor unit 244a. Specifically, the AFE unit 244b reduces the noise component included in the imaging signal (analog), adjusts the amplification factor (gain) of the signal for maintaining the output level, and performs A / D conversion of the analog imaging signal. I do.
- the P / S conversion unit 244c (output unit) performs parallel / serial conversion on the digital imaging signal output from the AFE unit 244b.
- the P / S conversion unit 244c outputs an imaging signal to the processing device 4 under the control of the imaging control unit 244d.
- the imaging control unit 244d controls various operations of the distal end portion 24 according to the setting data received from the processing device 4.
- the imaging control unit 244d is configured using a CPU (Central Processing Unit) or the like.
- the imaging controller 244d stores various programs for operating the endoscope 2, various parameters necessary for the operation of the endoscope 2, identification information of the endoscope 2, filter arrangement information for the color filter 244g, and the like.
- the operation section 22 includes a bending knob 221 that bends the bending section 26 in the vertical direction and the left-right direction, a treatment instrument insertion section 222 that inserts a treatment instrument such as a biological forceps, an electric knife, and an inspection probe into the body cavity of the subject.
- a treatment instrument such as a biological forceps, an electric knife, and an inspection probe into the body cavity of the subject.
- it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
- the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
- the universal cord 23 includes at least the light guide 241 described above and an aggregate cable in which one or a plurality of signal lines are collected.
- the light source device 3 includes an illumination unit 31 and an illumination control unit 32.
- the illumination unit 31 switches and emits a plurality of illumination lights having different wavelength bands under the control of the illumination control unit 32.
- the illumination unit 31 includes a light source 33, a light source driver 34, a switching filter 35, a drive unit 36, and a drive driver 37.
- Light source 33 under the control of the illumination control unit 32, for emitting red, green and blue wavelength band H B, the white illumination light including light of H G and H R.
- the white illumination light generated by the light source 33 is emitted to the outside from the distal end portion 24 via the switching filter 35 and the light guide 241.
- the light source 33 is realized using a light source that emits white light, such as a white LED or a xenon lamp.
- the light source 33 is not limited to a single lamp.
- an LED that emits an R color, an LED that emits a G color, and an LED that emits a B color may be used, and a light source that combines and outputs light of each color may be used.
- a light source that emits desired light may be used by combining a solid-state light emitting element that emits excitation light, such as a laser diode, and a phosphor that emits fluorescence by the excitation light.
- the light source driver 34 causes the light source 33 to emit white illumination light by supplying a current to the light source 33 under the control of the illumination control unit 32.
- the switching filter 35 transmits only blue narrow-band light and green narrow-band light among the white illumination light emitted from the light source 33.
- the switching filter 35 is detachably disposed on the optical path of white illumination light emitted from the light source 33 under the control of the illumination control unit 32.
- the switching filter 35 is disposed on the optical path of the white illumination light, thereby transmitting only two narrow-band lights.
- the switching filter 35 includes a narrow band T B (for example, 390 nm to 445 nm) included in the wavelength band H B and a narrow band T G (for example, 530 nm to 550 nm) included in the wavelength band H G.
- narrow-band illumination light consisting of These narrow bands T B and TG are wavelength bands of blue light and green light that are easily absorbed by hemoglobin in blood. Incidentally, it may be contained at least 405 nm ⁇ 425 nm as a narrow-band T B. Light emitted by being limited to this band is called narrow-band light (narrow-band illumination light), and observation of an image with the narrow-band light is called a narrow-band light observation (NBI) system.
- narrow-band illumination light narrow-band illumination light
- NBI narrow-band light observation
- the drive unit 36 is configured by using a stepping motor, a DC motor, or the like, and causes the switching filter 35 to be inserted into and removed from the optical path of the light source 33.
- the drive driver 37 supplies a predetermined current to the drive unit 36 under the control of the illumination control unit 32.
- the illumination control unit 32 controls the light source driver 34 to turn on and off the light source 33, and controls the drive driver 37 to insert and remove the switching filter 35 with respect to the optical path of the light source 33. Controls the type (wavelength band) of emitted illumination light.
- the illumination control unit 32 inserts and removes the switching filter 35 with respect to the optical path of the light source 33, thereby changing the illumination light emitted from the illumination unit 31 to either white illumination light or narrowband illumination light. Control to switch between.
- the illumination control unit 32 wavelength band H B, the white illumination light observation (WLI) method using white illumination light including light of H G and H R, narrowband T B, the light T G Control to switch to any one of the narrow band light observation (NBI) system using the narrow band illumination light.
- WLI white illumination light observation
- NBI narrow band light observation
- the processing device 4 includes an S / P conversion unit 401, an image processing unit 402, an input unit 403, a recording unit 404, and a control unit 405.
- the S / P conversion unit 401 performs serial / parallel conversion on the serial imaging signal output from the distal end portion 24 and outputs it to the image processing unit 402.
- the image processing unit 402 generates an image signal (in-vivo image information) to be displayed by the display device 5 based on the imaging signal output from the S / P conversion unit 401.
- the image processing unit 402 performs predetermined signal processing on the imaging signal to generate an image signal. Examples of signal processing include optical black reduction processing, white balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, enhancement processing including edge enhancement, and the like.
- the image processing unit 402 outputs the imaging signal input from the S / P conversion unit 401 to the control unit 405.
- the image processing unit 402 includes a color component separation unit 402a and an extraction unit 402b.
- the color component separating unit 402a from the electric signal output from the endoscope 2, each of the wavelength bands H R in a blue wavelength band H B of (B), wavelength band H G and red green (G) (R) Separates light components in the wavelength band.
- the color component separation unit 402a acquires a pixel value of a pixel that transmits (receives) light of a designated color, and separates color component information including pixel values of a single color component.
- the extraction unit 402b performs a predetermined extraction process on the imaging signal. Specifically, the extraction unit 402b reads units C31 ⁇ based imaging signal (sum) from the pixel P ij corresponding to C38, red, for each green and blue color basic units C21 ⁇ C24 one Image information having an extracted value as a unit is generated.
- the input unit 403 receives input of various signals such as an operation instruction signal for instructing the operation of the endoscope system 1.
- the input unit 403 outputs the received signal to the control unit 405.
- the recording unit 404 records various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1.
- the recording unit 404 is realized using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
- the control unit 405 is configured using a CPU or the like, and performs drive control of each component including the endoscope 2 and the light source device 3, input / output control of information with respect to each component, and the like.
- the control unit 405 transmits setting data for imaging control to the distal end portion 24 via a predetermined signal line included in the aggregate cable.
- the control unit 405 outputs a synchronization signal including the exposure timing and readout timing of the imaging process by the distal end portion 24 to the distal end portion 24, and outputs this synchronization signal to the light source device 3.
- the display device 5 receives and displays the in-vivo image corresponding to the in-vivo image information generated by the processing device 4 via the video cable.
- the display device 5 is configured using a liquid crystal display or an organic EL (Electro Luminescence) display.
- FIG. 5 is a flowchart illustrating signal processing performed by the endoscope system according to the first embodiment.
- a reading process by the reading unit 244f is performed under the control of the imaging control unit 244d (step S101).
- the readout unit 244f reads out the charges accumulated in a plurality of pixels arranged in a grid pattern for each row (line).
- the control unit 405 determines whether the observation method is the white illumination light observation method or the narrowband light observation method (step S102). ).
- the control unit 405 determines an observation method based on, for example, the insertion / removal state of the switching filter 35 and information on illumination light added to the imaging signal.
- the color component separation unit 402a displays the color components of each color of the red component, the green component, and the blue component (RGB component). Information is separated (step S103).
- the control unit 405 determines that the observation method is the narrow-band light observation method (step S102: NBI)
- the color component separation unit 402a performs color components of each color of the green component and the blue component (GB component). Information is separated (step S104).
- FIG. 6 is a diagram for explaining the acquisition mode of the color component in the sensor unit according to the first embodiment, and is a diagram for explaining the acquisition of the red component from the R pixel.
- FIG. 7 is a diagram for explaining how the color component is acquired in the sensor unit according to the first embodiment, and is a diagram for explaining the acquisition of the green component from the G pixel.
- FIG. 8 is a diagram for explaining a color component acquisition mode in the sensor unit according to the first embodiment, and is a diagram for explaining acquisition of a blue component from a B pixel.
- the light receiving unit 244e receives light corresponding to light in a wavelength band transmitted by the filter of the color filter 244g. For this reason, each pixel of the light receiving unit 244e has a different wavelength band of light received according to the filter.
- R pixels hatchched pixels
- R 13 pixels such as R 13 pixels, R 14 pixels, R 17 pixels, and R 18 pixels
- G pixels such as G 11 pixels, G 12 pixels, G 15 pixels, and G 16 pixels receive the green component light.
- B pixels (hatched pixels) such as B 21 pixels, B 22 pixels, B 23 pixels, and B 24 pixels receive light of the blue component.
- the color component separation unit 402a separates the pixel values (summed values) of the R pixel, the G pixel, and the B pixel for each color according to the color components to be separated, and the separated pixel value is the pixel position (pixel ij ). Are output as color component information.
- FIG. 9 is a diagram for explaining extraction processing in the extraction unit according to the first embodiment, and is a diagram for explaining extraction regions. Extracting unit 402b, based on the imaging signals from the pixel P ij corresponding to the readout unit C31 ⁇ C38, and generates an image information having extracted values basic units C21 ⁇ C24 units. Specifically, as shown in FIG. 9, an area composed of four pixels (area corresponding to each of the basic units C21 to C24) is defined as one color component area (extraction area), and a sum value is obtained according to the color components. Extract. In FIG.
- the extraction region arranged in the m-th row and the n-th column is denoted as S mn .
- the extraction region S 11 corresponds to the basic unit C21
- extraction region S 12 corresponds to the basic unit C22
- extraction region S 21 corresponds to the basic unit C23
- extraction region S 22 corresponds to the basic unit C24.
- the extraction unit 402b generates extracted image information in which an extraction value is set for each extraction region based on the color component information of each color extracted by the color component separation unit 402a.
- the extraction unit 402b When the observation method is the white illumination light observation method, the extraction unit 402b generates extracted image information of each color component of red, green, and blue.
- the extraction unit 402b extracts the green and blue color components. Generate image information. For example, when generating extracted image information of a red component, the extraction unit 402b acquires the red color component information separated by the color component separation unit 402a.
- the color component information separated by the color component separation unit 402a is information relating to the pixel value and arrangement of the R pixel (see FIG. 6).
- Extraction unit 402b when the extraction region S mn with a reading unit consisting of R pixels, a summed value obtained by the reading unit to extract values of the extracted region.
- the extraction unit 402b for example, extraction area S 12 is, because it has a reading unit C33 consisting of R 13 pixels and R 14 pixels, a summed value obtained by the reading unit C33, the extraction region S 12 Set as an extracted value.
- FIG. 10 is a diagram for explaining the extraction process in the extraction unit according to the first embodiment, and is a diagram illustrating an extracted image for the red component.
- the extraction unit 402b is, when the extraction process for extracting a region S mn which read unit having an R pixel exists, extracts the image information including the extracted image extracted value of the red component is set is generated (See FIG. 10).
- the extraction region S mn arranged in the m-th row and the n-th column is denoted as Rs mn according to the color component (red in FIG. 10).
- FIG. 11 is a diagram for explaining extraction processing in the extraction unit according to the first embodiment, and is a diagram illustrating an extracted image for the green component.
- FIG. 12 is a diagram for explaining an extraction process in the extraction unit according to the first embodiment, and is a diagram illustrating an extracted image for a blue component.
- the extraction unit 402b performs extraction processing on the green component and the blue component in the same manner as the red component, and generates extracted image information.
- the entire extraction area S mn is replaced with the sum of B pixels (see FIG. 12).
- the extraction region arranged in the m-th row and the n-th column is indicated as Gs mn or Bs mn depending on the green component or the blue component.
- the image processing unit 402 When the extracted image information is generated for each color component by the extraction unit 402b, the image processing unit 402 generates an image signal to be displayed on the display device 5 based on the extracted image information (step S106).
- the image processing unit 402 interpolates the extracted values of each color component for each extraction region S mn based on the extracted image information of each color component according to the observation method, thereby extracting the extracted values in all the extracted regions. Alternatively, a single color image to which an extracted value (interpolated value) interpolated by the interpolation process is given is generated.
- the image processing unit 402 performs interpolation processing using green as a luminance component in the white light observation method, and performs interpolation processing using blue as a luminance component in the narrow-band light observation method.
- the image processing unit 402 generates a color image signal corresponding to the color image by using the extracted value or the interpolation value of each single color image.
- each color component information of red, green, and blue components can be obtained in the white illumination light observation method, and each color component information of the green and blue components can be obtained in the narrow-band light observation method. Since a large amount of component color component information can be acquired, it is possible to clarify an image by a narrow-band light observation method in particular.
- the filter unit C11 includes six G filters that transmit light in the wavelength band H G , eight B filters that transmit light in the wavelength band H B , and a wavelength band H R.
- the extraction unit 402b is composed of four pixels corresponding to the basic units C21 to C24 based on the color component information extracted by the color component separation unit 402a. Since the extracted image information is generated and the color image signal is generated by the image processing unit 402, a clear image can be obtained by both the white illumination light observation method and the narrow-band light observation method.
- the imaging signal based on the charges obtained from all the pixels is transmitted.
- the amount of information transmitted from the endoscope 2 to the processing device 4 can be reduced.
- the light receiving unit 244e is configured using 64 pixels of 8 ⁇ 8
- the information amount for 32 pixels may be transmitted.
- the diameter of the cable connecting the endoscope 2 and the processing device 4 can be reduced, and the size reduction of the endoscope system 1 can be realized.
- the pixels to be combined receive light in the same wavelength band, information is not mixed between color components.
- FIG. 13 is a schematic diagram illustrating an example of a configuration of a color filter according to a modification of the first embodiment of the present invention.
- the filter unit C11a according to this modification is divided into basic units C21a to C24a that are four regions divided by 2 rows ⁇ 2 columns.
- the basic units C21a to C24a are divided into read units C31a to C38a formed by dividing each basic unit into 1 row ⁇ 2 columns.
- the basic unit C21a has read units C31a and C32a divided by 1 row ⁇ 2 columns
- the basic unit C22a has read units C33a and C34a divided by 1 row ⁇ 2 columns
- the basic unit C23a Has read units C35a and C36a divided by 1 row ⁇ 2 columns
- basic unit C24a has read units C37a and C38a divided by 1 row ⁇ 2 columns.
- the filter unit C11a includes eight G filters that transmit light in the wavelength band H G (8/16) and B filters that transmit light in the wavelength band H B. and six (6/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- the readout units C31a and C32a have two filters that transmit light in the same wavelength band.
- the readout unit C31a includes two B filters that transmit light in the wavelength band H B arranged in the row direction.
- Reading unit C32a, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the basic unit C21a includes two B filters and two G filters that are adjacent in the row direction.
- the reading units C33a to C38a each have two filters that transmit light in the same wavelength band.
- the read unit C33a, the two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- Reading unit C34a, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the basic unit C22a includes two R filters and two G filters that are adjacent in the row direction.
- the readout unit C35a is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Reading unit C36a, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction. Accordingly, the basic unit C23a includes two G filters and two B filters that are adjacent in the row direction.
- the readout unit C37a is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Reading unit C38a, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction. Therefore, the basic unit C24a includes two G filters and two B filters that are adjacent in the row direction.
- the readout units C31a, C33a, C35a, and C37a are arranged in odd rows, and the readout units C32a, C34a, C36a, and C38a are arranged in even rows.
- the filter unit according to this modification also has an effect that a clear image can be obtained by both the white illumination light observation method and the narrow-band light observation method, as in the first embodiment.
- FIG. 14 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment of the present invention.
- symbol is attached
- the endoscope system 1a according to the second embodiment includes an endoscope 2a instead of the endoscope 2 according to the first embodiment described above, and the endoscope 2a has the configuration of the endoscope 2 described above. On the other hand, it further includes a read control unit 244h.
- the read control unit 244h selects a row of the pixel to be read according to the observation method, and causes the read unit 244f to read the pixel (read unit) in the selected row.
- the readout unit 244f performs readout of charges accumulated in pixels (readout units) in a designated row (specifically, an odd row or an even row) under the control of the readout control unit 244h.
- FIG. 15 is a schematic diagram illustrating an example of a configuration of a color filter according to the second embodiment.
- the color filter 244g is, in Embodiment 2, for example, arranged two-dimensionally (matrix) in accordance with the filter unit C11b of 16 filters that are arranged in a matrix of 4 ⁇ 4 in the arrangement of pixels P ij It is arranged.
- the filter unit C11b is divided into basic units C21b to C24b which are four areas divided in 2 rows ⁇ 2 columns.
- the basic units C21b to C24b are divided into read units C31b to C38b formed by dividing each basic unit into 1 row ⁇ 2 columns.
- the basic unit C21b has read units C31b and C32b divided by 1 row ⁇ 2 columns
- the basic unit C22b has read units C33b and C34b divided by 1 row ⁇ 2 columns
- the basic unit C23b Has read units C35b and C36b divided by 1 row ⁇ 2 columns
- basic unit C24b has read units C37b and C38b divided by 1 row ⁇ 2 columns.
- the filter unit C11b includes eight (8/16) G filters that transmit light in the wavelength band H G and a B filter that transmits light in the wavelength band H B.
- There a six (6/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- the readout units C31b and C32b have two filters that transmit light in the same wavelength band.
- the read unit C31b are two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C32b is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction.
- the basic unit C21b includes two G filters and two B filters that are adjacent in the row direction.
- the reading units C33b to C38b each have two filters that transmit light in the same wavelength band.
- the read unit C33b are two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- Reading unit C34b are two G filter for transmitting light in the wavelength band H G are arrayed in a row direction. Therefore, the basic unit C22b includes two R filters and two G filters that are adjacent in the row direction.
- the readout unit C35b is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction.
- Reading unit C36b are two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the basic unit C23b includes two G filters and two B filters that are adjacent in the row direction.
- Reading unit C37b are two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C38b is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C24b includes two G filters and two B filters that are adjacent in the row direction.
- the readout units C31b, C33b, C35b, and C37b are arranged in odd rows, and the readout units C32b, C34b, C36b, and C38b are arranged in even rows.
- the readout unit 244f outputs the charges accumulated in the plurality of pixels of the light receiving unit 244e as an imaging signal by collectively reading out each of the readout units C31b to C38b. For example, the readout unit 244f converts G 11 pixels according to the read unit C31b, by summing the respective charges accumulated in the G 12 pixel voltage (sum), and generates an imaging signal. The readout unit 244f reads out the electric charges of the pixels of the readout unit arranged in either the odd row or the even row under the control of the readout control unit 244h.
- FIG. 16 is a flowchart showing signal processing performed by the endoscope system according to the second embodiment.
- the control unit 405 determines whether the observation method is the white illumination light observation method or the narrow-band light observation method, and outputs the determination result to the imaging control unit 244d (reading control unit 244h) (step S201).
- the read control unit 244h causes the read unit 244f to execute a process of reading pixels in odd rows (step S202).
- FIG. 17 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment, and is a diagram for explaining readout of pixels in odd rows.
- the reading unit 244f performs a charge reading process for pixels in odd-numbered rows (hatched pixels in FIG. 17).
- the generated imaging signal is output from the endoscope 2a to the processing device 4 via the AFE unit 244b or the like.
- the color component separation unit 402a separates the color component information of each color of the red component, the green component, and the blue component (RGB component).
- FIG. 18 is a diagram for explaining signal conversion processing in the extraction unit according to the second embodiment and is a diagram illustrating an extracted image for the red component.
- FIG. 19 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment and is a diagram illustrating an extracted image for the green component.
- FIG. 20 is a diagram for explaining extraction processing in the extraction unit according to the second embodiment and is a diagram illustrating an extracted image for a blue component.
- the extraction unit 402b When the color component (RGB component) is extracted by the color component separation unit 402a, the extraction unit 402b performs an extraction process (step S204). Similar to step S105 described above, the extraction unit 402b performs an extraction process for each color component on the extraction region Smn . Extraction image information for each color component as shown in FIGS. 18 to 20 is generated by the extraction processing by the extraction unit 402b.
- the readout control unit 244h causes the readout unit 244f to execute the pixel readout processing for even rows (step S205).
- FIG. 21 is a diagram for explaining a charge readout mode in the sensor unit according to the second embodiment, and is a diagram for explaining readout of pixels in even rows.
- the reading unit 244f performs a charge reading process for pixels in even-numbered rows (hatched pixels in FIG. 21).
- the generated imaging signal is output from the endoscope 2a to the processing device 4 via the AFE unit 244b or the like.
- the color component separation unit 402a separates the color component information of each color of the green component and the blue component (GB component) (step) S206).
- FIG. 22 is a diagram for explaining the extraction process in the extraction unit according to the second embodiment, and is a diagram illustrating an extracted image for the green component.
- FIG. 23 is a diagram for explaining extraction processing in the extraction unit according to the second embodiment and is a diagram illustrating an extraction image for a blue component.
- the extraction unit 402b When the color component (GB component) is extracted by the color component separation unit 402a in step S206, the extraction unit 402b performs an extraction process (step S204). The extraction unit 402b performs extraction processing for each color component on the extraction region Smn . Extraction image information for each color component as shown in FIGS. 22 and 23 is generated by the extraction processing by the extraction unit 402b.
- the image processing unit 402 When the extracted image information is generated for each color component by the extraction unit 402b, the image processing unit 402 generates an image signal to be displayed on the display device 5 based on the extracted image information (step S207).
- the image processing unit 402 interpolates the extraction value of each color component for each extraction region based on the extracted image signal of each color component in accordance with the observation method, so that the extraction value or interpolation is performed on all the extraction regions.
- a single color image to which a value is assigned is generated.
- the image processing unit 402 performs interpolation processing using green as a luminance component in the white light observation method, and performs interpolation processing using blue as a luminance component in the narrow-band light observation method.
- the image processing unit 402 generates a color image signal corresponding to the color image by using the extracted value or the interpolation value of each single color image.
- each color component information of red, green, and blue components can be obtained in the white illumination light observation method, and each color component information of the green and blue components can be obtained in the narrow-band light observation method. Since a large amount of component color component information can be acquired, it is possible to clarify an image by a narrow-band light observation method in particular.
- the filter unit C11b includes eight G filters that transmit light in the wavelength band H G and B filters that transmit light in the wavelength band H B.
- R filter transmitting and six the light in the wavelength band H R is constituted by the two, based on the color component information color component separating unit 402a is extracted, the extraction unit 402b is, according to the basic units C21b ⁇ C24b Since the extracted image information is generated in the extraction region composed of four pixels and the color image signal is generated by the image processing unit 402, a clear image can be obtained in both the white illumination light observation method and the narrow-band light observation method. Can be obtained.
- the electrical signal based on the charges obtained from all the pixels is transmitted.
- the amount of information transmitted from the endoscope 2a to the processing device 4 can be reduced.
- the light receiving unit 244e is configured using 64 pixels of 8 ⁇ 8
- the information amount for 32 pixels may be transmitted.
- the diameter of the cable connecting the endoscope 2a and the processing device 4 can be reduced, and the size reduction of the endoscope system 1a can be realized.
- the pixels to be combined receive light in the same wavelength band, information is not mixed between color components.
- the row of pixels to be read is controlled according to the observation method, the case where an electric signal based on charges obtained from all the pixels is transmitted or the above-described implementation is performed.
- the amount of information transmitted from the endoscope 2a to the processing device 4 can be reduced.
- the diameter of the cable connecting the endoscope 2a and the processing device 4 can be reduced, and the size reduction of the endoscope system 1a can be realized.
- the readout unit 244f performs readout for all pixels, and the color component separation unit 402a separates the luminance values (signals) of the odd rows or even rows according to the observation method. May be. Thereby, the load of the image signal generation processing performed by the image processing unit 402 can be reduced.
- FIG. 24 is a schematic diagram illustrating an example of a configuration of a color filter according to the first modification of the second embodiment of the present invention.
- the filter unit C11c according to this modification is divided into basic units C21c to C24c which are four regions divided by 2 rows ⁇ 2 columns.
- the basic units C21c to C24c are divided into read units C31c to C38c formed by dividing each basic unit into 1 row ⁇ 2 columns.
- the basic unit C21c has read units C31c and C32c divided by 1 row ⁇ 2 columns
- the basic unit C22c has read units C33c and C34c divided by 1 row ⁇ 2 columns
- the basic unit C23c Has read units C35c and C36c divided in 1 row ⁇ 2 columns
- basic unit C24c has read units C37c and C38c divided in 1 row ⁇ 2 columns.
- the filter unit C11c according to the first modification includes six (6/16) G filters that transmit light in the wavelength band H G and B filters that transmit light in the wavelength band H B. and eight (8/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- the readout units C31c and C32c have two filters that transmit light in the same wavelength band. Specifically, the readout unit C31c is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Reading unit C32c, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction. Therefore, the basic unit C21c includes two B filters and two G filters that are adjacent in the row direction.
- the readout units C33c to C38c each have two filters that transmit light in the same wavelength band.
- the read unit C33c, the two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- the readout unit C34c is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C22c includes two R filters and two B filters that are adjacent in the row direction.
- the readout unit C35c is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Reading unit C36c, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction. Therefore, the basic unit C23c includes two G filters and two B filters that are adjacent in the row direction.
- Reading unit C37c the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C38c is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C24c includes two B filters and two G filters that are adjacent in the row direction.
- the readout units C31c, C33c, C35c, and C37c are arranged in odd rows, and the readout units C32c, C34c, C36c, and C38c are arranged in even rows.
- FIG. 25 is a schematic diagram illustrating an example of a configuration of a color filter according to the second modification of the second embodiment of the present invention.
- the filter unit C11d according to the present modification is divided into basic units C21d to C24d, which are four regions divided by 2 rows ⁇ 2 columns.
- the basic units C21d to C24d are divided into read units C31d to C38d formed by dividing each basic unit into 1 row ⁇ 2 columns. Specifically, the basic unit C21d has read units C31d and C32d divided by 1 row ⁇ 2 columns, and the basic unit C22d has read units C33d and C34d divided by 1 row ⁇ 2 columns, and the basic unit C23d.
- basic unit C24d has read units C37d and C38d divided by 1 row ⁇ 2 columns.
- the filter unit C11d according to the second modification includes eight G filters that transmit light in the wavelength band H G (8/16) and B filters that transmit light in the wavelength band H B. and six (6/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- the readout units C31d and C32d have two filters that transmit light in the same wavelength band. Specifically, the read unit C31d, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C32d is configured by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C21d includes two G filters and two B filters that are adjacent in the row direction.
- the reading units C33d to C38d each have two filters that transmit light in the same wavelength band.
- the read unit C33d, the two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- Reading unit C34d, the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the basic unit C22d includes two R filters and two G filters that are adjacent in the row direction.
- Reading unit C35d the two G filter for transmitting light in the wavelength band H G are arrayed in a row direction.
- the readout unit C36d is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C23d includes two B filters and two G filters that are adjacent in the row direction.
- the readout unit C37d is formed by arranging two B filters that transmit light in the wavelength band H B in the column direction. Reading unit C38d, the two G filter for transmitting light in the wavelength band H G are arrayed in a column direction. Therefore, the basic unit C24d includes two G filters and two B filters that are adjacent in the row direction.
- the readout units C31d, C33d, C35d, and C37d are arranged in odd rows, and the readout units C32d, C34d, C36d, and C38d are arranged in even rows.
- FIG. 26 is a schematic diagram illustrating an example of a configuration of a color filter according to the third modification of the second embodiment of the present invention.
- the filter unit C11e according to this modification is divided into basic units C21e to C24e, which are four areas divided in 2 rows ⁇ 2 columns.
- the basic units C21e to C24e are divided into read units C31e to C38e formed by dividing each basic unit into 1 row ⁇ 2 columns.
- the basic unit C21e has read units C31e and C32e divided by 1 row ⁇ 2 columns
- the basic unit C22e has read units C33e and C34e divided by 1 row ⁇ 2 columns
- the basic unit C23e Has read units C35e and C36e divided by 1 row ⁇ 2 columns
- basic unit C24e has read units C37e and C38e divided by 1 row ⁇ 2 columns.
- the filter unit C11e according to the third modification includes six (6/16) G filters that transmit light in the wavelength band H G and B filters that transmit light in the wavelength band H B. and six (6/16), R filter transmitting light in the wavelength band H R is a four (4/16), in being configured.
- the readout units C31e and C32e have two filters that transmit light in the same wavelength band.
- the readout unit C31e is formed by arranging two G filters that transmit light in the wavelength band H G in the column direction.
- the readout unit C32e includes two B filters that transmit light in the wavelength band H B arranged in the column direction. Therefore, the basic unit C21e includes two G filters and two B filters that are adjacent in the row direction.
- the reading units C33e to C38e each have two filters that transmit light in the same wavelength band.
- the read unit C33e is, two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- Reading unit C34e is, two G filters which transmit light in the wavelength band H G are arrayed in a row direction.
- the basic unit C22e includes two R filters and two G filters that are adjacent in the row direction.
- Reading unit C35e is, two R filter for transmitting light in the wavelength band H R are arrayed in a row direction.
- the readout unit C36e is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction. Therefore, the basic unit C23e includes two R filters and two B filters that are adjacent in the row direction.
- the readout unit C37e is formed by arranging two B filters that transmit light in the wavelength band H B in the row direction.
- Reading unit C38e is, two G filters which transmit light in the wavelength band H G are arrayed in a row direction. Therefore, the basic unit C24e includes two G filters and two B filters that are adjacent in the row direction.
- the readout units C31e, C33e, C35e, and C37e are arranged in odd rows, and the readout units C32e, C34e, C36e, and C38e are arranged in even rows.
- the arrangement of the modification 3 is obtained by replacing the G filter of the readout unit C35d of the modification 2 with an R filter.
- the R filter It is possible to replace
- the B filter of the readout unit C35c of Modification 1 may be replaced with an R filter.
- a clear image can be obtained in both the white illumination light observation method and the narrow-band light observation method as in the second embodiment. .
- the signal processing may be performed using the color filter according to the second embodiment and the first to third modifications.
- FIG. 27 is a schematic diagram illustrating an example of a configuration of a color filter according to the third embodiment of the present invention.
- symbol is attached
- the reading unit 244f reads the charges accumulated in a plurality of pixels arranged in a grid pattern for each row (line), but in the third embodiment, for each column. It is assumed that the data is read out.
- the color filter 244g according to the third embodiment, arranged two-dimensionally (matrix) in accordance with the filter unit C11f of 16 filters that are arranged in a matrix of 4 ⁇ 4 in the arrangement of pixels P ij It is a thing.
- the filter unit C11f is divided into basic units C21f to C24f, which are four areas divided in 2 rows ⁇ 2 columns.
- the basic units C21f to C24f are divided into read units C31f to C38f formed by dividing each basic unit in 2 rows ⁇ 1 column.
- the basic unit C21f has read units C31f and C32f divided by 2 rows ⁇ 1 column
- the basic unit C22f has read units C33f and C34f divided by 2 rows ⁇ 1 column
- the basic unit C23f Has read units C35f and C36f divided by 2 rows ⁇ 1 column
- the basic unit C24f has read units C37f and C38f divided by 2 rows ⁇ 1 column.
- the filter unit C11f includes eight (8/16) G filters that transmit light in the wavelength band H G and a B filter that transmits light in the wavelength band H B.
- There a six (6/16), R filter transmitting light in the wavelength band H R is a two (2/16), in being configured.
- the readout units C31f and C32f have two filters that transmit light in the same wavelength band. Specifically, the read unit C31f, the two G filter for transmitting light in the wavelength band H G are arrayed in a column direction.
- the readout unit C32f includes two B filters that transmit light in the wavelength band H B arranged in the column direction. Therefore, the basic unit C21f includes two G filters and two B filters that are adjacent in the column direction.
- the reading units C33f to C38f each have two filters that transmit light in the same wavelength band.
- the readout unit C33f includes two B filters that transmit light in the wavelength band H B arranged in the column direction.
- Reading unit C34f, the two G filter for transmitting light in the wavelength band H G are arrayed in a column direction.
- the basic unit C22f includes two B filters and two G filters that are adjacent in the column direction.
- Reading unit C35f the two R filter for transmitting light in the wavelength band H R are arrayed in a column direction.
- Reading unit C36f, the two G filter for transmitting light in the wavelength band H G are arrayed in a column direction.
- the basic unit C23f includes two R filters and two G filters that are adjacent in the column direction.
- Reading unit C37f the two G filter for transmitting light in the wavelength band H G are arrayed in a column direction.
- the readout unit C38f includes two B filters that transmit light in the wavelength band H B arranged in the column direction. Therefore, the basic unit C24f includes two G filters and two B filters that are adjacent in the column direction.
- each basic unit includes readout units that are adjacent in a direction (row direction) perpendicular to the filter arrangement direction (column direction) of the readout unit.
- the reading unit 244 f when performing signal processing according to the flowchart of FIG. 5, in step S ⁇ b> 101, performs reading processing for each column by replacing the row direction with the column direction.
- the readout unit 244f outputs the charges accumulated in the plurality of pixels of the light receiving unit 244e as an imaging signal by collectively reading out each of the readout units C31f to C38f.
- the readout unit 244f converts G 11 pixels according to the read unit C31f, by summing each charge accumulated in the G 21 pixel voltage (sum), and generates an imaging signal.
- the reading unit 244f when performing signal processing according to the flowchart of FIG. 16, in step S202, the reading unit 244f reads odd-numbered rows into odd-numbered columns and performs odd-numbered column reading processing. Similarly, in step S205, the reading unit 244f performs reading processing of even columns by replacing even rows with even columns.
- the readout unit 244f reads out the electric charges of the pixels of the readout unit arranged in either the odd column or the even column under the control of the readout control unit 244h.
- the filter unit C11f has eight G filters that transmit light in the wavelength band H G and B that transmits light in the wavelength band H B. filter and six, R filter is composed of a two transmit light with a wavelength band H R, based on the color component information color component separating unit 402a is extracted, the extraction unit 402b is the basic unit C21f ⁇ C24f Since the extracted image information is generated in the corresponding extraction region composed of four pixels and the color image signal is generated by the image processing unit 402, it is clear in both the white illumination light observation method and the narrow-band light observation method. Can be obtained.
- the filter units having the same arrangement are described as being arranged in a matrix.
- the filter units having different arrangements may be arranged in a matrix.
- the filter units C11 and C11b may be arranged in a matrix using the filter unit C11 according to the first embodiment and the filter unit C11b according to the second embodiment.
- the solid-state imaging device, the endoscope, and the endoscope system according to the present invention are useful for obtaining a clear image in both the white illumination light observation method and the narrow-band light observation method.
Abstract
本発明にかかる固体撮像素子は、受光した光量に応じた電荷を蓄積する光電変換素子が配列されてなる受光部(244e)と、受光部(244e)が蓄積した電荷に基づく撮像信号を読み出す読み出し部(244f)と、カラーフィルタ(244g)と、を備え、カラーフィルタ(244g)は、緑色フィルタの数が6個以上、青色フィルタの数が6個以上、かつ赤色フィルタの数が2個以上4個以下となるように選択される16個のフィルタを4行4列で配置してなるフィルタユニットを格子状に配置してなり、フィルタユニットは、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分され、読み出し部(244f)は、読み出しユニットに応じた2つの光電変換素子が蓄積した電荷を一括して読み出す。
Description
本発明は、光を光電変換して撮像信号を生成する固体撮像素子、該固体撮像素子が生成した撮像信号を取得する内視鏡および内視鏡システムに関する。
従来、医療分野および工業分野において、各種検査のために内視鏡が広く用いられている。このうち、医療用の内視鏡は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
このような内視鏡の観察方式として、白色の照明光(白色照明光)を用いた白色光観察(WLI:White Light Imaging)方式と、例えば青色光および緑色光の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光(狭帯域照明光)を用いた狭帯域光観察(NBI:Narrow Band Imaging)方式とが広く知られている。このうち、狭帯域光観察方式は、生体の粘膜表層(生体表層)に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。このような狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。内視鏡では、白色照明光観察方式と、狭帯域光観察方式とを切り替えて観察することが望まれている。
上述した観察方式でカラー画像を生成して表示するため、単板の固体撮像素子により撮像画像を取得すべく、当該固体撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるフィルタ配列を一つの単位(ユニット)として画素毎に配列されてなるカラーフィルタが設けられている(例えば、特許文献1を参照)。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。
特許文献2には、狭帯域光観察方式により適した観察を行うためのカラーフィルタの配列が開示されている。特許文献2によれば、ベイヤ配列における緑色の波長帯域の光を透過する二つのフィルタのうちの一方のフィルタを青色の波長帯域の光を透過するフィルタに代えることで、狭帯域光観察方式で得られる画像を明瞭にすることができる。
しかしながら、上述した特許文献2は、同一のカラーフィルタを用いて白色照明光観察方式と狭帯域光観察方式とを両立しようとすると、緑色の波長帯域の光を透過するフィルタが少ないために、白色照明光観察方式において補間処理時に輝度成分として用いられる緑色成分の信号が十分に得られず、狭帯域観察方式に比べて白色照明光観察方式では明瞭な画像を得ることができなかった。
白色照明光観察方式と狭帯域観察方式のどちらか一方で明瞭な画像が得られないと、術者にとって診断上のストレスとなるため、白色照明光観察方式で得られる画像と、狭帯域観察方式で得られる画像とが、同等レベルの明瞭な画像になる必要がある。
本発明は、上記に鑑みてなされたものであって、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる固体撮像素子、内視鏡および内視鏡システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる固体撮像素子は、受光した光量に応じた電荷を蓄積する複数の光電変換素子が格子状に配列されてなる受光部と、前記受光部が蓄積した電荷に基づく撮像信号を読み出す読み出し部と、前記受光部の受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタが前記光電変換素子の配置に応じて配列されてなるカラーフィルタと、を備え、前記カラーフィルタは、赤色の波長帯域の光を透過する赤色フィルタ、緑色の波長帯域の光を透過する緑色フィルタおよび青色の波長帯域の光を透過する青色フィルタから、前記緑色フィルタの数が6個以上、前記青色フィルタの数が6個以上、かつ前記赤色フィルタの数が2個以上4個以下となるように選択される16個のフィルタを4行4列で配置してなるフィルタユニットを格子状に配置してなり、前記フィルタユニットは、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分され、前記読み出し部は、前記読み出しユニットに応じた2つの前記光電変換素子が蓄積した電荷を一括して読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、前記読み出し部は、外部からの指示に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、前記読み出し部は、外部からの指示に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記フィルタユニットは、同一のフィルタ配列をなすことを特徴とする。
また、本発明にかかる内視鏡は、上記発明にかかる固体撮像素子を挿入部の先端に備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明にかかる固体撮像素子を挿入部の先端に備えた内視鏡と、赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する照明部と、前記内視鏡と接続し、該内視鏡から得られた前記撮像信号をもとに、画像表示するための画像信号を生成する画像処理部と、を備え、前記フィルタユニットは、前記一方向と直交する方向で隣接する2つの前記読み出しユニットに応じた4つのフィルタが2行2列で配置された基本ユニットで区分され、前記画像処理部は、前記読み出しユニットに応じた光電変換素子の信号値をもとに、前記基本ユニットを単位として色成分ごとに単一の色成分の画像情報を生成し、該生成した画像情報をもとに画像表示するための画像信号を生成することを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、前記読み出し部は、前記照明部が出射する照明光に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出し、前記画像処理部は、前記読み出し部によって読み出された奇数行または偶数行の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、前記読み出し部は、前記照明部が出射する照明光に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出し、前記画像処理部は、前記読み出し部によって読み出された奇数列または偶数列の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする。
本発明によれば、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を取得する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源装置3と、内視鏡2が取得した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置4と、処理装置4が画像処理を施した体内画像を表示する表示装置5と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源装置3および処理装置4にそれぞれ着脱自在であって、光源装置3および処理装置4とそれぞれ電気的に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより電気信号(撮像信号)を生成する画素が2次元状に配列された固体撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。先端部24に設けられる固体撮像素子244としては、例えばCMOSイメージセンサが挙げられる。
先端部24は、ライトガイド241、照明レンズ242、撮像光学系243(対物光学系)、固体撮像素子244と、を有する。
ライトガイド241は、グラスファイバ等を用いて構成されて光源装置3が発光した光の導光路をなす。
照明レンズ242は、ライトガイド241の先端に設けられ、ライドガイド241からの光を外部に出射する。
撮像光学系243は、先端部24の先端面とカラーフィルタ244gとの間に設けられ、一または複数のレンズからなる。
固体撮像素子244は、撮像光学系243を介して受光した光を光電変換して撮像信号を生成し、デジタル化した撮像信号をパラレル/シリアル変換して出力する。固体撮像素子244は、センサ部244aと、アナログフロントエンド部244b(以下、「AFE部244b」という)と、P/S変換部244cと、撮像制御部244dと、を有する。
センサ部244aは、受光部244eと、読み出し部244fと、カラーフィルタ244gと、を有する。
受光部244eは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素(光電変換素子)が格子(マトリックス)状に配列され、光電変換により生じた電荷を蓄積する。
読み出し部244fは、受光部244eの複数の画素が蓄積した電荷に応じた撮像信号として読み出して、該撮像信号をAFE部244bに出力する。
カラーフィルタ244gは、受光部244eの受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有する。
受光部244eは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素(光電変換素子)が格子(マトリックス)状に配列され、光電変換により生じた電荷を蓄積する。
読み出し部244fは、受光部244eの複数の画素が蓄積した電荷に応じた撮像信号として読み出して、該撮像信号をAFE部244bに出力する。
カラーフィルタ244gは、受光部244eの受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有する。
図3は、本実施の形態1にかかるセンサ部の構成を示す模式図である。受光部244eには、外部からの光を受光する複数の画素が、マトリックス状に配列されている。受光部244eでは、それぞれの画素が受光した光に対して光電変換を行うことにより電荷を蓄積する。各画素で蓄積された電荷は、読み出し部244fにより電圧に変換されて撮像信号として読み出される。この撮像信号には、各画素の画素値(輝度値)や画素の位置情報などが含まれる。図3では、i行j列目に配置されている画素を画素Pijと記している。
図4は、本実施の形態1にかかるカラーフィルタの構成の一例を示す模式図である。カラーフィルタ244gは、本実施形態1では、例えば、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11を画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。フィルタが設けられた画素Pijは、フィルタが透過する波長帯域の光を受光する。例えば、青色の波長帯域の光を透過するフィルタが設けられた画素Pijは、青色の波長帯域の光を受光する。以下、青色の波長帯域の光を受光する画素PijをB画素という。同様に、緑色の波長帯域の光を受光する画素をG画素、赤色の波長帯域の光を受光する画素をR画素という。
フィルタユニットC11は、2行×2列で分割した4つの領域である基本ユニットC21~C24に区分される。また、基本ユニットC21~C24は、各基本ユニットを1行×2列で分割することにより形成される読み出しユニットC31~C38に区分される。具体的には、基本ユニットC21は1行×2列で分割した読み出しユニットC31,C32を有し、基本ユニットC22は1行×2列で分割した読み出しユニットC33,C34を有し、基本ユニットC23は1行×2列で分割した読み出しユニットC35,C36を有し、基本ユニットC24は1行×2列で分割した読み出しユニットC37,C38を有する。
フィルタユニットC11は、青色(B)の波長帯域HB、緑色(G)の波長帯域HGおよび赤色(R)の波長帯域HRの光を透過する。加えて、フィルタユニットC11は、16個のフィルタのうち、波長帯域HGの光を透過するフィルタの数が6個以上、かつ波長帯域HBの光を透過するフィルタの数が6個以上、波長帯域HRの光を透過するフィルタの数が2個以上4個以下となるように複数のフィルタが選択され、配置される。青色、緑色および赤色の波長帯域HB,HGおよびHRは、例えば、波長帯域HBが390nm~500nm、波長帯域HGが500nm~600nm、波長帯域HRが600nm~700nmである。
図4に示すとおり、本実施の形態1にかかるフィルタユニットC11は、波長帯域HGの光を透過するGフィルタが六つ(6/16)と、波長帯域HBの光を透過するBフィルタが八つ(8/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。以下、画素Pijに対応する位置にGフィルタが設けられる場合、このGフィルタをGijと記す。同様に、画素Pijに対応する位置にBフィルタが設けられる場合、Bij、Rフィルタが設けられる場合、Rijと記す。
読み出しユニットC31,C32は、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31は、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32は、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33~C38についても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33は、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34は、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC22は、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC35は、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC36は、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37は、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38は、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11では、読み出しユニットC31,C33,C35,C37が奇数行に配置され、読み出しユニットC32,C34,C36,C38が偶数行に配置されている。各基本ユニットは、読み出しユニットのフィルタの配列方向(行方向)と直交する方向(列方向)で隣り合う読み出しユニットからなる。
読み出し部244fは、読み出しユニットC31~C38に応じた2つの画素が蓄積した電荷を一括して読み出すことによって、受光部244eの複数の画素がそれぞれ蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31に応じたG11画素,G12画素が各々蓄積している電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。
撮像光学系243は、対物光学系のFナンバーをFno、受光部244eの画素の一辺の長さをQ(μm)としたとき、4.5(/μm)≦Fno/Q≦6.5(/μm)を満たしている。なお、Fナンバーは、レンズの明るさを示す指標であって、レンズの焦点距離を有効口径で割った値である。
図1および図2の説明に戻り、AFE部244bは、センサ部244aが出力した撮像信号に対してノイズ除去やA/D変換などを行う。具体的には、AFE部244bは、撮像信号(アナログ)に含まれるノイズ成分の低減や、出力レベルの維持のための信号の増幅率(ゲイン)の調整、アナログの撮像信号のA/D変換を行う。
P/S変換部244c(出力部)は、AFE部244bが出力したデジタルの撮像信号をパラレル/シリアル変換する。P/S変換部244cは、撮像制御部244dの制御のもと、撮像信号を処理装置4に出力する。
撮像制御部244dは、処理装置4から受信した設定データに従って先端部24の各種動作を制御する。撮像制御部244dは、CPU(Central Processing Unit)等を用いて構成される。撮像制御部244dは、内視鏡2を動作させるための各種プログラム、内視鏡2の動作に必要な各種パラメータおよび当該内視鏡2の識別情報やカラーフィルタ244gにかかるフィルタの配列情報等を記憶する。
操作部22は、湾曲部26を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置4、光源装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、上述したライトガイド241と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。
つぎに、光源装置3の構成について説明する。光源装置3は、照明部31と、照明制御部32と、を備える。
照明部31は、照明制御部32の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部31は、光源33、光源ドライバ34、切替フィルタ35、駆動部36および駆動ドライバ37を有する。
光源33は、照明制御部32の制御のもと、赤色、緑色および青色の波長帯域HB,HGおよびHRの光を含む白色照明光を出射する。光源33が発生した白色照明光は、切替フィルタ35やライトガイド241を経由して先端部24から外部に出射される。光源33は、白色LEDや、キセノンランプなどの白色光を発する光源を用いて実現される。
なお、光源33は、単一のランプに限らず、例えばR色を発するLEDとG色を発するLEDとB色を発するLEDを用い、各色の光を合成して出力する光源でもかまわない。また、励起光を発する例えばレーザーダイオード等の固体発光素子とこの励起光により蛍光を発する蛍光体との組み合わせにより所望の光を発する光源を用いてもよい。
なお、光源33は、単一のランプに限らず、例えばR色を発するLEDとG色を発するLEDとB色を発するLEDを用い、各色の光を合成して出力する光源でもかまわない。また、励起光を発する例えばレーザーダイオード等の固体発光素子とこの励起光により蛍光を発する蛍光体との組み合わせにより所望の光を発する光源を用いてもよい。
光源ドライバ34は、照明制御部32の制御のもと、光源33に対して電流を供給することにより、光源33に白色照明光を出射させる。
切替フィルタ35は、光源33が出射した白色照明光のうち青色の狭帯域光および緑色の狭帯域光のみを透過する。切替フィルタ35は、照明制御部32の制御のもと、光源33が出射する白色照明光の光路上に挿脱自在に配置されている。切替フィルタ35は、白色照明光の光路上に配置されることにより、二つの狭帯域光のみを透過する。具体的には、切替フィルタ35は、波長帯域HBに含まれる狭帯域TB(例えば、390nm~445nm)の光と、波長帯域HGに含まれる狭帯域TG(例えば、530nm~550nm)の光と、からなる狭帯域照明光を透過する。この狭帯域TB,TGは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。なお、狭帯域TBとして少なくとも405nm~425nmが含まれていればよい。この帯域に制限されて射出される光を狭帯域光(狭帯域照明光)といい、当該狭帯域光による画像の観察をもって狭帯域光観察(NBI)方式という。
駆動部36は、ステッピングモータやDCモータ等を用いて構成され、切替フィルタ35を光源33の光路から挿脱動作させる。
駆動ドライバ37は、照明制御部32の制御のもと、駆動部36に所定の電流を供給する。
照明制御部32は、光源ドライバ34を制御して光源33をオンオフ動作させ、および駆動ドライバ37を制御して切替フィルタ35を光源33の光路に対して挿脱動作させることによって、照明部31により出射される照明光の種類(波長帯域)を制御する。
具体的には、照明制御部32は、切替フィルタ35を光源33の光路に対して挿脱動作させることによって、照明部31から出射される照明光を、白色照明光および狭帯域照明光のいずれかに切り替える制御を行う。換言すれば、照明制御部32は、波長帯域HB,HGおよびHRの光を含む白色照明光を用いた白色照明光観察(WLI)方式と、狭帯域TB,TGの光からなる狭帯域照明光を用いた狭帯域光観察(NBI)方式とのいずれかの観察方式に切り替える制御を行う。
次に、処理装置4の構成について説明する。処理装置4は、S/P変換部401、画像処理部402、入力部403、記録部404および制御部405を備える。
S/P変換部401は、先端部24から出力されたシリアル形態の撮像信号をシリアル/パラレル変換して画像処理部402に出力する。
画像処理部402は、S/P変換部401から出力された撮像信号をもとに、表示装置5が表示する画像信号(体内画像情報)を生成する。画像処理部402は、撮像信号に対して、所定の信号処理を実行して画像信号を生成する。信号処理としては、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理や、エッジ強調を含むエンハンス処理等が挙げられる。また、画像処理部402は、S/P変換部401から入力された撮像信号を制御部405へ出力する。
また、画像処理部402は、色成分分離部402a、抽出部402bを有する。色成分分離部402aは、内視鏡2から出力される電気信号から、青色(B)の波長帯域HB、緑色(G)の波長帯域HGおよび赤色(R)の波長帯域HRの各波長帯域の光成分を分離する。具体的には、色成分分離部402aは、指定された色の光を透過(受光)する画素の画素値を取得して、単一の色成分の画素値からなる色成分情報を分離する。
抽出部402bは、撮像信号に対して所定の抽出処理を施す。具体的には、抽出部402bは、読み出しユニットC31~C38に応じた画素Pijからの撮像信号(合算値)をもとに、赤色、緑色および青色の色ごとに基本ユニットC21~C24を一単位として抽出値を有する画像情報を生成する。
入力部403は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。入力部403は、受け付けた信号を制御部405に出力する。
記録部404は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記録する。記録部404は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。
制御部405は、CPU等を用いて構成され、内視鏡2および光源装置3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部405は、撮像制御のための設定データを、集合ケーブルに含まれる所定の信号線を介して先端部24へ送信する。また、制御部405は、先端部24による撮像処理の露光タイミングと読み出しタイミングを含む同期信号を先端部24に出力するとともに、この同期信号を光源装置3に出力する。
表示装置5は、映像ケーブルを介して処理装置4が生成した体内画像情報に対応する体内画像を受信して表示する。表示装置5は、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイを用いて構成される。
次に、内視鏡システム1が行う信号処理について説明する。図5は、本実施の形態1にかかる内視鏡システムが行う信号処理を示すフローチャートである。まず、内視鏡2において、撮像制御部244dの制御のもと、読み出し部244fによる読み出し処理が行われる(ステップS101)。読み出し部244fは、格子状に配列された複数の画素が蓄積した電荷を行(ライン)ごとに読み出す。その後、制御部405は、AFE部244bなどを介して内視鏡2から撮像信号を受信すると、観察方式が白色照明光観察方式および狭帯域光観察方式のいずれであるかを判断する(ステップS102)。制御部405は、例えば切替フィルタ35の挿脱状態や、撮像信号に付与されている照明光の情報などをもとに、観察方式を判断する。
制御部405によって観察方式が白色照明光観察方式であると判断された場合(ステップS102:WLI)、色成分分離部402aは、赤色成分、緑色成分および青色成分(RGB成分)の各色の色成分情報を分離する(ステップS103)。一方で、制御部405によって観察方式が狭帯域光観察方式であると判断された場合(ステップS102:NBI)、色成分分離部402aは、緑色成分および青色成分(GB成分)の各色の色成分情報を分離する(ステップS104)。
図6は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、R画素からの赤成分の取得について説明する図である。図7は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、G画素からの緑成分の取得について説明する図である。図8は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、B画素からの青成分の取得について説明する図である。
図6~8に示すように、受光部244eでは、カラーフィルタ244gのフィルタが透過する波長帯域の光に応じた光を受光する。このため、受光部244eの各画素は、フィルタに応じて受光する光の波長帯域が異なる。例えば、図6に示すように、赤色成分の光を受光するのは、R13画素、R14画素、R17画素、R18画素などのR画素(ハッチング処理された画素)である。また、図7に示すように、緑色成分の光を受光するのは、G11画素、G12画素、G15画素、G16画素などのG画素(ハッチング処理された画素)である。また、図8に示すように、青色成分の光を受光するのは、B21画素、B22画素、B23画素、B24画素などのB画素(ハッチング処理された画素)である。
色成分分離部402aは、分離する色成分に応じてR画素、G画素およびB画素のそれぞれの画素値(合算値)を色ごとに分離し、分離した画素値を画素の位置(画素ij)と対応付けて色成分情報として出力する。
色成分分離部402aにより、観察方式に応じて色成分が分離されると、抽出部402bが抽出処理を行う(ステップS105)。図9は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、抽出領域を説明する図である。抽出部402bは、読み出しユニットC31~C38に応じた画素Pijからの撮像信号に基づいて、基本ユニットC21~C24を単位として抽出値を有する画像情報を生成する。具体的には、図9に示すように、四つの画素からなる領域(基本ユニットC21~C24にそれぞれ対応する領域)を一つの色成分領域(抽出領域)として、色成分に応じて合算値を抽出する。図9では、m行n列目に配置されている抽出領域をSmnと記している。例えば、抽出領域S11は基本ユニットC21に対応し、抽出領域S12は基本ユニットC22に対応し、抽出領域S21は基本ユニットC23に対応し、抽出領域S22は基本ユニットC24に対応する。
抽出部402bは、色成分分離部402aによって抽出された各色の色成分情報をもとに、抽出領域ごとに抽出値を設定した抽出画像情報を生成する。抽出部402bは、観察方式が白色照明光観察方式である場合、赤色、緑色および青色の各色成分の抽出画像情報を生成し、狭帯域光観察方式である場合、緑色および青色の各色成分の抽出画像情報を生成する。抽出部402bは、例えば赤色成分の抽出画像情報を生成する場合、色成分分離部402aが分離した赤色の色成分情報を取得する。ここで、色成分分離部402aによって分離される色成分情報は、R画素の画素値と配置とにかかる情報である(図6参照)。抽出部402bは、抽出領域Smn内にR画素からなる読み出しユニットを有する場合、読み出しユニットで得られた合算値を当該抽出領域の抽出値とする。具体的には、抽出部402bは、例えば、抽出領域S12が、R13画素およびR14画素からなる読み出しユニットC33を有するため、読み出しユニットC33で得られた合算値を、抽出領域S12の抽出値として設定する。
図10は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、赤色成分についての抽出画像を示す図である。上述したように、抽出部402bが、R画素を有する読み出しユニットが存在する抽出領域Smnについて抽出処理を行うと、赤色成分の抽出値が設定された抽出画像を含む抽出画像情報が生成される(図10参照)。図10では、m行n列目に配置されている抽出領域Smnを色成分(図10では赤色)に応じてRsmnと記している。
図11は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図12は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。抽出部402bは、緑色成分、青色成分についても、赤色成分と同様に抽出処理を行い、抽出画像情報を生成する。なお、青色成分については、すべての基本ユニットがB画素からなる読み出しユニットを有しているため、全抽出領域Smnが、B画素の合算値に置き換えられている(図12参照)。図11,12では、m行n列目に配置されている抽出領域を緑色成分または青色成分に応じてGsmnまたはBsmnと記している。
抽出部402bにより各色成分について抽出画像情報が生成されると、画像処理部402は、該抽出画像情報をもとに、表示装置5に表示されるための画像信号を生成する(ステップS106)。画像処理部402は、観察方式に応じて、各色成分の抽出画像情報をもとに、それぞれの色成分の抽出値を抽出領域Smnごとに補間処理することにより、すべての抽出領域に抽出値、または補間処理によって補間された抽出値(補間値)が付与された単色画像を生成する。画像処理部402は、白色光観察方式では緑色を輝度成分として補間処理し、狭帯域光観察方式では青色を輝度成分として補間処理を行う。
その後、画像処理部402は、各単色画像の抽出値または補間値を用いることによってカラー画像に応じたカラー画像信号を生成する。上述した信号処理によって、白色照明光観察方式および狭帯域光観察方式により取得された信号に基づいて、それぞれの画像を得ることができる。
上述した信号処理では、白色照明光観察方式において、赤色、緑色および青色成分の各色成分情報を得ることができ、かつ狭帯域光観察方式において、緑色および青色成分の各色成分情報を得るとともに、青色成分の色成分情報を多く取得することができるため、特に狭帯域光観察方式による画像を明瞭にすることが可能である。
上述した本実施の形態1によれば、フィルタユニットC11が、波長帯域HGの光を透過するGフィルタが六つと、波長帯域HBの光を透過するBフィルタが八つと、波長帯域HRの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21~C24に応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
また、上述した実施の形態1によれば、読み出しユニットを構成する二つの画素から得られる電荷を合算して読み出すようにしたので、全画素から得られる電荷に基づく撮像信号を伝送する場合と比して、内視鏡2から処理装置4に伝送する情報量を少なくすることができる。例えば、受光部244eが、8×8の64個の画素を用いて構成される場合、32画素分の情報量を伝送すればよい。これにより、内視鏡2と処理装置4とを接続するケーブルを細径化し、内視鏡システム1の小型化を実現することができる。また、合算対象の画素は、同一の波長帯域の光を受光するため、情報が色成分間で混在することはない。
(実施の形態1の変形例)
図13は、本発明の実施の形態1の変形例にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11aは、2行×2列で分割した4つの領域である基本ユニットC21a~C24aに区分される。また、基本ユニットC21a~C24aは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31a~C38aに区分される。具体的には、基本ユニットC21aは1行×2列で分割した読み出しユニットC31a,C32aを有し、基本ユニットC22aは1行×2列で分割した読み出しユニットC33a,C34aを有し、基本ユニットC23aは1行×2列で分割した読み出しユニットC35a,C36aを有し、基本ユニットC24aは1行×2列で分割した読み出しユニットC37a,C38aを有する。
図13は、本発明の実施の形態1の変形例にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11aは、2行×2列で分割した4つの領域である基本ユニットC21a~C24aに区分される。また、基本ユニットC21a~C24aは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31a~C38aに区分される。具体的には、基本ユニットC21aは1行×2列で分割した読み出しユニットC31a,C32aを有し、基本ユニットC22aは1行×2列で分割した読み出しユニットC33a,C34aを有し、基本ユニットC23aは1行×2列で分割した読み出しユニットC35a,C36aを有し、基本ユニットC24aは1行×2列で分割した読み出しユニットC37a,C38aを有する。
本変形例にかかるフィルタユニットC11aは、図13に示すように、波長帯域HGの光を透過するGフィルタが八つ(8/16)と、波長帯域HBの光を透過するBフィルタが六つ(6/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31a,C32aは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31aは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC32aは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC21aは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC33a~C38aについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33aは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34aは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22aは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35aは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36aは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23aは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37aは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC38aは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC24aは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11aでは、読み出しユニットC31a,C33a,C35a,C37aが奇数行に配置され、読み出しユニットC32a,C34a,C36a,C38aが偶数行に配置されている。
本変形例にかかるフィルタユニットにおいても、上述した実施の形態1のように、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
(実施の形態2)
次に、本発明の実施の形態2について説明する。図14は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態2にかかる内視鏡システム1aは、上述した実施の形態1の内視鏡2に代えて内視鏡2aを備え、内視鏡2aは、上述した内視鏡2の構成に対し、読み出し制御部244hをさらに有する。
次に、本発明の実施の形態2について説明する。図14は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態2にかかる内視鏡システム1aは、上述した実施の形態1の内視鏡2に代えて内視鏡2aを備え、内視鏡2aは、上述した内視鏡2の構成に対し、読み出し制御部244hをさらに有する。
読み出し制御部244hは、観察方式に応じて読み出し対象画素の行を選択し、該選択した行の画素(読み出しユニット)の読み出しを読み出し部244fに行わせる。読み出し部244fは、読み出し制御部244hの制御のもと、指定された行(具体的には、奇数行または偶数行)の画素(読み出しユニット)が蓄積する電荷の読み出しを行う。
図15は、本実施の形態2にかかるカラーフィルタの構成の一例を示す模式図である。カラーフィルタ244gは、本実施形態2では、例えば、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11bを画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。
フィルタユニットC11bは、2行×2列で分割した4つの領域である基本ユニットC21b~C24bに区分される。また、基本ユニットC21b~C24bは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31b~C38bに区分される。具体的には、基本ユニットC21bは1行×2列で分割した読み出しユニットC31b,C32bを有し、基本ユニットC22bは1行×2列で分割した読み出しユニットC33b,C34bを有し、基本ユニットC23bは1行×2列で分割した読み出しユニットC35b,C36bを有し、基本ユニットC24bは1行×2列で分割した読み出しユニットC37b,C38bを有する。
図15に示すとおり、本実施の形態2にかかるフィルタユニットC11bは、波長帯域HGの光を透過するGフィルタが八つ(8/16)と、波長帯域HBの光を透過するBフィルタが六つ(6/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31b,C32bは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31bは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32bは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33b~C38bについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33bは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34bは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22bは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35bは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36bは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37bは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38bは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11bでは、読み出しユニットC31b,C33b,C35b,C37bが奇数行に配置され、読み出しユニットC32b,C34b,C36b,C38bが偶数行に配置されている。
読み出し部244fは、読み出しユニットC31b~C38bごとに一括して読み出すことによって、受光部244eの複数の画素が蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31bに応じたG11画素,G12画素にそれぞれ蓄積された電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。読み出し部244fは、読み出し制御部244hの制御のもと、奇数行または偶数行のいずれかの行に配置された読み出しユニットの画素の電荷を読み出す。
図16は、本実施の形態2にかかる内視鏡システムが行う信号処理を示すフローチャートである。まず、制御部405は、観察方式が白色照明光観察方式および狭帯域光観察方式のいずれであるかを判断し、判断結果を撮像制御部244d(読み出し制御部244h)に出力する(ステップS201)。読み出し制御部244hは、受信した判断結果が白色照明光観察方式である場合(ステップS201:WLI)、読み出し部244fに奇数行の画素の読み出し処理を実行させる(ステップS202)。図17は、本実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、奇数行の画素の読み出しを説明する図である。読み出し部244fは、奇数行の画素(図17のハッチング画素)の電荷の読み出し処理を行う。
読み出し部244fによる奇数行の画素の電荷の読み出し処理が終了すると、生成された撮像信号がAFE部244bなどを介して内視鏡2aから処理装置4に出力される。処理装置4が、AFE部244bなどを介して内視鏡2aから撮像信号を受信すると、色成分分離部402aは、赤色成分、緑色成分および青色成分(RGB成分)の各色の色成分情報を分離する(ステップS203)。
図18は、本実施の形態2にかかる抽出部における信号変換処理を説明する図であって、赤色成分についての抽出画像を示す図である。図19は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図20は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。
色成分分離部402aにより色成分(RGB成分)が抽出されると、抽出部402bが抽出処理を行う(ステップS204)。抽出部402bは、上述したステップS105と同様に、抽出領域Smnに対して色成分ごとに抽出処理を行う。抽出部402bによる抽出処理により、図18~20に示すような色成分ごとの抽出画像情報が生成される。
一方、読み出し制御部244hは、受信した判断結果が狭帯域光観察方式である場合(ステップS201:NBI)、読み出し部244fに偶数行の画素の読み出し処理を実行させる(ステップS205)。図21は、本実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、偶数行の画素の読み出しを説明する図である。読み出し部244fは、偶数行の画素(図21のハッチング画素)の電荷の読み出し処理を行う。
読み出し部244fによる偶数行の画素の電荷の読み出し処理が終了すると、生成された撮像信号がAFE部244bなどを介して内視鏡2aから処理装置4に出力される。処理装置4が、AFE部244bなどを介して内視鏡2aから撮像信号を受信すると、色成分分離部402aは、緑色成分および青色成分(GB成分)の各色の色成分情報に分離する(ステップS206)。
図22は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図23は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。
ステップS206において色成分分離部402aにより色成分(GB成分)が抽出されると、抽出部402bが抽出処理を行う(ステップS204)。抽出部402bは、抽出領域Smnに対して色成分ごとに抽出処理を行う。抽出部402bによる抽出処理により、図22,23に示すような色成分ごとの抽出画像情報が生成される。
抽出部402bにより各色成分について抽出画像情報が生成されると、画像処理部402は、該抽出画像情報をもとに、表示装置5に表示されるための画像信号を生成する(ステップS207)。画像処理部402は、観察方式に応じて、各色成分の抽出画像信号をもとに、それぞれの色成分の抽出値を抽出領域ごとに補間処理することにより、すべての抽出領域に抽出値または補間値が付与された単色画像を生成する。画像処理部402は、白色光観察方式では緑色を輝度成分として補間処理し、狭帯域光観察方式では青色を輝度成分として補間処理を行う。
その後、画像処理部402は、各単色画像の抽出値または補間値を用いることによってカラー画像に応じたカラー画像信号を生成する。上述した信号処理によって、白色照明光観察方式および狭帯域光観察方式により取得された信号に基づいて、それぞれの画像を得ることができる。
上述した信号処理では、白色照明光観察方式において、赤色、緑色および青色成分の各色成分情報を得ることができ、かつ狭帯域光観察方式において、緑色および青色成分の各色成分情報を得るとともに、青色成分の色成分情報を多く取得することができるため、特に狭帯域光観察方式による画像を明瞭にすることが可能である。
上述した本実施の形態2によれば、実施の形態1と同様、フィルタユニットC11bが、波長帯域HGの光を透過するGフィルタが八つと、波長帯域HBの光を透過するBフィルタが六つと、波長帯域HRの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21b~C24bに応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
また、上述した実施の形態2によれば、読み出しユニットを構成する二つの画素から得られる電荷を合算して読み出すようにしたので、全画素から得られる電荷に基づく電気信号を伝送する場合と比して、内視鏡2aから処理装置4に伝送する情報量を少なくすることができる。例えば、受光部244eが、8×8の64個の画素を用いて構成される場合、32画素分の情報量を伝送すればよい。これにより、内視鏡2aと処理装置4とを接続するケーブルを細径化し、内視鏡システム1aの小型化を実現することができる。また、合算対象の画素は、同一の波長帯域の光を受光するため、情報が色成分間で混在することはない。
また、上述した実施の形態2によれば、観察方式に応じて読み出し対象の画素の行を制御するようにしたので、全画素から得られる電荷に基づく電気信号を伝送する場合や、上述した実施の形態1と比して、内視鏡2aから処理装置4に伝送する情報量を少なくすることができる。これにより、内視鏡2aと処理装置4とを接続するケーブルを細径化し、内視鏡システム1aの小型化を実現することができる。
なお、上述した実施の形態2において、読み出し部244fが全画素について読み出しを行い、色成分分離部402aが、観察方式に応じて奇数行または偶数行の輝度値(信号)を分離するものであってもよい。これにより、画像処理部402が行う画像信号生成処理の負荷を軽減することができる。
(実施の形態2の変形例1)
図24は、本発明の実施の形態2の変形例1にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11cは、2行×2列で分割した4つの領域である基本ユニットC21c~C24cに区分される。また、基本ユニットC21c~C24cは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31c~C38cに区分される。具体的には、基本ユニットC21cは1行×2列で分割した読み出しユニットC31c,C32cを有し、基本ユニットC22cは1行×2列で分割した読み出しユニットC33c,C34cを有し、基本ユニットC23cは1行×2列で分割した読み出しユニットC35c,C36cを有し、基本ユニットC24cは1行×2列で分割した読み出しユニットC37c,C38cを有する。
図24は、本発明の実施の形態2の変形例1にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11cは、2行×2列で分割した4つの領域である基本ユニットC21c~C24cに区分される。また、基本ユニットC21c~C24cは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31c~C38cに区分される。具体的には、基本ユニットC21cは1行×2列で分割した読み出しユニットC31c,C32cを有し、基本ユニットC22cは1行×2列で分割した読み出しユニットC33c,C34cを有し、基本ユニットC23cは1行×2列で分割した読み出しユニットC35c,C36cを有し、基本ユニットC24cは1行×2列で分割した読み出しユニットC37c,C38cを有する。
図24に示すとおり、本変形例1にかかるフィルタユニットC11cは、波長帯域HGの光を透過するGフィルタが六つ(6/16)と、波長帯域HBの光を透過するBフィルタが八つ(8/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31c,C32cは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31cは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC32cは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC21cは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC33c~C38cについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33cは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34cは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC22cは、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC35cは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36cは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23cは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37cは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38cは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24cは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
フィルタユニットC11cでは、読み出しユニットC31c,C33c,C35c,C37cが奇数行に配置され、読み出しユニットC32c,C34c,C36c,C38cが偶数行に配置されている。
(実施の形態2の変形例2)
図25は、本発明の実施の形態2の変形例2にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11dは、2行×2列で分割した4つの領域である基本ユニットC21d~C24dに区分される。また、基本ユニットC21d~C24dは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31d~C38dに区分される。具体的には、基本ユニットC21dは1行×2列で分割した読み出しユニットC31d,C32dを有し、基本ユニットC22dは1行×2列で分割した読み出しユニットC33d,C34dを有し、基本ユニットC23dは1行×2列で分割した読み出しユニットC35d,C36dを有し、基本ユニットC24dは1行×2列で分割した読み出しユニットC37d,C38dを有する。
図25は、本発明の実施の形態2の変形例2にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11dは、2行×2列で分割した4つの領域である基本ユニットC21d~C24dに区分される。また、基本ユニットC21d~C24dは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31d~C38dに区分される。具体的には、基本ユニットC21dは1行×2列で分割した読み出しユニットC31d,C32dを有し、基本ユニットC22dは1行×2列で分割した読み出しユニットC33d,C34dを有し、基本ユニットC23dは1行×2列で分割した読み出しユニットC35d,C36dを有し、基本ユニットC24dは1行×2列で分割した読み出しユニットC37d,C38dを有する。
図25に示すとおり、本変形例2にかかるフィルタユニットC11dは、波長帯域HGの光を透過するGフィルタが八つ(8/16)と、波長帯域HBの光を透過するBフィルタが六つ(6/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31d,C32dは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31dは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32dは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21dは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33d~C38dについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33dは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34dは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22dは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35dは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC36dは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23dは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC37dは、波長帯域HBの光を透過する二つのBフィルタが列方向に配列されてなる。読み出しユニットC38dは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC24dは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11dでは、読み出しユニットC31d,C33d,C35d,C37dが奇数行に配置され、読み出しユニットC32d,C34d,C36d,C38dが偶数行に配置されている。
(実施の形態2の変形例3)
図26は、本発明の実施の形態2の変形例3にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11eは、2行×2列で分割した4つの領域である基本ユニットC21e~C24eに区分される。また、基本ユニットC21e~C24eは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31e~C38eに区分される。具体的には、基本ユニットC21eは1行×2列で分割した読み出しユニットC31e,C32eを有し、基本ユニットC22eは1行×2列で分割した読み出しユニットC33e,C34eを有し、基本ユニットC23eは1行×2列で分割した読み出しユニットC35e,C36eを有し、基本ユニットC24eは1行×2列で分割した読み出しユニットC37e,C38eを有する。
図26は、本発明の実施の形態2の変形例3にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11eは、2行×2列で分割した4つの領域である基本ユニットC21e~C24eに区分される。また、基本ユニットC21e~C24eは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31e~C38eに区分される。具体的には、基本ユニットC21eは1行×2列で分割した読み出しユニットC31e,C32eを有し、基本ユニットC22eは1行×2列で分割した読み出しユニットC33e,C34eを有し、基本ユニットC23eは1行×2列で分割した読み出しユニットC35e,C36eを有し、基本ユニットC24eは1行×2列で分割した読み出しユニットC37e,C38eを有する。
図26に示すとおり、本変形例3にかかるフィルタユニットC11eは、波長帯域HGの光を透過するGフィルタが六つ(6/16)と、波長帯域HBの光を透過するBフィルタが六つ(6/16)と、波長帯域HRの光を透過するRフィルタが四つ(4/16)と、で構成されている。
読み出しユニットC31e,C32eは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31eは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC32eは、波長帯域HBの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC21eは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33e~C38eについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33eは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34eは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22eは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35eは、波長帯域HRの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC36eは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23eは、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37eは、波長帯域HBの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC38eは、波長帯域HGの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC24eは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11eでは、読み出しユニットC31e,C33e,C35e,C37eが奇数行に配置され、読み出しユニットC32e,C34e,C36e,C38eが偶数行に配置されている。
なお、変形例3の配置は、変形例2の読み出しユニットC35dのGフィルタをRフィルタに置き換えたものであるが、このほか、奇数列であって上述したフィルタの数を満たしていればRフィルタに置き換えることが可能である。例えば、変形例1の読み出しユニットC35cのBフィルタをRフィルタに置き換えたものであってもよい。
本変形例1~3にかかるフィルタユニットにおいても、上述した実施の形態2のように、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
また、上述した実施の形態1において、実施の形態2および変形例1~3にかかるカラーフィルタを用いて信号処理を行うものであってもよい。
(実施の形態3)
次に、本発明の実施の形態3について説明する。図27は、本発明の実施の形態3にかかるカラーフィルタの構成の一例を示す模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態1,2では、読み出し部244fが、格子状に配列された複数の画素が蓄積した電荷を行(ライン)ごとに読み出すものとして説明したが、本実施の形態3では、列ごとに読み出すものとして説明する。
次に、本発明の実施の形態3について説明する。図27は、本発明の実施の形態3にかかるカラーフィルタの構成の一例を示す模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態1,2では、読み出し部244fが、格子状に配列された複数の画素が蓄積した電荷を行(ライン)ごとに読み出すものとして説明したが、本実施の形態3では、列ごとに読み出すものとして説明する。
本実施の形態3にかかるカラーフィルタ244gは、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11fを画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。
フィルタユニットC11fは、2行×2列で分割した4つの領域である基本ユニットC21f~C24fに区分される。また、基本ユニットC21f~C24fは、各基本ユニットにおいて2行×1列で分割することにより形成される読み出しユニットC31f~C38fに区分される。具体的には、基本ユニットC21fは2行×1列で分割した読み出しユニットC31f,C32fを有し、基本ユニットC22fは2行×1列で分割した読み出しユニットC33f,C34fを有し、基本ユニットC23fは2行×1列で分割した読み出しユニットC35f,C36fを有し、基本ユニットC24fは2行×1列で分割した読み出しユニットC37f,C38fを有する。
図27に示すとおり、本実施の形態3にかかるフィルタユニットC11fは、波長帯域HGの光を透過するGフィルタが八つ(8/16)と、波長帯域HBの光を透過するBフィルタが六つ(6/16)と、波長帯域HRの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31f,C32fは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31fは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC32fは、波長帯域HBの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC21fは、列方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33f~C38fについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33fは、波長帯域HBの光を透過する二つのBフィルタが列方向に配列されてなる。読み出しユニットC34fは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC22fは、列方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35fは、波長帯域HRの光を透過する二つのRフィルタが列方向に配列されてなる。読み出しユニットC36fは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC23fは、列方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC37fは、波長帯域HGの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC38fは、波長帯域HBの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC24fは、列方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11fでは、読み出しユニットC31f,C33f,C35f,C37fが奇数列に配置され、読み出しユニットC32f,C34f,C36f,C38fが偶数列に配置されている。各基本ユニットは、読み出しユニットのフィルタの配列方向(列方向)と直交する方向(行方向)で隣り合う読み出しユニットからなる。
本実施の形態3では、例えば図5のフローチャートにしたがって信号処理を行う場合、ステップS101において、読み出し部244fは、行方向を列方向に読み替えて列ごとの読み出し処理を行う。読み出し部244fは、読み出しユニットC31f~C38fごとに一括して読み出すことによって、受光部244eの複数の画素が蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31fに応じたG11画素,G21画素にそれぞれ蓄積された電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。
また、例えば図16のフローチャートにしたがって信号処理を行う場合、ステップS202において、読み出し部244fは、奇数行を奇数列に読み替えて奇数列の読み出し処理を行う。同様に、ステップS205において、読み出し部244fは、偶数行を偶数列に読み替えて偶数列の読み出し処理を行う。読み出し部244fは、読み出し制御部244hの制御のもと、奇数列または偶数列のいずれかの行に配置された読み出しユニットの画素の電荷を読み出す。
上述した本実施の形態3によれば、実施の形態1,2と同様、フィルタユニットC11fが、波長帯域HGの光を透過するGフィルタが八つと、波長帯域HBの光を透過するBフィルタが六つと、波長帯域HRの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21f~C24fに応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
なお、上述した実施の形態1~3および変形例では、同じ配列のフィルタユニットをマトリックス状に配置するものとして説明したが、異なる配列のフィルタユニットをマトリックス状に配置するものであってもよい。例えば、実施の形態1にかかるフィルタユニットC11と、実施の形態2にかかるフィルタユニットC11bとを用いて、該フィルタユニットC11,C11bをマトリックス状に配置するものであってもよい。
以上のように、本発明にかかる固体撮像素子、内視鏡および内視鏡システムは、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得るのに有用である。
1,1a 内視鏡システム
2,2a 内視鏡
3 光源装置
4 処理装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 照明部
32 照明制御部
33 光源
34 光源ドライバ
35 切替フィルタ
36 駆動部
37 駆動ドライバ
241 ライトガイド
242 照明レンズ
243 撮像光学系
244 固体撮像素子
244a センサ部
244b アナログフロントエンド部(AFE部)
244c P/S変換部
244d 撮像制御部
244e 受光部
244f 読み出し部
244g カラーフィルタ
244h 読み出し制御部
401 S/P変換部
402 画像処理部
402a 色成分分離部
402b 抽出部
403 入力部
404 記録部
405 制御部
2,2a 内視鏡
3 光源装置
4 処理装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 照明部
32 照明制御部
33 光源
34 光源ドライバ
35 切替フィルタ
36 駆動部
37 駆動ドライバ
241 ライトガイド
242 照明レンズ
243 撮像光学系
244 固体撮像素子
244a センサ部
244b アナログフロントエンド部(AFE部)
244c P/S変換部
244d 撮像制御部
244e 受光部
244f 読み出し部
244g カラーフィルタ
244h 読み出し制御部
401 S/P変換部
402 画像処理部
402a 色成分分離部
402b 抽出部
403 入力部
404 記録部
405 制御部
Claims (8)
- 受光した光量に応じた電荷を蓄積する複数の光電変換素子が格子状に配列されてなる受光部と、
前記受光部が蓄積した電荷に基づく撮像信号を読み出す読み出し部と、
前記受光部の受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタが前記光電変換素子の配置に応じて配列されてなるカラーフィルタと、
を備え、
前記カラーフィルタは、赤色の波長帯域の光を透過する赤色フィルタ、緑色の波長帯域の光を透過する緑色フィルタおよび青色の波長帯域の光を透過する青色フィルタから、前記緑色フィルタの数が6個以上、前記青色フィルタの数が6個以上、かつ前記赤色フィルタの数が2個以上4個以下となるように選択される16個のフィルタを4行4列で配置してなるフィルタユニットを格子状に配置してなり、
前記フィルタユニットは、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分され、
前記読み出し部は、前記読み出しユニットに応じた2つの前記光電変換素子が蓄積した電荷を一括して読み出すことを特徴とする固体撮像素子。 - 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、
前記読み出し部は、外部からの指示に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする請求項1に記載の固体撮像素子。 - 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、
前記読み出し部は、外部からの指示に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする請求項1に記載の固体撮像素子。 - 前記フィルタユニットは、同一のフィルタ配列をなすことを特徴とする請求項1に記載の固体撮像素子。
- 請求項1に記載の固体撮像素子を挿入部の先端に備えたことを特徴とする内視鏡。
- 請求項1に記載の固体撮像素子を挿入部の先端に備えた内視鏡と、
赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する照明部と、
前記内視鏡と接続し、該内視鏡から得られた前記撮像信号をもとに、画像表示するための画像信号を生成する画像処理部と、
を備え、
前記フィルタユニットは、前記一方向と直交する方向で隣接する2つの前記読み出しユニットに応じた4つのフィルタが2行2列で配置された基本ユニットで区分され、
前記画像処理部は、前記読み出しユニットに応じた光電変換素子の信号値をもとに、前記基本ユニットを単位として色成分ごとに単一の色成分の画像情報を生成し、該生成した画像情報をもとに画像表示するための画像信号を生成することを特徴とする内視鏡システム。 - 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、
前記読み出し部は、前記照明部が出射する照明光に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出し、
前記画像処理部は、前記読み出し部によって読み出された奇数行または偶数行の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする請求項6に記載の内視鏡システム。 - 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、
前記読み出し部は、前記照明部が出射する照明光に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出し、
前記画像処理部は、前記読み出し部によって読み出された奇数列または偶数列の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする請求項6に記載の内視鏡システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015542508A JP5881916B1 (ja) | 2014-05-09 | 2015-03-18 | 固体撮像素子、内視鏡および内視鏡システム |
US15/140,552 US9517002B2 (en) | 2014-05-09 | 2016-04-28 | Solid state image sensor, endoscope, and endoscope system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-097785 | 2014-05-09 | ||
JP2014097785 | 2014-05-09 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/140,552 Continuation US9517002B2 (en) | 2014-05-09 | 2016-04-28 | Solid state image sensor, endoscope, and endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015170515A1 true WO2015170515A1 (ja) | 2015-11-12 |
Family
ID=54392369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/058110 WO2015170515A1 (ja) | 2014-05-09 | 2015-03-18 | 固体撮像素子、内視鏡および内視鏡システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9517002B2 (ja) |
JP (1) | JP5881916B1 (ja) |
WO (1) | WO2015170515A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007010709A1 (ja) * | 2005-07-15 | 2007-01-25 | Olympus Medical Systems Corp. | 内視鏡及び内視鏡装置 |
JP2007317750A (ja) * | 2006-05-23 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2008085807A (ja) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | 画像処理装置、内視鏡装置、及び画像処理プログラム |
JP2012005512A (ja) * | 2010-06-22 | 2012-01-12 | Olympus Corp | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 |
JP2014076375A (ja) * | 2013-11-27 | 2014-05-01 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの作動方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2768223B8 (en) * | 2001-01-09 | 2016-11-09 | Sony Semiconductor Solutions Corporation | Image pick up device |
JP2005334257A (ja) | 2004-05-26 | 2005-12-08 | Fuji Film Microdevices Co Ltd | 内視鏡 |
JP4694310B2 (ja) | 2005-08-22 | 2011-06-08 | Hoya株式会社 | 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム |
US8111286B2 (en) | 2006-09-28 | 2012-02-07 | Fujifilm Corporation | Image processing apparatus, endoscope, and computer readable medium |
TWI422020B (zh) * | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
JP5259882B2 (ja) * | 2010-09-30 | 2013-08-07 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
CN103079454B (zh) * | 2010-10-08 | 2015-09-30 | 奥林巴斯医疗株式会社 | 摄像装置 |
CN103250406B (zh) * | 2010-12-14 | 2017-03-01 | 奥林巴斯株式会社 | 摄像装置 |
JP5943393B2 (ja) * | 2011-05-11 | 2016-07-05 | 国立大学法人東京工業大学 | 撮像装置 |
EP2731334A4 (en) * | 2011-07-08 | 2015-02-25 | Olympus Corp | PICTURE RECORDING DEVICE AND PICTURE PRODUCTION PROCESS |
JP5245022B1 (ja) * | 2011-08-15 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP5687676B2 (ja) * | 2012-10-23 | 2015-03-18 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
US9042674B2 (en) * | 2013-03-15 | 2015-05-26 | Digitalglobe, Inc. | Automated geospatial image mosaic generation |
-
2015
- 2015-03-18 WO PCT/JP2015/058110 patent/WO2015170515A1/ja active Application Filing
- 2015-03-18 JP JP2015542508A patent/JP5881916B1/ja not_active Expired - Fee Related
-
2016
- 2016-04-28 US US15/140,552 patent/US9517002B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007010709A1 (ja) * | 2005-07-15 | 2007-01-25 | Olympus Medical Systems Corp. | 内視鏡及び内視鏡装置 |
JP2007317750A (ja) * | 2006-05-23 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2008085807A (ja) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | 画像処理装置、内視鏡装置、及び画像処理プログラム |
JP2012005512A (ja) * | 2010-06-22 | 2012-01-12 | Olympus Corp | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 |
JP2014076375A (ja) * | 2013-11-27 | 2014-05-01 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの作動方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5881916B1 (ja) | 2016-03-09 |
JPWO2015170515A1 (ja) | 2017-04-20 |
US20160235283A1 (en) | 2016-08-18 |
US9517002B2 (en) | 2016-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6196900B2 (ja) | 内視鏡装置 | |
JP6435275B2 (ja) | 内視鏡装置 | |
US8643710B2 (en) | Image pickup apparatus | |
JP6471173B2 (ja) | 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置 | |
US10070771B2 (en) | Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device | |
JP5769892B2 (ja) | 内視鏡 | |
JP6401800B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 | |
JP2013000176A (ja) | 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法 | |
EP3085299A1 (en) | Endoscopic device | |
WO2017158692A1 (ja) | 内視鏡装置、画像処理装置、画像処理方法およびプログラム | |
JPWO2016084257A1 (ja) | 内視鏡装置 | |
JPWO2019069414A1 (ja) | 内視鏡装置、画像処理方法およびプログラム | |
JP6137892B2 (ja) | 撮像システム | |
US10863149B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
JP6346501B2 (ja) | 内視鏡装置 | |
JP5881916B1 (ja) | 固体撮像素子、内視鏡および内視鏡システム | |
JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
JP5815162B2 (ja) | 撮像装置 | |
JP6243311B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
WO2019180983A1 (ja) | 内視鏡システム、画像処理方法およびプログラム | |
WO2017022323A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2015542508 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15789620 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15789620 Country of ref document: EP Kind code of ref document: A1 |