WO2017013972A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2017013972A1 WO2017013972A1 PCT/JP2016/067816 JP2016067816W WO2017013972A1 WO 2017013972 A1 WO2017013972 A1 WO 2017013972A1 JP 2016067816 W JP2016067816 W JP 2016067816W WO 2017013972 A1 WO2017013972 A1 WO 2017013972A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- operation mode
- black level
- unit
- pixel
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 64
- 238000012546 transfer Methods 0.000 claims abstract description 85
- 230000015654 memory Effects 0.000 claims abstract description 70
- 238000012937 correction Methods 0.000 claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 57
- 230000002950 deficient Effects 0.000 claims description 32
- 238000003780 insertion Methods 0.000 claims description 19
- 230000037431 insertion Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 description 50
- 239000003990 capacitor Substances 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000003705 background correction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to an imaging device that performs imaging using a solid-state imaging device.
- an imaging apparatus using a solid-state imaging element has been widely used in various apparatuses including a medical endoscope.
- a medical endoscope that is inserted into a body cavity, it is necessary to reduce the outer diameter of the insertion portion that is inserted into the body cavity and reduce the diameter to reduce pain to the patient. It is necessary to reduce the size of the solid-state imaging device disposed at the distal end portion of the insertion portion.
- Japanese Patent Application Laid-Open No. 2007-019577 as a first conventional example describes a mechanical shutter that captures a subject optical image and an imaging signal that outputs an image signal based on the subject optical image incident through the mechanical shutter.
- a storage means for holding the output of the image pickup element in a light-shielded state by the shutter as an output at the time of darkness; an exposure time at the time of actual photographing for capturing the subject optical image via the mechanical shutter; and the storage means
- An image pickup apparatus comprising: a correction unit that estimates a noise component during actual shooting based on the stored dark output and removes the noise component estimated from the output of the image pickup device during actual shooting and outputs the noise component Is disclosed.
- An imaging apparatus includes an image acquisition unit that acquires an image for use, and an image correction unit that corrects the first captured image and the second captured image using the dark shading correction image.
- the black level fluctuates due to a dark current proportional to the actual shooting time. That is, in the first conventional example, the black level is obtained by photographing the influence of the dark current due to the dark current generated in proportion to the actual photographing time only in the light receiving pixels or photoelectric conversion pixels that receive light. Correction is performed using an estimated value that is a correction amount proportional to time. Therefore, when there is an amount that affects the black level in a portion that is not proportional to the actual shooting time by the charge transfer unit to which the signal charge of the light receiving pixel is transferred or the signal output unit that outputs the signal charge of the charge transfer unit. On the other hand, it cannot be corrected accurately.
- the first conventional example cannot be applied to an imaging apparatus that does not have a mechanical shutter.
- a first signal readout system (FIG. 3) including noise is included in the image sensor itself that can acquire the first photographed image and the second photographed image in one image output period. 301, 303, 305) and a second signal readout system (302, 304, 306 in FIG. 3) that reads out a signal obtained by adding an optical signal and a noise signal, and has a structure that cannot be realized in a normal image sensor.
- an imaging apparatus capable of easily correcting the black level correcting the black floating level where the black level is not fixed
- a normal imaging element having one signal readout system (only) is desired.
- the present invention has been made in view of the above-described points, and an object of the present invention is to provide an imaging apparatus that can easily and accurately correct a black level even when a normal imaging element is used.
- a photoelectric conversion element that performs photoelectric conversion according to the amount of received light and accumulates charges
- a transfer unit that transfers charges accumulated in the photoelectric conversion elements, and transfers charges to signals
- a charge conversion unit for conversion a reset unit for resetting a signal of the charge conversion unit, a signal output unit for outputting a signal converted by the charge conversion unit, a vertical transfer line connected to the signal output unit, and a unit pixel
- a solid-state imaging device including a plurality of pixels, and the vertical transfer of the black level pixel signal in which the reset unit is in an off state and the transfer unit is in an off state and the signal level of the charge conversion unit is a black level.
- An operation mode control unit that switches between the first operation mode and the second operation mode in accordance with the setting of the plurality of normal pixel signals output from the output unit of the solid-state imaging device in the second operation mode.
- a black level correction unit that corrects a black level in the image signal, and the signal processing device stores the pixel signal value of the black level acquired in the first operation mode in a memory. And the black level correction unit corrects the image signal acquired in the second operation mode using a pixel signal value of a black level stored in the memory.
- FIG. 1 is a diagram illustrating an overall configuration of an imaging apparatus according to a first embodiment of the present invention.
- FIG. 2 is a diagram illustrating a configuration example of a unit pixel in the MOS type image pickup device in FIG. 1.
- FIG. 3 is a diagram showing a circuit configuration of a MOS type image pickup device.
- FIG. 4 is a diagram showing a configuration of an imager and an imager control circuit.
- FIG. 5 is a diagram showing a configuration of an imager and an imager control circuit when the number of signal lines in FIG. 4 is reduced.
- 6 is a diagram showing a configuration of the imager of FIG.
- FIG. 7 is a flowchart showing the overall processing contents of the first embodiment.
- FIG. 1 is a diagram illustrating an overall configuration of an imaging apparatus according to a first embodiment of the present invention.
- FIG. 2 is a diagram illustrating a configuration example of a unit pixel in the MOS type image pickup device in FIG. 1.
- FIG. 3 is a diagram
- FIG. 8A is a flowchart showing processing contents of a first operation mode for generating a pixel signal value of a black level.
- FIG. 8B is a timing chart for explaining the operation in the first operation mode.
- FIG. 9A is a flowchart showing the processing contents of a second operation mode that is a normal mode.
- FIG. 9B is a timing chart for explaining the operation in the second operation mode.
- FIG. 10 is a diagram illustrating an overall configuration of an imaging apparatus according to a modified example of the first embodiment.
- FIG. 11 is a diagram illustrating a configuration example of a correction circuit.
- FIG. 12 shows a defective pixel and surrounding pixels.
- FIG. 13 is a flowchart showing the processing content for acquiring black level data in the first operation mode during the second operation mode.
- an imaging apparatus 1 As shown in FIG. 1, an imaging apparatus 1 according to the first embodiment of the present invention includes an endoscope 2A inserted into a body cavity and a light source device that supplies illumination light to the endoscope 2A that is detachably connected. 3, an image signal processing device 4 that performs signal processing on the endoscope 2 ⁇ / b> A that is detachably connected, and a display image signal output from the image signal processing device 4. And a monitor 5 as a display device that displays an image as an endoscopic image.
- the endoscope 2A includes an elongated insertion portion 6 to be inserted into a body cavity, an operation portion 7 provided at the proximal end of the insertion portion 6, a light guide cable 8 and a signal cable extending from the operation portion 7. 9.
- a light source connector 10 provided at the end of the light guide cable 8 is detachably connected to the light source device 3, and a signal connector 11 provided at the end of the signal cable 9 is detachably connected to the image signal processing device 4.
- the light guide cable 8 and the signal cable 9 are integrated into one, for example, the signal cable 9 is extended from the light source connector 10 and the signal connector 11 at the end of the signal cable 9 is connected to the image signal processing device 4.
- the imaging apparatus 1 of the first embodiment can be configured using an endoscope 2B having a slightly different configuration in addition to the endoscope 2A.
- the endoscope 2B has a small-diameter insertion portion 6, but the endoscope 2A has an insertion portion 6 that is further reduced in diameter as compared to the endoscope 2B.
- the endoscope 2A in order to reduce the diameter of the insertion portion 6, the number of signal lines inserted into the insertion portion 6 is reduced as compared with the case of the endoscope 2B.
- the endoscope 2A has a part of the signal processing system different from that of the endoscope 2B (see FIGS. 4 and 5).
- the endoscopes 2A and 2B have the same configuration.
- the internal configuration of the endoscope 2B is the same as that of the endoscope 2A at the configuration level shown in FIG.
- a light guide 12 that transmits (guides) illumination light is inserted into the insertion portion 6 of the endoscope 2A.
- the light guide 12 is further inserted into the operation portion 7 and the light guide cable 8 to be used for a light source. It reaches the end of the connector 10.
- the illumination light from the light source device 3 is incident on this end, and the illumination light transmitted by the light guide 12 is transmitted from the distal end surface of the light guide 12 fixed to the illumination window provided at the distal end 13 of the insertion portion 6.
- the light is emitted to the outside and illuminates an observation target site such as the affected part 14 in the body cavity.
- the illuminated observation target site is a MOS type image pickup device that forms a solid-state image pickup device arranged at the image formation position by an objective lens 15 attached to the observation window provided adjacent to the illumination window at the tip portion 13.
- An optical image of the site to be observed is connected to 16 imaging surfaces.
- the MOS type imaging device 16 photoelectrically converts an optical image formed on the imaging surface by a photoelectric conversion device that forms a light receiving unit 45 (see FIG. 4) arranged on the imaging surface.
- An image sensor control circuit 17 that generates a drive signal for driving the MOS image sensor 16 and controls the MOS image sensor 16 to operate in two operation modes is disposed in the vicinity of the MOS image sensor 16.
- a MOS imager (hereinafter simply referred to as an imager) 18 is formed from the MOS image sensor 16 and the image sensor control circuit 17.
- the imager 18 disposed in the distal end portion 13 is mounted on a scope substrate 21 provided in the signal connector 11 through a plurality of signal lines 19 inserted through the insertion portion 6, the operation portion 7, and the signal cable 9. Connected to the imager control circuit 22.
- the scope substrate 21 is not limited to being provided inside the signal connector 11, and the scope substrate 21 may be provided inside the operation unit 7, for example. Further, a part of the imager control circuit 22 provided in the scope substrate 21 may be provided inside the image signal processing device 4 or a part of the function of the image signal processing device 4 may be provided in the imager control circuit 22. good.
- the imager control circuit 22 controls the imager 18 and operates the MOS imaging device 16 in two operation modes, thereby correcting the black level of the MOS imaging device 16 (also simply referred to as a signal value).
- a black having a black level correction using a memory 23 having a signal value storage unit (or black level correction data storage unit) 23a for storing (storing) and a stored pixel signal value (or black level correction data).
- a correction circuit 24 forming a level correction unit.
- ID identification information
- the image signal processing device 4 to which the signal connector 11 is connected is connected to the imager control circuit 22, whereby an image processing circuit 31 that performs signal processing on an image signal output from the imager control circuit 22, and an imager control circuit 22 and the control circuit 32 for controlling the image processing circuit 31, and an operation panel 33 for inputting various settings and conditions to be set to the control circuit 32.
- the control circuit 32 performs control corresponding to the ID endoscope 2A or 2B by reading the ID in the ID storage unit 23b.
- the setting unit 33a sets the timing and conditions for operating the MOS imaging device 16 in two operation modes by operating the operation panel 33 so that the endoscope 2A and 2B can be easily adjusted and maintained. A function is provided. When there is no possibility that a general user such as an operator operates in two operation modes, the setting unit 33a may function only when a specific authentication code set on the manufacturer side is input, for example. good. In the following description, the description will be given using the user, including the case where only the manufacturer staff operates.
- control circuit 32 includes a memory 32a, for example, inside the control circuit 32, and information on timing and conditions for performing two operation modes set by the setting unit 33a or the like is stored in the memory 32a.
- a first operation mode for outputting a black level signal of each pixel in the MOS image sensor 16 and a signal photoelectrically converted according to the amount of received light received in each pixel are output.
- the MOS type image pickup device 16 can be driven by switching to the second operation mode.
- the control circuit 32 controls the operation of the MOS image sensor 16 in accordance with the timing or timing condition information for performing the first operation in the two operation modes stored in the memory 32a.
- the memory 32a may be provided outside the control circuit 32.
- the control circuit 32 switches to the first operation mode even during the second operation mode.
- the MOS type image pickup device 16 and the like are controlled to operate.
- the control circuit 32 when switching the operation mode of the MOS type image pickup device 16 and the processing linked to the operation mode, the control circuit 32 is connected via the imager control circuit 22 or the image pickup device control circuit 17 in the imager 18. Do it.
- the image processing circuit 31 outputs the generated display image signal to the monitor 5. Further, the image processing circuit 31 calculates the average brightness in the image for one frame in the image signal output from the imager control circuit 22, and outputs the calculated signal to the light source device 3 as a dimming signal.
- the light source device 3 adjusts the amount of illumination light incident on the light guide 12 from the light source device 3 based on the dimming signal.
- the image signal output from the imager control circuit 22 is also input to the control circuit 32.
- the control circuit 32 monitors whether the upper limit value of the signal level of the input image signal is equal to or less than a predetermined threshold value. Thus, as a condition for performing the first operation mode, control may be performed so that the upper limit value of the signal level of the input image signal is limited to a predetermined threshold value or less.
- the light source device 3 includes a lamp 35 that generates illumination light, a lamp control circuit 36 that controls the amount of illumination light generated by the lamp 35, and an incident end of the light guide 12 that condenses the illumination light generated by the lamp 35. And a condensing lens 37 to be incident on the end portion.
- FIG. 2 shows the configuration of the unit pixel U of the MOS image sensor 16.
- the right side in FIG. 2 shows a semi-structured configuration of unit pixels
- the left side in FIG. 2 shows an equivalent circuit configuration of unit pixels.
- the unit pixel forms a photodiode Pd that forms a photoelectric conversion element that performs photoelectric conversion according to the amount of received incident light, and a transfer unit that transfers charges accumulated in the photodiode Pd to the charge conversion unit.
- a transfer transistor G a capacitor Fd that forms a charge conversion unit that converts charge into a signal
- an amplifier A that forms a signal output unit that outputs a signal from the capacitor Fd
- a reset that forms a reset unit that resets the signal from the capacitor Fd Transistor R.
- the cathode of the photodiode Pd and one end of the capacitor Fd are connected to the ground GND (abbreviated as GN in FIGS. 2 and 3).
- the power supply voltage Vdd is applied to the drains of the transistors forming the reset transistor R and the amplifier A.
- a transfer signal ⁇ T is applied to the gate of the transfer transistor G, and the source and drain of the transfer transistor G are turned on and off by the “H” and “L” levels of the transfer signal ⁇ T, respectively.
- the transfer transistor G When the transfer transistor G is turned on, the charge accumulated in the photodiode Pd is transferred to the capacitor Fd, and the charge accumulated in the capacitor Fd is converted into a signal having a voltage value corresponding to the amount of charge. Is done.
- the transfer transistor G is off, the charge corresponding to the black level accumulated in the capacitor Fd is converted into a signal in a state where the charge accumulated in the photodiode Pd is not transferred to the capacitor Fd.
- FIG. 3 shows a configuration of the MOS type image pickup device 16 in which a plurality of the unit pixels U of FIG. 2 are arranged in a lattice shape along the perpendicular direction and the horizontal direction. Note that FIG.
- FIG. 3 shows a simplified example of two pixels U11, U12, U21, and U22 arranged in the vertical direction and the horizontal direction, respectively. Further, in FIG. 3, the constituent elements such as the photodiode Pd constituting the unit pixel U in FIG. 2 are indicated by the photodiode Pdij constituting the pixel Uij (i, j are 1 or 2 in FIG. 3). Yes.
- the optical image of the objective lens 15 is formed on all the pixels in FIG. 3, and the MOS image sensor 16 in the present embodiment does not have an OB pixel and is a MOS type composed of only effective pixels. It is an image sensor.
- a (vertical column) selection transistor Vij for outputting the output signal of the amplifier Aij to the vertical transfer line Lj is provided at the output terminal of the amplifier Aij of the pixel Uij.
- the MOS type image pickup device 16 includes a vertical scanning circuit 41 and a horizontal scanning circuit that respectively generate a vertical selection signal ⁇ Vj for selecting a vertical pixel column in the pixel Uij and a horizontal selection signal ⁇ Hi for selecting a horizontal pixel column. 42 and a reset / transfer control circuit (or reset / transfer generation circuit) 43 that generates a reset signal ⁇ Rj and a transfer signal ⁇ Tj. Further, the MOS type image pickup device 16 selects (horizontal column) a selection transistor Hi that selects one vertical transfer line in the horizontal direction among the plurality of vertical transfer lines L1 and L2, and an output amplifier Au connected to the selection transistor Hi.
- the selection transistor Hi is selected by the horizontal selection signal ⁇ Hi output from the horizontal scanning circuit 42, and the signal of the pixel selected by the horizontal selection signal ⁇ Hi is output from the output amplifier Au.
- the selection transistors H1 and H2 may be connected, and a horizontal line connected to the input terminal of the output amplifier Au may be configured by a shift register RS as indicated by a dotted line.
- the charges received and photoelectrically converted by the plurality of photodiodes Pdij in the MOS type image pickup device 16 are converted into signals corresponding to the accumulated charges in the capacitor Fdij forming the charge conversion unit, and are vertically
- the signals of the selected horizontal pixels U1j and U2j are output to the vertical transfer lines L1 and L2 by the selection signal ⁇ Vj, respectively, and the signals of the selected horizontal pixels U1j and U2j are output by the horizontal selection signals ⁇ H1 and ⁇ H2, respectively.
- Each is output from the output amplifier Au.
- control is performed so that a black level signal is output from the MOS image sensor 16 and A / D converted and stored in the memory 23 with the transfer unit turned off.
- the black level signal value is stored in the memory 23
- the acquired signal is output from the MOS image sensor 16 in a state where the transfer unit is turned on, and the correction circuit 24 stores the black level signal stored in the memory 23.
- An image signal in which the black level is corrected by subtracting the value is generated.
- the plurality of photodiodes Pdij in the MOS type image pickup device 16 form a light receiving unit 45 (see FIG. 4) of the MOS type image pickup device 16, and the vertical scanning circuit 41, the horizontal scanning circuit 42, and the reset / transfer control circuit 43 are configured by MOS.
- a reading unit 46 (see FIG. 4) that reads out signals from each pixel based on light reception by the light receiving unit 45 of the image sensor 16 is formed, and an output unit 47 (FIG. 4) that outputs the signal from the MOS image sensor 16 by the output amplifier Au Reference).
- the operations of the vertical scanning circuit 41, the horizontal scanning circuit 42, and the reset / transfer control circuit 43 that form the reading unit 46 are controlled by a timing generator 53 that constitutes the image sensor control circuit 17.
- the image sensor control circuit 17 controls the operation of the MOS type image sensor 16 based on the operation mode control signal MODE transmitted from the control circuit 32.
- the vertical selection signal ⁇ V1 is turned on (the vertical selection signal ⁇ V2 is turned off), the horizontal selection signal ⁇ H1 is turned on (the horizontal selection signal ⁇ H2 is turned off), and the signal of the pixel U11 is output from the output amplifier Au.
- FIG. 4 shows the configuration of the imager 18 and the imager control circuit 22 in the case of the endoscope 2B
- FIG. 5 shows the configuration of the imager 18 and the imager control circuit 22 in the case of the endoscope 2A.
- the imager 18 and the imager control circuit 22 are connected by four signal lines 19 inserted through the insertion portion 6.
- the imager 18 and the imager control circuit 22 are connected by three signal lines 19 inserted through the insertion unit 6.
- two signal lines 19 for transmitting the power supply voltage Vdd and the ground GND potential are inserted through the insertion portion 6 (not shown in FIGS. 4 and 5).
- the imager operation control circuit 51 in the imager control circuit 22 receives an operation mode control signal (or mode control signal) MODE for controlling an operation mode, a synchronization signal SYNC, and a clock signal CLK. Each signal is transmitted to the image sensor control circuit 17 via one signal line 19.
- the image signal output from the MOS type image pickup device 16 of the imager 18 is transmitted to the imager operation control circuit 51 via the signal line 19.
- the operation mode control signal MODE, the synchronization signal SYNC, and the clock signal CLK transmitted from the imager operation control circuit 51 are supplied to the operation mode control circuit 52 that controls the operation mode constituting the image sensor control circuit 17 and the MOS image sensor 16.
- a timing generator 53 for generating a timing signal to be controlled.
- the timing generator 53 (under the control of the control circuit 32) controls the vertical scanning circuit 41, the horizontal scanning circuit 42 and the reset / transfer control circuit 43 that form the reading unit 46 as shown in FIG. 3 can also be defined as controlling the output unit 46. Also, in the case where a horizontal shift register is provided in front of the output amplifier Au in Fig. 3, the timing generator 53 also controls the output unit 47. ).
- the imager control circuit 22 also controls an imager operation control circuit 51 that controls the operation of the imager 18 under the control of the control circuit 32 and an (analog) image signal (or pixel signal) output from the MOS image sensor 16.
- a / D conversion circuit 54 for converting the signal into a digital image signal, a changeover switch 55 for switching the output signal of the A / D conversion circuit 54, and a black level image signal when the contact a of the changeover switch 55 is selected.
- a memory 23 for storing signal values and a correction circuit 24 for correcting an image signal when the contact b of the changeover switch 55 is selected are included. Instead of the A / D conversion circuit 54 shown in FIG.
- the imager operation control circuit 51 controls the changeover switch 55 based on the operation mode control signal MODE. Specifically, the imager operation control circuit 51 switches the changeover switch 55 so that the contact a is selected during the operation period of the first operation mode and the contact b is selected during the operation period of the second operation mode. .
- the signal value storage unit 23a described above and an ID storage unit 23b that stores an ID are formed by a part of different storage areas.
- the imager operation control circuit 51 in the imager control circuit 22 superimposes an operation mode control signal MODE for controlling the operation mode and the synchronization signal SYNC to provide one signal.
- the signal is transmitted to the image sensor control circuit 17 via the signal line 19.
- the other signal lines 19 are the same as in FIG.
- the imager control circuit 22 further superimposes (or encodes) the operation mode control signal MODE and the synchronization signal SYNC in the imager control circuit 22 of FIG. Encoder) 56 is provided.
- a serial / parallel conversion circuit 57 that performs serial / parallel conversion, and an encoded operation mode A decoder 58 for decoding the control signal MODE and the synchronization signal SYNC;
- FIG. 6 shows the configuration of the imager 18 in the case of FIG.
- the timing generator 53 does not output the transfer signal ⁇ T when operating the MOS imaging device 16 by switching between the first operation mode and the second operation mode, as will be described with reference to FIGS. 7 to 9B.
- the timing generator 53 reads the reset signal ⁇ R, the vertical selection signal ⁇ V, and the horizontal selection signal ⁇ H without outputting the transfer signal ⁇ T (schematically represented by ⁇ Toff in FIG. 6) in the first operation mode.
- the transfer signal ⁇ T, the reset signal ⁇ R, the vertical selection signal ⁇ V, and the horizontal selection signal ⁇ H are controlled to be output to the reading unit 46.
- the control content of the timing generator 53 is the same as that shown in FIG.
- the imaging apparatus 1 performs photoelectric conversion according to the amount of received light, a photodiode Pd (or Pdij) that forms a photoelectric conversion element that accumulates charges, and transfer that transfers charges accumulated in the photoelectric conversion elements.
- a transfer transistor G that forms a part, a capacitor Fd (or Fdij) that forms a charge conversion part that converts transferred charges into a signal, and a reset that forms a reset part that resets the signal of the charge conversion part Transistor R (or Rij), an amplifier A (or Aij) that forms a signal output unit that outputs a signal converted by the charge conversion unit, and a vertical transfer line L (or L1, L2) connected to the signal output unit ),
- a MOS type image pickup device 16 that forms a solid-state image pickup device including a plurality of pixels, and the reset unit is turned off and A first operation mode in which a pixel signal of the black level is output to the vertical transfer line L with a signal level of the charge conversion unit set to a black level with the unit turned off, and the reset unit is turned on from off, After the transfer unit is turned on and the charge accumulated in the photoelectric conversion element is transferred to the charge conversion unit, the signal output unit uses the signal of the charge conversion unit as a normal
- the setting unit 33a for setting the operation timing of the second operation mode to be output to the vertical transfer line L, and the operation for switching the first operation mode and the second operation mode according to the setting of the setting unit 33a.
- the control circuit 32 or the image sensor control circuit 17
- the output amplifier Au that forms the output unit of the solid-state image sensor in the second operation mode
- An image signal processing device 4 and an imager control circuit 22 forming a signal processing device including a correction circuit 24 that forms a black level correction unit that corrects a black level in an image signal composed of a plurality of normal pixel signals to be output;
- the signal processing device stores the pixel signal value of the black level acquired in the first operation mode at the operation timing set by the setting unit 33a in the memory 23, and the black level correction unit
- the image signal acquired in the second operation mode is corrected using a pixel signal value of a black level stored in the memory 23.
- FIG. 7 is a flowchart showing the overall processing content of the imaging apparatus 1.
- a user such as an operator turns on the power of the imaging device 1 in which the endoscope 2A or 2B is connected to the image signal processing device 4, and puts the imaging device 1 into an operating state.
- the user sets the two operation modes or the timing for operating the first operation mode from the setting unit 33 a of the operation panel 33. Since the operation mode is a configuration that can execute only one operation mode of the two operation modes, when the first operation is set, the second operation period (in the operation period in which the first operation mode is not set) is set. The operation mode setting is automatically determined.
- the memory 32a in the control circuit 32 stores information that is set to operate in the first operation mode at startup. Note that when operating the MOS image sensor as described above, it can be operated only in one operation mode (in other words, it cannot be operated in two operation modes at the same time). In the second operation mode, pixels of a plurality of lines are read out, and during that time (switching from the second operation mode to the second operation mode), for example, one line of pixels is read out in the first operation mode. It becomes possible.
- the user may operate the imaging apparatus 1 with the default setting, or in addition to the default setting, the setting unit 33a sets the operation to be performed in the first operation mode during the endoscopic examination. You can also.
- the signal value storage unit 23a of the memory 23 stores a black level pixel signal value as a reference in advance when the endoscope 2K is shipped from the factory. For this reason, even when the MOS imaging device 16 is operated in the second operation mode without performing the first operation mode, the image of the second operation mode is used by using the pixel signal value of the reference black level. The black level of the signal can be corrected.
- the control circuit 32 reads the ID of the memory 23 and performs control corresponding to the ID. For example, the control circuit 32 determines whether the endoscope connected to the image signal processing device 4 is 2A or 2B from the read ID, and performs control corresponding to the determined type of the endoscope 2K. It can be carried out.
- the control circuit 32 determines whether or not it is time to operate in the first operation mode based on information stored in the memory 32 a in order to operate the MOS type image pickup device 16. If it is set to perform the first operation mode at the time of startup, in the next step S4, the control circuit 32 controls the imager control circuit 22 so as to operate the MOS image sensor 16 in the first operation mode. .
- the first operation mode may be set at the same time as the white balance adjustment that is normally performed at the time of startup. In such a case, the MOS type image sensor 16 of the imager 18 operates in the first operation mode.
- the process in the first operation mode is as shown in FIG. 8A (described later).
- a pixel signal (also referred to as a first image signal) corresponding to the black level of each pixel output from the MOS image sensor 16 is sent to the imager control circuit 22 as shown in FIG. 4 or FIG. Entered.
- the selector switch 55 is switched so that the contact a is turned on, and the black level pixel signal input to the imager control circuit 22 is A / D converted and then input to the memory 23 via the selector switch 55. Is done.
- step S ⁇ b> 5 the black level signal value is stored in the signal value storage unit 23 a of the memory 23.
- the signal value storage unit 23a of the memory 23 is in the first operation mode so that it can be used selectively, for example, in addition to the area for storing the (default) black level signal value at the time of factory shipment.
- a second signal value storage area is provided for storing a black level signal value acquired when set. For this reason, the user corrects the black level using the black level signal value obtained when the black level correction is performed using the default black level signal value and when the first operation mode is set. You can choose whether or not to perform.
- the black level is corrected (automatically) using the black level signal value acquired in the first operation mode.
- the default black level signal value may be updated with the acquired black level signal value. In this way, when the black level characteristic of the MOS type image pickup device 16 has changed over time, default setting (or updating) that effectively corresponds to the characteristic change at the time of maintenance can be performed.
- step S6 When the process of storing the black level signal values in all the pixels (in other words, a plurality of pixels corresponding to one frame) forming the light receiving unit 45 of the MOS type image pickup device 16 is completed in the memory 23, the control circuit 32 in the next step S6. Controls the imager control circuit 22 to operate the MOS type image pickup device 16 of the imager 18 in the second operation mode.
- the MOS image sensor 16 operates in the second operation mode.
- the processing in this case is as shown in FIG. 9A (described later).
- step S3 when the determination result is not the operation timing of the first operation mode, the process proceeds to step S6.
- step S6 the second image signal output from the MOS type image pickup device 16 operated in the second operation mode is A / D converted in the imager control circuit 22 and then input to the correction circuit 24.
- step S7 the correction circuit 24 subtracts the black level signal value of the memory 23 from the input second image signal, and outputs an image signal with the black level corrected.
- step S8 the image processing circuit 31 performs contour correction, ⁇ correction, etc., generates an image signal for display, and outputs it to the monitor 5.
- step S9 the monitor 5 displays the corresponding image as an endoscopic image when the display image signal is input, and ends the process of FIG. Note that, as indicated by a dotted line in FIG. 7, the processing in steps S31 to S33 may be performed after the processing in step S9 (described later).
- step S16 in FIG. 8A shows the process substantially the same as step S5 of FIG.
- step S11 the timing generator 53 of the image sensor control circuit 17 controls the reset / transfer control circuit 43 to output the reset signal ⁇ R.
- FIG. 8B shows a timing diagram (for the case of the configuration of FIG. 3) corresponding to the process of FIG. 8A.
- the reset / transfer control circuit 43 sequentially outputs ⁇ R1 and ⁇ R2 as the reset signal ⁇ R.
- the reset transistors R11 and R12 of the pixels U11 and U12 are turned on by the reset signal ⁇ R1, and the outputs of the capacitors Fd11 and Fd12 and the amplifiers A11 and A12 are reset.
- the reset transistors R21 and R22 of the pixels U21 and U22 are turned on by the reset signal ⁇ R2, and the capacitors Fd21 and Fd22 and the outputs of the amplifiers A21 and A22 are reset.
- step S12 the timing generator 53 performs control so that the reset / transfer control circuit 43 does not output the transfer signal ⁇ T, and the transfer transistor G is turned off (the off state is maintained).
- the dotted line indicates that the transfer signal ⁇ T is not output.
- the timing generator 53 controls the vertical scanning circuit 41 to output the vertical selection signal ⁇ V.
- FIG. 8B shows a state in which the vertical scanning signals 41 output the vertical selection signals ⁇ V1 and ⁇ V2 at a timing when a predetermined time has elapsed after sequentially outputting the reset signals ⁇ R1 and ⁇ R2.
- the vertical selection signal ⁇ V1 outputs the signal of the amplifier A11 corresponding to the black level state of the pixel U11 to the vertical transfer line L1, and the signal of the amplifier A12 to the vertical transfer line L2.
- the signal of the amplifier A21 corresponding to the black level state of the pixel U21 is output to the vertical transfer line L1 and the signal of the amplifier A22 is output to the vertical transfer line L2 by the vertical selection signal ⁇ V2.
- the timing generator 53 controls the horizontal scanning circuit 42 to output the horizontal selection signal ⁇ H during the period in which the vertical selection signals ⁇ V1 and ⁇ V2 are output.
- the horizontal scanning circuit 42 sequentially outputs the horizontal selection signals ⁇ H1 and ⁇ H2 within the period during which the vertical selection signal ⁇ V1 is output, and the horizontal selection signal ⁇ H1, within the period during which the vertical selection signal ⁇ V2 is output.
- a state in which ⁇ H2 is sequentially output is shown.
- step S14 As shown in step S15, pixel signals corresponding to the black level of each pixel Uij are sequentially output from the MOS image sensor 16 via the output amplifier Au.
- pixel signals Ub11, Ub12, Ub21, Ub22 of black level are output from the output amplifier Au as output signals (of the MOS type image pickup device 16).
- the memory 23 is set in the write mode (shown in the W mode in FIG. 8B), and the black level pixel signals Ub11, Ub12, Ub21, Ub22 are A / D converted in the memory 23 as shown in step S16. After that, the digital black level pixel signal value is stored in association with the address of each pixel Uij. In this way, the processing in the first operation mode is completed.
- processing in the second operation mode will be described with reference to FIGS. 9A and 9B. In the second operation mode described below, the process in which the transfer signal ⁇ T is not output in the process of the first operation mode in FIG. 8A is changed to the process in which the transfer signal ⁇ T is output, and the other processes are the first.
- step S26 in FIG. 9A shows substantially the same processing as that in step S7 in FIG.
- the timing generator 53 of the image sensor control circuit 17 controls the reset / transfer control circuit 43 to output the reset signal ⁇ R in step S21.
- FIG. 9B shows a timing diagram (for the configuration of FIG. 3) corresponding to the process of FIG. 9A.
- the reset / transfer control circuit 43 sequentially outputs ⁇ R1 and ⁇ R2 as the reset signal ⁇ R in the same manner as shown in FIG. 8B.
- the reset transistors R11 and R12 of the pixels U11 and U12 are turned on by the reset signal ⁇ R1, and the outputs of the capacitors Fd11 and Fd12 and the amplifiers A11 and A12 are reset.
- the reset transistors R21 and R22 of the pixels U21 and U22 are turned on by the reset signal ⁇ R2, and the capacitors Fd21 and Fd22 and the outputs of the amplifiers A21 and A22 are reset.
- the timing generator 53 controls the reset / transfer control circuit 43 to output the transfer signal ⁇ T, and the transfer transistor G is turned on by the transfer signal ⁇ T.
- the transfer signal ⁇ T1 is output after a predetermined time to
- the reset signal ⁇ R2 is output
- the transfer signal ⁇ T2 is output after the predetermined time to. Is done.
- the predetermined time corresponds to a light receiving period for each pixel to capture an image for one frame.
- the vertical scanning circuit 41 sequentially outputs the vertical selection signal ⁇ V1 immediately after the transfer signal ⁇ T1 and the vertical selection signal ⁇ V2 immediately after the transfer signal ⁇ T2.
- the voltage signals converted by the capacitors Fd11 and Fd12 of the pixels U11 and U12 are amplified by the amplifiers A11 and A12 by the vertical selection signal ⁇ V1 and output to the vertical transfer line L1.
- the voltage signals converted by the capacitors Fd21 and Fd22 of the pixels U21 and U22 by the vertical selection signal ⁇ V2 are amplified by the amplifiers A21 and A22 and output to the vertical transfer line L2.
- the timing generator 53 controls the horizontal scanning circuit 42 to output the horizontal selection signal ⁇ H during the period in which the vertical selection signals ⁇ V1 and ⁇ V2 are sequentially output.
- the horizontal scanning circuit 42 outputs the horizontal selection signals ⁇ H1 and ⁇ H2 within the period in which the vertical selection signal ⁇ V1 is output, and the horizontal selection signals ⁇ H1 and ⁇ H2 within the period in which the vertical selection signal ⁇ V2 is output. Is shown.
- a pixel signal having a voltage corresponding to the amount of light received by each pixel Uij is output from the MOS image sensor 16 via the output amplifier Au.
- pixel signals Ua11, Ua12, Ua21, Ua22 having voltages corresponding to the amount of received light (in the pixels U11, U12, U21, U22) are output from the output amplifier Au as output signals (of the MOS imaging device 16).
- An output signal output from the output amplifier Au is input to the correction circuit 24.
- the memory 23 is set to the read mode (indicated by the R mode in FIG. 9B), and the black level pixel signals (signal values) Ub11, Ub12, Ub21, Ub22 are read from the memory 23, and the correction circuit 24 Is input.
- step S26 the correction circuit 24 outputs a pixel signal sequence obtained by subtracting the black level pixel signal (signal value) Ubij from the pixel signal Uaij to the subsequent image processing circuit 31 as a corrected image signal. To do. In this way, the processing in the second operation mode shown in FIG. 9A is completed. According to the first embodiment that operates in this way, the black level can be corrected easily and accurately even when a normal image sensor having only one signal readout system is used. Further, in the first embodiment, the memory 23 stores (stores) the black level signal values of all the plurality of photoelectric conversion elements output from the MOS type image pickup device 16 in the first operation mode, and the black level.
- the correction circuit 24 forming the correction unit corrects all the normal pixel signals constituting the image signal acquired in the second operation mode with the black level signal value stored in the memory 23, so that each pixel Accurate black level correction can be performed every time. Further, according to the imaging apparatus 1 that employs the endoscope 2A in the first embodiment, the operation mode control signal MODE and the synchronization signal SYNC can be transmitted using the common signal line 19. Therefore, the diameter of the insertion portion 6 can be reduced.
- FIG. 10 shows the imaging apparatus 1 when the endoscope 2C is used. 10 includes an endoscope 2C, a light source device 3, an image signal processing device 4, and a monitor 5.
- the endoscope 2C has a configuration in which, for example, in the endoscope 2A, in the configuration of the imager control circuit 22, a correction circuit 24 ′ is further provided with a function of correcting a pixel defect.
- the endoscope 2C further stores, in the memory 23 in the imager control circuit 22 of the endoscope 2A, information on an address indicating a two-dimensional position of a defective pixel in the MOS type image pickup device 16 in a part of the memory 23.
- a defective pixel address storage unit 23c stored in the area is provided.
- an address indicating a two-dimensional position of a defective pixel in the MOS type image pickup device 16 mounted on the endoscope 2C is investigated, and the same endoscope investigated based on the investigation result.
- Information on the address of the defective pixel is stored in the defective pixel address storage unit 23c in the memory 23 provided in 2C.
- the memory 23 of the endoscope 2C includes a signal value storage unit 23a that stores a pixel signal value of a black level, an ID storage unit 23b, and a defective pixel address storage unit 23c.
- the defective pixel address storage unit 23 c may be formed using a memory separate from the memory 23.
- the correction circuit 24 ′ has a configuration as shown in FIG. 11, for example, with the black level correction and the defective pixel for the image signal input to the correction circuit 24 ′ in the second operation mode. Correct for.
- the correction circuit 24 ′ subtracts the image signal input in the second operation mode from the black level signal value read from the black level (signal value) storage unit 23 b of the memory 23 to correct the black level.
- a frame control circuit 63 for controlling writing and reading of the frame memories 62a and 62b, and two frame memories 62a and 62b for storing image signals output from the subtraction circuit 61 for one frame, respectively.
- a defective pixel correction circuit 64 that performs processing for correcting defective pixels in the image signals temporarily stored in the frame memories 62a and 62b and storing them in the frame memories 62a and 62b, and stored in the frame memories 62a and 62b.
- a switching circuit 65 that switches and outputs the image signal in which the defective pixel is corrected.
- the memory control circuit 63 switches the input image signal for each frame, for example, and writes it alternately into the two frame memories 62a and 62b.
- the defective pixel correction circuit 64 applies the pixel of the defective pixel address (from the defective pixel address storage unit 23c) to the image signal input to one frame memory where the input image signal is written.
- Image signal is corrected using signal values of a plurality of pixels around the defective pixel.
- surrounding pixels adjacent to the defective pixel are used as shown in FIG. For example, when the defective pixel at the address (p, q) is represented by Pp, q as shown in FIG.
- the defective pixel correction circuit 64 for example, outputs signals of pixels Pp-1, q and Pp + 1, q adjacent in the vertical direction. Using the average value, Pp and q are corrected for the defective pixel, and the corrected signal value is stored in the address of the defective pixel in the frame memory. In this manner, the defective pixel in each frame is corrected, and when the next frame is reached, the black level and the image signal with the defective pixel corrected are transferred from the frame memory storing the image signal with the defective pixel corrected to the switching circuit 65. Then, it is output from the correction circuit 24 '.
- the correction of defective pixels Pp and q is not limited to the case where two pixels Pp ⁇ 1, q, Pp + 1, q adjacent in the vertical direction are used, but two pixels adjacent in the horizontal direction,
- the defective pixels may be corrected using 8 pixels around Pp and q.
- a correction circuit 24 that performs black level correction without correcting defective pixels a configuration in which the pixel defect correction circuit 64 is deleted from the configuration of the correction circuit 24 ′ shown in FIG. In the following description, the above configuration is assumed as the correction circuit 24 when applied to the endoscope 2A or 2B.
- the memory 23 in the endoscope 2A or 2B may be configured to have no defective pixel storage unit 23c in the memory 23 shown in FIG.
- a black level signal value in the first operation mode is acquired during a plurality of frame periods in the second operation mode, and the black signal value is acquired using the acquired signal value.
- the level can be corrected. By performing such correction, it is possible to cope with a case where the black level fluctuates due to a change in the temperature of the environment when performing an endoscopic examination.
- the following description is applicable not only to the endoscope 2C but also to the endoscope 2A or 2B. That is, the case of the first embodiment is also included.
- the control circuit 32 when applied to the case of the endoscope 2A or 2B, it is possible to cope with a case where the black level fluctuates due to a change in the temperature of the environment when performing the endoscopy, an effect of further correcting a pixel defect is added.
- the control circuit 32 performs the first operation from the operation panel 33 or the like in the second operation mode as in step S31 indicated by a dotted line. It is determined whether or not an instruction input for acquiring a black level signal value according to the mode has been performed. When the instruction input is not performed, the control circuit 32 proceeds to the process of step S33.
- the control circuit 32 When the instruction input is performed, the control circuit 32 performs the first operation mode during the second operation mode as illustrated in step S32. A process of acquiring a black level signal value is performed. Then, the black level signal value in the memory 23 is updated. Therefore, when black level correction is performed using the black level signal value stored in the memory 23 after step S32, the black level signal value updated in the process of step S32 is used. Level correction will be performed.
- step S33 the control circuit 32 determines whether or not an instruction to end the (endoscope) inspection has been performed.
- the process of FIG. FIG. 13 shows the detailed processing of step S32.
- a plurality of pixels forming the light receiving unit 45 are provided in the horizontal direction (or the first direction) and in the vertical direction (or the second direction) orthogonal to the horizontal direction. It is assumed that they are arranged in a lattice pattern along m and n lines (m and n are natural numbers of 3 or more). If the configuration of FIG. 3 is used, this corresponds to the case where the pixels in the two rows in FIG.
- step S41 control operation is performed under the control of the control circuit 32
- the timing generator 53 drives the MOS image sensor 16.
- the operation controlled by the timing generator 53 is also described by the case where the imager operation control circuit 51 performs the operation.
- the outline of the processing shown in FIG. 13 is an imager operation that constitutes the operation mode control unit when the operation timing is set so as to perform the first operation mode in the second operation mode by the setting unit 33a or the like.
- the control circuit 51 reads out the pixels for one line in the pixels for m lines in the first operation mode, and saves (or stores) the read signal of the pixels for one line in the memory 23 as a black level signal value.
- the pixel signals for m lines are read in the second operation mode, the read pixel signals for m lines are stored (or stored) in the frame memory 62a or 62b, and stored in the frame memories 62a or 62b (or The black level is corrected before or after storing.
- the operation mode is the one in which only the second operation mode is performed, and the image signal obtained in the second operation mode is corrected using the black level signal value acquired in the first operation mode.
- the parameter i in step S41 represents a parameter for reading a pixel signal (represented by Hi) for one line in the horizontal direction
- the parameter k represents the pixel for one line in the horizontal direction in the first operation mode.
- the imager operation control circuit 51 switches the changeover switch 55 so that the contact a is turned on.
- the imager operation control circuit 51 controls the reading unit 46 to read the signal Hi of the parameter i in the second operation mode. That is, the reading unit 46 (the reset / transfer control circuit 43) reads the signal Hi of the parameter i in the second operation mode in which the transfer signal ⁇ T is turned on after outputting the reset signal ⁇ R.
- the imager operation control circuit 51 switches the changeover switch 55 so that the contact b is turned on.
- step S45 the imager operation control circuit 51 performs control so that the signal Hi of the parameter i is read out in the second operation mode. Further, the processing in steps S46 to S8 is performed in the same manner as in the case where the parameter i is 1, and then the step The process returns to S42.
- step S42 the process returns to step S42.
- parameter i 2
- step S43 and S44 are performed
- steps S45 to S48 are further performed
- Such processing is switched until the parameter k becomes equal to m.
- the process of storing (saving) the black level signal values of all the pixels of the light receiving unit 45 in the second signal value storage unit 23aa of the signal value storage unit 23a of the memory 23 is completed.
- the processing in FIG. 13 is terminated.
- the operation mode is set to perform only the second operation mode, and the image signal in the second operation mode is stored in the second signal value storage unit 23aa by the process in FIG.
- the black level is corrected using the level signal value. It should be noted that until the process of storing the black level signal values of all the pixels of the light receiving unit 45 shown in FIG. 13 in the second signal value storage unit 23aa is completed, before this process is completed, the memory 23
- the black level signal values of all the pixels of the light receiving unit 45 stored in the signal value storage unit 23a can be used for black level correction.
- the present invention is not limited to this case.
- the process of FIG. when there is a black level signal value already stored before the process of FIG. 13 in the user signal value storage unit 23aa is started, the process of FIG.
- the old black level signal value may be updated, and the black level correction may be performed using the black level signal value that is partially updated.
- the reading period T ⁇ (m + 1) for m + 1 lines is compared with the reading period T for one frame for reading signals for m lines when reading all the pixels of the light receiving unit 45. Therefore, in the case of m >> 1, the black level information of all the pixels of the light receiving unit 45 can be acquired by repeating almost the same period as the normal reading period T for m frame periods. .
- an image with good image quality can be displayed on the monitor 5 using the acquired black level information.
- the processing shown in FIG. 13 has been described in the case of processing for obtaining a black level signal value for one line in the reading period T of one frame. However, for example, a plurality of lines such as two lines or three lines are processed. You may make it perform the process which acquires the pixel signal value of a black level. Note that the processing shown in FIG. 13 may be changed. For example, when the pixel for the jth line is read as black level information in the first operation mode, for example, the pixel for the jth line is not read in the second operation mode.
- the processing shown in FIG. 13 may be changed. For example, when the pixel for the jth line is read as black level information in the first operation mode, for example, the pixel for the jth line is not read in the second operation mode.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
体腔内に挿入される医療用内視鏡の場合においては、体腔内に挿入される挿入部の外径を小さくして、患者に与える苦痛を低減するために細径化することが必要となり、挿入部の先端部に配置される固体撮像素子のサイズを小さくすることが必要となる。
挿入部の先端部に配置される固体撮像素子のサイズを小さくために、受光部を形成する画素の周辺側の一部の画素をメカニカルに遮光して、撮像画像上の黒レベルの信号を生成するオプティカルブラック画素(OB画素)を有しない有効画素の構成にすることが、考えられる。
このようにOB画素を有しない固体撮像素子にすることにより、挿入部の先端部に配置される固体撮像素子のサイズを小さくことが可能となるが、OB画素を有しない構成にしたことで撮像画像上の黒レベルが不確定な状態となり、モニタ表示上で画像全体が白くなったり(黒浮き)、不自然な黒(黒沈み)になったりしてしまうため、黒レベルの信号を生成する回路構成が必要になる。
また、第2の従来例としての日本国特開2014-82698号公報は、一つの画像出力期間に第1の撮影画像および第2の撮影画像を取得可能な撮像素子と、撮影条件に応じてダークシェーディング補正用画像を取得するか否かを判定する画像判定手段と、前記画像判定手段が前記ダークシェーディング補正用画像を取得すると判定した場合、前記第2の撮影画像の代わりに該ダークシェーディング補正用画像を取得する画像取得手段と、前記ダークシェーディング補正用画像を用いて前記第1の撮影画像および前記第2の撮影画像を補正する画像補正手段と、を有する撮像装置を開示している。
一方、上記第2の従来例は、一つの画像出力期間において第1の撮影画像および第2の撮影画像を取得可能とする撮像素子自体に、ノイズを含む第1の信号読出系(図3の301,303,305)と、光信号及びノイズ信号が加算された信号を読み出す第2の信号読出系(図3の302,304,306)との2系統の信号読出系を設けており、通常の撮像素子においては実現できない構造を採用している。そのため、1系統の信号読み出し系(のみ)を備えた通常の撮像素子においても簡単に黒レベルの補正(黒レベルが定まらない黒浮きレベルの補正)ができる撮像装置が望まれる。
本発明は上述した点に鑑みてなされたもので、通常の撮像素子を用いた場合においても簡単に、精度良く黒レベルを補正できる撮像装置を提供することを目的とする。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の撮像装置1は、体腔内に挿入される内視鏡2Aと、着脱自在に接続される内視鏡2Aに照明光を供給する光源装置3と、着脱自在に接続される内視鏡2Aに対する信号処理を行う画像信号処理装置4と、画像信号処理装置4から出力される表示用の画像信号が入力されることにより、前記画像信号の画像を内視鏡画像として表示する表示装置としてのモニタ5とを有する。
内視鏡2Aは、体腔内に挿入される細長の挿入部6と、この挿入部6の基端に設けられた操作部7と、操作部7から延出されたライトガイドケーブル8と信号ケーブル9とを有する。ライトガイドケーブル8の端部に設けた光源用コネクタ10は光源装置3に着脱自在に接続され、信号ケーブル9の端部に設けた信号用コネクタ11は画像信号処理装置4に着脱自在に接続される。なお、ライトガイドケーブル8と信号ケーブル9とを1本化し、例えば光源用コネクタ10から信号ケーブル9を延出して信号ケーブル9の端部の信号用コネクタ11を画像信号処理装置4に接続する構造にしても良い。
内視鏡2Aの挿入部6内には、照明光を伝送(導光)するライトガイド12が挿通され、このライトガイド12は、更に操作部7,ライトガイドケーブル8内を挿通されて光源用コネクタ10の端部に至る。
この端部には光源装置3からの照明光が入射され、ライトガイド12により伝送された照明光は、挿入部6の先端部13に設けた照明窓に固定されたライトガイド12の先端面から外部に出射され、体腔内の患部14等の観察対象部位を照明する。
MOS型撮像素子16は、撮像面に結像された光学像を、撮像面に配置された受光部45(図4参照)を形成する光電変換素子により光電変換する。このMOS型撮像素子16の近傍に、MOS型撮像素子16を駆動する駆動信号を生成すると共に、MOS型撮像素子16を2つの動作モードで動作させる制御を行う撮像素子制御回路17が配置され、MOS型撮像素子16と撮像素子制御回路17とからMOS型イメージャ(以下、単にイメージャ)18が形成される。
先端部13内に配置されたイメージャ18は、挿入部6、操作部7,信号ケーブル9内を挿通された複数の信号線19を介して、信号用コネクタ11内に設けたスコープ基板21に搭載したイメージャ制御回路22と接続される。なお、スコープ基板21を信号用コネクタ11の内部に設ける場合に限定されるものでなく、スコープ基板21を、例えば操作部7の内部に設ける構成にしても良い。また、スコープ基板21内に設けたイメージャ制御回路22の一部を、画像信号処理装置4の内部に設けたり、画像信号処理装置4の機能の一部をイメージャ制御回路22に設けるようにしても良い。
イメージャ制御回路22は、イメージャ18を制御すると共に、MOS型撮像素子16を2つの動作モードで動作させることにより、MOS型撮像素子16の黒レベルを補正する画素信号値(単に信号値とも言う)を格納(保存)する信号値格納部(又は黒レベル補正用データ格納部)23aを有するメモリ23と、保存した画素信号値(又は黒レベル補正用データ)を用いて黒レベルの補正を行う黒レベル補正部を形成する補正回路24と、を有する。
信号用コネクタ11が接続される画像信号処理装置4は、イメージャ制御回路22と接続されることにより、イメージャ制御回路22から出力される画像信号に対する信号処理を行う画像処理回路31と、イメージャ制御回路22及び画像処理回路31を制御する制御回路32と、制御回路32に対して、各種の設定や、設定する条件等の入力を行う操作パネル33とを有する。
制御回路32は、ID格納部23bのIDを読み出すことにより、IDの内視鏡2A又は2Bに対応した制御を行う。
なお、内視鏡2A、2Bの調整や、メンテナンス等を行い易いように操作パネル33を操作してMOS型撮像素子16を2つの動作モードで動作させるタイミングや条件の設定を行う設定部33aの機能を設けている。術者等の一般のユーザが2つの動作モードで動作させる可能性が無い場合には、例えばメーカ側において設定した特定の認証コードが入力された場合のみ、設定部33aが機能するようにしても良い。以下の説明では、メーカ側のスタッフのみが操作する場合も含めて、ユーザを用いて説明する。
そして、制御回路32は、メモリ32aに格納されている2つの動作モードにおける特に第1の動作を行うタイミング又はタイミング条件の情報に従って、MOS型撮像素子16の動作を制御する。なお、メモリ32aを制御回路32の外部に設ける構成にしても良い。また、制御回路32は、例えば第2の動作モード中において、操作パネル33から第1の動作モードを行う指示入力がされると、第2の動作モード中においても、第1の動作モードに切り替えてMOS型撮像素子16等を動作させるように制御する。また、後述するように、MOS型撮像素子16の動作モードやその動作モードに連動する処理等を切り替える場合、制御回路32は、イメージャ制御回路22や、イメージャ18内の撮像素子制御回路17を介して行う。
画像処理回路31は、生成した表示用の画像信号をモニタ5に出力する。また、画像処理回路31は、イメージャ制御回路22から出力される画像信号における1フレーム分の画像における平均の明るさを算出して、算出した信号を調光信号として、光源装置3に出力し、光源装置3は、調光信号に基づいて光源装置3からライトガイド12に入射させる照明光の光量を調整する。
光源装置3は、照明光を発生するランプ35と、ランプ35が発生する照明光の光量を制御するランプ制御回路36と、ランプ35により発生する照明光を集光してライトガイド12の入射端となる端部に入射させる集光レンズ37とを有する。
図2はMOS型撮像素子16の単位画素Uの構成を示す。なお、図2における右側は、単位画素の半構造的な構成を示し、図2における左側は、単位画素の等価的な回路構成を示す。
左側に示すように単位画素は、入射光の受光量に応じて光電変換を行う光電変換素子を形成するフォトダイオードPd、フォトダイオードPdに蓄積された電荷を電荷変換部に転送する転送部を形成する転送用トランジスタG、電荷を信号に変換する電荷変換部を形成するコンデンサFd、コンデンサFdの信号を出力する信号出力部を形成するアンプA、コンデンサFdの信号をリセットするリセット部を形成するリセット用トランジスタR、を有する。なお、フォトダイオードPdのカソードとコンデンサFdの一端はグラウンドGND(図2及び図3ではGNと略記)に接続される。また、リセット用トランジスタRとアンプAを形成するトランジスタのドレインには、電源電圧Vddが印加される。
そして、転送用トランジスタGがオンとなった場合には、フォトダイオードPdに蓄積された電荷がコンデンサFdに転送され、コンデンサFdにおいて蓄積された電荷がが電荷量に応じた電圧値の信号に変換される。
一方、転送用トランジスタGがオフの場合には、フォトダイオードPdに蓄積された電荷がコンデンサFdに転送されない状態においてコンデンサFdに蓄積された黒レベルに相当する状態の電荷が信号に変換される。
また、リセット用トランジスタRのゲートに、リセット信号φRが印加されることにより、リセット用トランジスタRのドレインと、コンデンサFdとアンプAの入力端となるゲートが接続されたソース間がそれぞれオンし、コンデンサFdの信号とアンプAの出力がリセットされる。
図2の右側では、図2の左側のフォトダイオードPdがSi基板上のpn接合により形成され、また転送用トランジスタGを形成する転送ゲート電極Gt、コンデンサFdを形成する高濃度の不純物領域n+、リセット用トランジスタRを形成するリセット用スイッチSRが図示されている。
図3は、図2の単位の画素Uを直交する垂直方向及び水平方向に沿って複数、格子状に配置したMOS型撮像素子16の構成を示す。なお、図3では、簡略化して、垂直方向及び水平方向にそれぞれ2画素、配置した画素U11,U12,U21,U22の例で示している。また、図3においては、図2における単位の画素Uを構成するフォトダイオードPd等の構成要素を、画素Uij(図3ではi,jは1又は2)を構成するフォトダイオードPdij等により示している。なお、本実施形態においては、対物レンズ15の光学像が、図3の全画素に結像され、本実施形態におけるMOS型撮像素子16は、OB画素を有しない、有効画素のみからなるMOS型撮像素子である。
図3に示すように画素UijのアンプAijの出力端には、アンプAijの出力信号を垂直転送線Ljに出力するための(垂直列)選択用トランジスタVijが設けられている。
また、MOS型撮像素子16は、複数の垂直転送線L1,L2における水平方向の1つの垂直転送線を選択する(水平列)選択用トランジスタHiと、選択用トランジスタHiに接続された出力アンプAuとが設けられており、選択用トランジスタHiは、水平走査回路42から出力される水平選択信号φHiにより選択され、水平選択信号φHiにより選択された画素の信号は、出力アンプAuから出力される。なお、図2において、選択用トランジスタH1,H2が接続されると共に、出力アンプAuの入力端に接続される水平線を、点線で示すようにシフトレジスタRSにより構成しても良い。
後述するように、MOS型撮像素子16における複数のフォトダイオードPdijにより受光され、光電変換された電荷は、電荷変換部を形成するコンデンサFdijにおいて、蓄積された電荷に応じた信号に変換され、垂直選択信号φVjにより、選択された水平方向の画素U1j、U2jの信号がそれぞれ垂直転送線L1,L2に出力され、水平選択信号φH1,φH2により、選択された水平方向の画素U1j,U2jの信号がそれぞれ出力アンプAuから出力される。
MOS型撮像素子16における複数のフォトダイオードPdijは、MOS型撮像素子16の受光部45(図4参照)を形成し、垂直走査回路41,水平走査回路42及びリセット/転送制御回路43は、MOS型撮像素子16の受光部45による受光に基づく信号を各画素から読み出す読出部46(図4参照)を形成し、出力アンプAuがMOS型撮像素子16による信号を出力する出力部47(図4参照)を形成する。
上記読出部46を形成する、垂直走査回路41,水平走査回路42及びリセット/転送制御回路43は、撮像素子制御回路17を構成するタイミングジェネレータ53により、その動作が制御される。また、撮像素子制御回路17は、制御回路32から送信される動作モード制御信号MODE等に基づいてMOS型撮像素子16の動作を制御する。
図4は内視鏡2Bの場合におけるイメージャ18と、イメージャ制御回路22との構成を示し、図5は内視鏡2Aの場合におけるイメージャ18と、イメージャ制御回路22との構成を示す。
内視鏡2Bにおいては、図4に示すようにイメージャ18と、イメージャ制御回路22とは、挿入部6内を挿通された4本の信号線19により接続されている。一方、内視鏡2Aにおいては、図5に示すようにイメージャ18と、イメージャ制御回路22とは、挿入部6内を挿通された3本の信号線19により接続されている。なお、この他に電源電圧VddとグラウンドGND電位をそれぞれ伝送する2本の信号線19が挿入部6内を挿通される(図4,図5においては図示略)。
イメージャ動作制御回路51から送信される動作モード制御信号MODE、同期信号SYNC及びクロック信号CLKは、撮像素子制御回路17を構成する動作モードを制御する動作モード制御回路52と、MOS型撮像素子16を制御するタイミング信号を生成するタイミングジェネレータ53とを有する。
(制御回路32の制御下の)タイミングジェネレータ53は、図3に示したように読出部46を形成する垂直走査回路41,水平走査回路42及びリセット/転送制御回路43を制御する(受光部45と読出部46とを制御すると定義することもできる。また、図3において出力アンプAuの前段に水平シフトレジスタを設けた場合には、タイミングジェネレータ53は、出力部47も制御することにもなる)。
なお、イメージャ動作制御回路51は、動作モード制御信号MODEに基づいて切替スイッチ55を制御する。具体的には、イメージャ動作制御回路51は、第1の動作モードの動作期間においては接点aを選択し、第2の動作モードの動作期間においては接点bを選択するように切替スイッチ55を切り替える。メモリ23には、それぞれ異なる一部の記憶領域により上述した信号値格納部23aと、IDを格納したID格納部23bとが形成されている。
これに対して、図5の内視鏡2Aにおいては、イメージャ制御回路22におけるイメージャ動作制御回路51は、動作モードを制御する動作モード制御信号MODEと、同期信号SYNCとを重畳して1本の信号線19を介して撮像素子制御回路17に伝送する。その他の信号線19に関しては、図4の場合と同様である。
また、図5の内視鏡2Aにおいては、図4における撮像素子制御回路17の動作モード制御回路52の代わりに、シリアル/パラレル変換を行うシリアル/パラレル変換回路57と、符号化された動作モード制御信号MODEと同期信号SYNCとを復号化するデコーダ58とを有する。
図6は、図5の場合のイメージャ18の構成を示す。なお、タイミングジェネレータ53は、図7~図9Bにおいて説明するように、第1の動作モードと第2の動作モードとを切り替えてMOS型撮像素子16を動作させる場合、転送信号φTを出力しないで駆動させる動作と、転送信号φTを出力して駆動させる動作とが決定的な差異となる。
換言すると、タイミングジェネレータ53は、第1の動作モードにおいては、転送信号φTを出力しない(図6ではφToffで模式的に示す)で、リセット信号φR、垂直選択信号φV、水平選択信号φHを読出部46に出力し、第2の動作モードにおいては、転送信号φT、リセット信号φR、垂直選択信号φV、水平選択信号φHを読出部46に出力するように制御する。
図4の構成の場合においても、タイミングジェネレータ53の制御内容は、図6に示す場合と同じとなる。
画像信号処理装置4に内視鏡2A又は2Bを接続した撮像装置1の電源を術者等のユーザが投入し、撮像装置1を動作状態にする。
最初のステップS1においてユーザは、操作パネル33の設定部33aから2つの動作モード、又は第1の動作モードを動作させるタイミング等を設定する。動作モードは、2つの動作モードにおける1つの動作モードのみしか実行できない構成であるため、第1の動作が設定されると、(第1の動作モードが設定されていない動作期間での)第2の動作モードの設定が自動的に決定する。制御回路32内のメモリ32aには、デフォルト設定の場合においては、起動時において、第1の動作モードにより動作するようにタイミング設定された情報が格納されている。
なお、上記のようにMOS型撮像素子を動作させる場合、1つの動作モードのみでしか動作させることができない(換言すると、同時に2つの動作モードで動作させることができない)が、後述するように第2の動作モードで複数のラインの画素を読み出し、その最中において(第2の動作モードから第2の動作モートに切り替え)、例えば1ラインの画素を第1の動作モードで読み出すように動作させることは、可能になる。
第1の動作モードの設定を行った後の次のステップS2において制御回路32は、メモリ23のIDを読出し、IDに対応した制御を行う。制御回路32は、例えば、読み出したIDから、画像信号処理装置4に接続された内視鏡が2Aであるか2Bであるかを判定し、判定した内視鏡2Kの種類に対応した制御を行うことができる。
次のステップS3において制御回路32は、MOS型撮像素子16を動作させるために、メモリ32aに格納された情報等に基づいて第1の動作モードで動作させるタイミングであるか否かを判定する。
起動時において第1の動作モードを行う設定である場合には、次のステップS4において制御回路32は、MOS型撮像素子16を第1の動作モードで動作させるようにイメージャ制御回路22を制御する。なお、起動時において通常行われるホワイトバランスの調整の際に、同時に第1の動作モードを行う設定にしても良い。このような場合、イメージャ18のMOS型撮像素子16は、第1の動作モードで動作する。第1の動作モードの場合の処理は図8Aのようになる(後述)。
なお、メモリ23の信号値格納部23aは、工場出荷時の(デフォルトの)黒レベルの信号値を格納する領域の他に、例えば選択的に使用することができるように第1の動作モードに設定した場合に取得される黒レベルの信号値を格納する第2の信号値格納領域を備えている。
このため、ユーザは、デフォルトの黒レベルの信号値を用いて黒レベルの補正を行う場合と、第1の動作モードに設定した場合に取得された黒レベルの信号値を用いて黒レベルの補正を行う場合との選択ができる。ユーザにより第1の動作モードを行うように設定された場合には、(自動的に)第1の動作モードにより取得された黒レベルの信号値を用いて黒レベルの補正を行うようになる。なお、メンテナンス時において黒レベルを取得した場合には、取得した黒レベルの信号値によりデフォルトの黒レベルの信号値を更新するようにしても良い。このようにすることにより、MOS型撮像素子16の黒レベルの特性が経年変化したような場合に対して、メンテナンス時においてその特性変化に有効に対応したデフォルト設定(又は更新)ができる。
ステップS3の判定処理において、第1の動作モードの動作タイミングでない判定結果の場合には、ステップS6の処理に移る。
ステップS6において第2の動作モードで動作したMOS型撮像素子16から出力される第2の画像信号は、イメージャ制御回路22内においてA/D変換された後、補正回路24に入力される。そして、ステップS7において補正回路24は、入力された第2の画像信号からメモリ23の黒レベルの信号値を減算し、黒レベルが補正された画像信号を出力する。
次に図8A及び図8Bを参照して第1の動作モードの場合の処理を説明する。なお、図8AにおけるステップS16の処理は、図7のステップS5と実質的に同じ処理を示す。
第1の動作モードが開始すると、ステップS11において撮像素子制御回路17のタイミングジェネレータ53は、リセット/転送制御回路43がリセット信号φRを出力するように制御する。
図8Bは図8Aの処理に対応した(図3の構成の場合に対する)タイミング図を示す。
また、ステップS12においてタイミングジェネレータ53は、リセット/転送制御回路43が転送信号φTを出力しないように制御し、転送用トランジスタGはオフにされる(オフの状態が維持される)。図8Bにおいては、転送信号φTが出力されないことを点線で示している。
次のステップS13においてタイミングジェネレータ53は、垂直走査回路41が垂直選択信号φVを出力するように制御する。図8Bにおいて垂直走査回路41がリセット信号φR1,φR2を順次出力した後に、所定の時間が経過したタイミングで垂直選択信号φV1,φV2を出力する様子を示す。
次のステップS14においてタイミングジェネレータ53は、垂直選択信号φV1,φV2がそれぞれ出力されている期間内に、水平走査回路42が水平選択信号φHを出力するように制御する。図8Bにおいて水平走査回路42は、垂直選択信号φV1が出力されている期間内に水平選択信号φH1,φH2を順次出力し、また垂直選択信号φV2が出力されている期間内に水平選択信号φH1,φH2を順次出力する様子を示す。
ステップS14の処理により、ステップS15に示すように各画素Uijの黒レベルの相当する画素信号が出力アンプAuを経てMOS型撮像素子16から順次出力される。図8Bにおいて、(画素U11,U12,U21,U22における)黒レベルの画素信号Ub11,Ub12,Ub21,Ub22が(MOS型撮像素子16の)出力信号として出力アンプAuから出力される。
このようにして、第1の動作モードの処理が終了する。
次に図9A及び図9Bを参照して第2の動作モードの場合の処理を説明する。
以下に説明する第2の動作モードは、図8Aにおいての第1の動作モードの処理において、転送信号φTが出力されない処理を、転送信号φTが出力する処理に変更し、その他の処理は第1の動作モードと同様に行う処理となる。但し、MOS型撮像素子16から出力された出力信号に対する処理は、第1の動作モードの処理の場合とは異なる。なお、図9AにおけるステップS26は、図7におけるステップS7の処理とほぼ同様の処理を示す。
第2の動作モードが開始すると、ステップS21において撮像素子制御回路17のタイミングジェネレータ53は、リセット/転送制御回路43がリセット信号φRを出力するように制御する。
同様に、リセット信号φR2により画素U21,U22のリセット用トランジスタR21,R22がオンし、コンデンサFd21,Fd22と、アンプA21,A22の出力がリセットされる。
また、次のステップS22においてタイミングジェネレータ53は、リセット/転送制御回路43が転送信号φTを出力するように制御し、転送信号φTにより転送用トランジスタGはオンする。図9Bにおいては、リセット信号φR1が出力された後、所定の時間toの後、転送信号φT1が出力され、またリセット信号φR2が出力された後、所定の時間toの後、転送信号φT2が出力される。所定の時間toは、各画素が1フレーム分の画像を撮像するための受光期間に相当する。
次のステップS23においてタイミングジェネレータ53は、垂直走査回路41が垂直選択信号φVを出力するように制御する。
図9Bに示すように、垂直走査回路41は転送信号φT1の直後に垂直選択信号φV1,転送信号φT2の直後に垂直選択信号φV2を順次出力する。
図3の構成の場合、垂直選択信号φV1により、画素U11,U12のコンデンサFd11,Fd12で変換された電圧信号がアンプA11、A12により増幅されてそれぞれ垂直転送線L1に出力される。同様に、垂直選択信号φV2により、画素U21,U22のコンデンサFd21,Fd22で変換された電圧信号がアンプA21、A22により増幅されて垂直転送線L2に出力される。
ステップS24の処理により、ステップS25に示すように各画素Uijの受光量に応じた電圧の画素信号が出力アンプAuを経てMOS型撮像素子16から出力される。図9Bにおいて、(画素U11,U12,U21,U22における)受光量に応じた電圧の画素信号Ua11,Ua12,Ua21,Ua22が(MOS型撮像素子16の)出力信号として出力アンプAuから出力される。出力アンプAuから出力される出力信号は、補正回路24に入力される。
この場合、メモリ23はリードモード(図9BではRモードで示す)に設定され、メモリ23から、黒レベルの画素信号(の信号値)Ub11,Ub12,Ub21,Ub22が読み出され、補正回路24に入力される。
このようにして、図9Aに示す第2の動作モードの処理が終了する。
このように動作する第1の実施形態によれば、1つの信号読み出し系のみを有する、通常の撮像素子を用いた場合においても簡単に、精度良く黒レベルを補正できる。
また、第1の実施形態においては、メモリ23は、第1の動作モードにおいてMOS型撮像素子16から出力される複数の光電変換素子全ての黒レベルの信号値を保存(格納)し、黒レベル補正部を形成する補正回路24は、第2の動作モードにより取得される画像信号を構成する前記通常の画素信号全てを、メモリ23に保存した黒レベルの信号値によりそれぞれ補正するため、各画素毎に精度の良い黒レベル補正ができる。
また、第1の実施形態における内視鏡2Aを採用した撮像装置1によれば、動作モード制御信号MODEと同期信号SYNCとを共通化した信号線19を用いて伝送することができる構成にしているので、挿入部6を細径化することができる。
図10は、内視鏡2Cを用いた場合の撮像装置1を示す。図10の撮像装置1では、内視鏡2Cと、光源装置3と、画像信号処理装置4と、モニタ5とを備えて構成されるが、図1に示した内視鏡2A又は2Bを画像信号処理装置4に接続することもできる。
内視鏡2Cは、例えば内視鏡2Aにおいて、イメージャ制御回路22の構成において、更に画素欠陥を補正する機能を追加した補正回路24′を備えた構成となっている。
また、この内視鏡2Cは、内視鏡2Aのイメージャ制御回路22におけるメモリ23において、更にMOS型撮像素子16における欠陥画素の二次元位置を表すアドレスの情報を、メモリ23における一部の記憶領域に格納した欠陥画素アドレス格納部23cを備える。
内視鏡2Cは、例えば工場出荷時において、その内視鏡2Cに搭載されたMOS型撮像素子16における欠陥画素の二次元位置を表すアドレスが調査され、調査結果により調査された同じ内視鏡2C内に設けたメモリ23内の欠陥画素アドレス格納部23cに、欠陥画素のアドレスの情報が格納される。
本変形例においては、補正回路24′は、例えば図11に示すような構成により、第2の動作モードにおいて補正回路24′に入力される画像信号に対して、黒レベルの補正と共に、欠陥画素に対する補正を行う。
補正回路24′は、第2の動作モードにおいて入力される画像信号と、メモリ23の黒レベル(信号値)格納部23bから読み出した黒レベルの信号値を減算して黒レベルを補正した画像信号を出力する減算回路61と、減算回路61から出力される画像信号を1フレーム分それぞれ格納する2つのフレームメモリ62a,62bと、フレームメモリ62a,62bの書込、読出を制御するメモリ制御回路63と、フレームメモリ62a,62bに一時的に格納された画像信号における欠陥画素を補正してフレームメモリ62a,62bに格納する処理を行う欠陥画素補正回路64と、フレームメモリ62a,62bに格納された欠陥画素が補正された画像信号を切り替えて出力する切替回路65とを有する。
欠陥画素(の画像信号)の補正を行う場合、例えば図12に示すように欠陥画素に隣接する周囲の画素を利用する。
例えば図12に示すようにアドレス(p,q)の欠陥画素をPp,qで表した場合、欠陥画素補正回路64は、例えば垂直方向に隣接する画素Pp-1,qとPp+1,qの信号値の平均値を用いて欠陥画素をPp,qを補正し、補正した信号値をフレームメモリにおける欠陥画素のアドレスに格納する。このようにして、各フレームにおける欠陥画素を補正し、次のフレームになると、欠陥画素が補正された画像信号を格納したフレームメモリから黒レベル及び欠陥画素が補正された画像信号が切替回路65を経て補正回路24′から出力される。なお、欠陥画素をPp,qを補正する場合、垂直方向に隣接する2つの画素Pp-1,q、Pp+1,qを用いる場合に限定されるものでなく、水平方向に隣接する2つの画素や、欠陥画素をPp,qの周囲の8画素を用いて補正しても良い。なお、欠陥画素の補正を行わない、黒レベルの補正を行う補正回路24として、図11に示す補正回路24′の構成において画素欠陥補正回路64を削除した構成にしても良い。また、以下の説明において、内視鏡2A又は2Bの場合に適用する場合には補正回路24として、上記の構成を想定する。なお、内視鏡2A又は2B内のメモリ23は、図11に示すメモリ23において、欠陥画素格納部23cを有しない構成にすれば良い。
つまり、第1の実施形態の場合も含むものとなる。更に、補足すると、内視鏡2A又は2Bの場合に適用すると、内視鏡検査を行う場合の環境の温度が変化したことが原因で、黒レベルが変動するような場合に対応できることになり、内視鏡2Cに適用した場合には、更に画素欠陥を補正することができる効果が追加されるものとなる。
本変形例は、例えば図7に示す処理において、ステップS9の処理の後に、点線で示すステップS31のように制御回路32は、第2の動作モード中において、操作パネル33等から第1の動作モードによる黒レベルの信号値を取得する指示入力が行われたか否かを判定する。
制御回路32は、指示入力が行われない場合にはステップS33の処理に移り、指示入力が行われた場合には、ステップS32に示すように第2の動作モード中において第1の動作モードによる黒レベルの信号値を取得する処理を行う。そして、メモリ23の黒レベルの信号値を更新する。従って、ステップS32を行った後においてメモリ23に格納された黒レベルの信号値を用いて黒レベルの補正を行う場合には、ステップS32の処理において更新された黒レベルの信号値を用いて黒レベルの補正を行うことになる。
図13は、ステップS32の詳細な処理を示す。なお、以下の説明においては、受光部45を形成する複数の画素が水平方向(又は第1の方向)及び水平方向に直交する垂直方向(又は第2の方向)に沿ってそれぞれ複数設けられたm,nライン(m,nは3以上の自然数)に沿って格子状に配置されているとする。
図3の構成を援用すると、図3における2行の画素をm行に、2列の画素をn列にした場合に対応する。
図13の処理が開始すると、ステップS41において(制御回路32の制御下で制御動作を行う)例えばイメージャ制御回路22内のイメージャ動作制御回路51は、タイミングジェネレータ53がMOS型撮像素子16を駆動する場合のパラメータi,kを初期値i=1,k=1に設定するように制御する。以下においては、タイミングジェネレータ53が制御する動作も、イメージャ動作制御回路51が行う場合で説明する。
また、上記第1の動作モードで読み出す1ライン分の画素を、例えば第1ラインから最後の第mラインまで順次変更することにより、受光部45の全画素の黒レベルの信号値を取得する処理となる。取得後は、第2の動作モードのみを行う動作モードとなり、第2の動作モードにおいて得られる画像信号を、第1の動作モードにより取得した黒レベルの信号値を用いて補正を行う。
上記ステップS41におけるパラメータiは、水平方向の1ライン分の画素の信号(Hiで表す)を読み出す場合のパラメータを表し、パラメータkは、第1の動作モードで水平方向の1ライン分の画素の黒レベルの信号(Bkで表す)を読み出す場合のパラメータを表す。
ステップS44に示すようにMOS型撮像素子16から出力されるパラメータi(=k=1)の黒レベルの信号Biはメモリ23の信号値格納部23aの第2の信号値格納部(図11において23aaで示す)に、1ライン分の信号値が、その1ライン分の画素アドレスに対応するメモリエリアに順次格納(保存)される。この場合、イメージャ動作制御回路51は、切替スイッチ55を接点aがオンするように切り替える。
次のステップS45においてイメージャ動作制御回路51は、読出部46がパラメータiの信号Hiを第2の動作モードで読み出すように制御する。つまり、読出部46(のリセット/転送制御回路43)は、リセット信号φRを出力した後、転送信号φTをオンにした第2の動作モードで、パラメータiの信号Hiを読み出す。
次のステップS47においてイメージャ動作制御回路51は、パラメータiが最後のラインmであるか否かの判定を行う。現在、パラメータiは1であるため、パラメータiはmに等しくないと判定され、ステップS48においてパラメータiが1つ大きくする処理(i=i+1)が行われた後、ステップS42の処理に移る。この場合、パラメータiは2になる。
ステップS42においてイメージャ動作制御回路51は、パラメータi(=2)がk(=1)に等しくないと判定し、ステップS45の処理に移る。ステップS45においてイメージャ動作制御回路51は、パラメータiの信号Hiを第2の動作モードで読み出すように制御し、さらにステップS46~S8の処理をパラメータiが1の場合と同様に行った後、ステップS42の処理に戻る。
ステップS49においてイメージャ動作制御回路51は、パラメータkがmに等しいか否かの判定を行い、等しくない判定結果の場合には、次のステップS50においてイメージャ動作制御回路51は、パラメータiを1,kを1つ大きくした(k=k+1)後、ステップS42の処理に戻る。
この場合、ステップS42においてイメージャ動作制御回路51は、パラメータi(=1)がk(=2)に等しくないと判定し、ステップS45の処理に移り、ステップS45~S48の処理を行った後、ステップS42の処理に戻る。
この場合にはパラメータiが2になるので、ステップS42においてパラメータiがk(=2)に等しいと判定される。そして、ステップS43,S44の処理が行われ、さらにステップS45~S48の処理が行われ、ステップS42の処理に戻る。
このような処理が、パラメータkがmに等しくなるまで切り替えされる。パラメータkがmに等しくなると、受光部45の全画素の黒レベルの信号値をメモリ23の信号値格納部23aの第2の信号値格納部23aaに格納(保存)する処理が終了する。
図13の処理が終了した場合には、第2の動作モードのみを行う動作モードとなり、第2の動作モードの画像信号を図13の処理により第2の信号値格納部23aaに格納された黒レベルの信号値を用いて黒レベルの補正を行うことになる。
なお、図13に示す受光部45の全画素の黒レベルの信号値を第2の信号値格納部23aaに格納する処理が終了するまでの間においては、この処理が終了する前にメモリ23の信号値格納部23aに格納されている受光部45の全画素の黒レベルの信号値を黒レベルの補正に用いることができる。この場合に限定されるものでなく、例えば、ユーザ用信号値格納部23aaにおける図13の処理を開始する前に既に格納されている黒レベルの信号値が存在する場合には、図13の処理により古い黒レベルの信号値を更新し、一部が更新される黒レベルの信号値を用いて黒レベルの補正を行うようにしても良い。
また、図13に示す処理は、受光部45の全画素を読み出す場合におけるmライン分の信号読出を行う通常の1フレームの読出期間Tに対して、m+1ライン分の読出期間T×(m+1)/mとなるため、m>>1の場合には、通常の読出期間Tと殆ど同じ期間をmフレーム期間、繰り返すことにより、受光部45の全画素の黒レベルの情報を取得することができる。そして、黒レベルの情報の取得後は、取得した黒レベルの情報を用いて、画質の良い画像をモニタ5において表示することができる。
なお、図13に示す処理は、1フレームの読出期間Tにおいて1ライン分の黒レベルの信号値を取得する処理の場合を説明したが、例えば2ライン分、又は3ライン分等の複数ラインの黒レベルの画素信号値を取得する処理を行うようにしても良い。
なお、図13に示す処理を変更しても良い。例えば、第1の動作モードで黒レベルの情報として、例えばj番目の1ライン分の画素を読み出した場合には、第2の動作モードではj番目の1ライン分の画素の読み出しを行わないようにしても良い。この場合、第2の動作モードでのj番目の1ライン分の画素が欠落するため、例えばj番目の1ラインに隣接するj-1番目とj+1番目の両1ライン分の画素の信号値で(欠落を)補正したり、1フレーム前のj番目の1ライン分の画素で(欠落を)補正するようにしても良い(図13に示す処理は、このような補正を必要としないで、1フレーム分の動画の画像を取得できるメリットを有する)。
また、上述した説明においては、黒レベルの画素信号値を、受光部45を形成する全ての画素に対して、取得する例を説明したが、各ラインに対して1つのみ取得するようにすることもできる。
なお、上述した変形例を含む実施形態を部分的に組み合わせて異なる実施形態を構成しても良い。
Claims (8)
- 受光量に応じた光電変換を行い、電荷を蓄積する光電変換素子、
前記光電変換素子に蓄積された電荷を転送する転送部、
転送される電荷を信号へ変換する電荷変換部、
前記電荷変換部の信号をリセットするリセット部、
前記電荷変換部により変換された信号を出力する信号出力部、
前記信号出力部と接続される垂直転送線、
を単位の画素とした複数の画素を備える固体撮像素子と、
前記リセット部をオフ状態、かつ前記転送部をオフ状態にして前記電荷変換部の信号レベルを黒レベルとした該黒レベルの画素信号を前記垂直転送線へ出力する第1の動作モード、及び前記リセット部をオンからオフ状態、かつ前記転送部をオン状態にして前記光電変換素子が蓄積した電荷を前記電荷変換部に転送した後、前記電荷変換部の信号を黒レベルが補正されていない通常の画素信号として前記信号出力部を介して、前記垂直転送線へ出力する第2の動作モードの動作タイミングを設定する設定部、
前記第1の動作モード及び前記第2の動作モードを切り替える動作モード制御部、
前記第2の動作モードにおいて前記固体撮像素子の出力部から、出力される複数の前記通常の画素信号からなる画像信号における黒レベルを補正する黒レベル補正部、
を備える信号処理装置と、を有し、
前記信号処理装置は、前記第1の動作モードにおいて取得した黒レベルの画素信号値をメモリに保存し、
前記黒レベル補正部は、前記第2の動作モードにおいて取得される前記画像信号を前記メモリに保存した黒レベルの画素信号値を用いて補正することを特徴とする撮像装置。 - 前記メモリは、前記第1の動作モードにおいて前記固体撮像素子から出力される前記複数の光電変換素子全ての黒レベルの画素信号値を保存し、
前記黒レベル補正部は、前記第2の動作モードにより取得される前記画像信号を構成する前記通常の画素信号全てを、前記メモリに保存した前記黒レベルの画素信号値によりそれぞれ補正することを特徴とする請求項1に記載の撮像装置。 - 前記撮像装置は、前記固体撮像素子を挿入部の先端部を設けた内視鏡と、
前記挿入部内に挿通され、前記固体撮像素子から前記画像信号を出力させるための駆動信号を生成するための同期信号と、前記第1の動作モード及び前記第2の動作モードで前記固体撮像素子をそれぞれ動作させる動作モード制御信号と、前記画像信号と、を伝送する信号線として、前記同期信号と前記動作モード制御信号とを共通化した信号線を用いて伝送することを特徴とする請求項1に記載の撮像装置。 - 前記内視鏡は、前記内視鏡に内蔵された前記固体撮像素子における欠陥画素のアドレスを保存する第2のメモリを備え、
前記黒レベル補正部は、前記第2の動作モードにおいて前記欠陥画素のアドレスに対応する前記画像信号に対して、該欠陥画素の周囲の複数の画素の画素信号で補正することを特徴とする請求項3に記載の撮像装置。 - 前記固体撮像素子は、前記複数の画素が直交する第1方向及び第2方向にそれぞれ複数設けられたm,nライン(m,nは3以上の自然数)に沿って格子状に配置され、
前記設定部により前記第2の動作モード中において、前記第1の動作モードを行うように動作タイミングが設定された場合においては、
前記動作モード制御部は、mライン分の画素における1ライン分の画素を第1の動作モードで読み出し、読み出した1ライン分の画素の信号を黒レベルの信号値としてメモリ23に保存し、かつmライン分の画素の信号を第2の動作モードで読み出す制御を、前記第1の動作モードで読み出す場合の前記1ラインを変更して、繰り返し行うように制御することを特徴とする請求項3に記載の撮像装置。 - 前記動作モード制御部は、前記第1の動作モードにより前記固体撮像素子から出力させる前記1ラインを、1フレーム期間毎に順次異なるmラインに変更して、mフレーム期間繰り返し行うように制御することを特徴とする請求項5に記載の撮像装置。
- 前記信号処理装置は、前記固体撮像素子から前記第2の動作モードにおいて、読み出された前記mライン分の画素の信号からなる画像信号に対してモニタに表示するための表示用画像信号を生成する画像処理回路を有し、
前記動作モード制御部が前記第1の動作モードにより前記固体撮像素子から出力される前記1ラインを、1フレーム期間毎に順次異なるmラインに変更して、mフレーム期間繰り返し行うように制御する当該mフレーム期間、前記モニタは、mライン分の画素を有する前記表示用画像信号の画像を表示することを特徴とする請求項6に記載の撮像装置。 - 前記内視鏡は、該内視鏡に設けられた前記固体撮像素子に対して前記第1の動作モードにおいて取得した黒レベルの画素信号値を保存する前記メモリと、該メモリに保存した黒レベルの画素信号値を用いて補正する前記黒レベル補正部とを内蔵することを特徴とする請求項3に記載の撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16827536.0A EP3188470A4 (en) | 2015-07-22 | 2016-06-15 | Imaging apparatus |
JP2016564347A JP6076578B1 (ja) | 2015-07-22 | 2016-06-15 | 撮像装置 |
CN201680003205.2A CN107079118B (zh) | 2015-07-22 | 2016-06-15 | 摄像装置 |
US15/479,838 US9895047B2 (en) | 2015-07-22 | 2017-04-05 | Image pickup apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015145093 | 2015-07-22 | ||
JP2015-145093 | 2015-07-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/479,838 Continuation US9895047B2 (en) | 2015-07-22 | 2017-04-05 | Image pickup apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017013972A1 true WO2017013972A1 (ja) | 2017-01-26 |
Family
ID=57833943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/067816 WO2017013972A1 (ja) | 2015-07-22 | 2016-06-15 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9895047B2 (ja) |
EP (1) | EP3188470A4 (ja) |
JP (1) | JP6076578B1 (ja) |
CN (1) | CN107079118B (ja) |
WO (1) | WO2017013972A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10630919B2 (en) * | 2018-02-05 | 2020-04-21 | Novatek Mircoelectronics Corp. | Image sensing apparatus and black level correction method thereof and computer readable medium |
CN110545388B (zh) * | 2019-08-28 | 2022-04-01 | 上海集成电路研发中心有限公司 | 一种去除图像暗电流的装置和方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983840A (ja) * | 1995-09-12 | 1997-03-28 | Olympus Optical Co Ltd | 固体撮像素子の信号読み出し処理方式 |
JP2009195602A (ja) * | 2008-02-25 | 2009-09-03 | Fujinon Corp | 電子通信システム及び内視鏡システム |
JP2010056723A (ja) * | 2008-08-27 | 2010-03-11 | Canon Inc | 撮像装置、撮像方法 |
JP2010171925A (ja) * | 2008-12-24 | 2010-08-05 | Victor Co Of Japan Ltd | 撮像装置 |
JP2010193042A (ja) * | 2009-02-17 | 2010-09-02 | Hoya Corp | 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム |
JP2013219558A (ja) * | 2012-04-09 | 2013-10-24 | Olympus Medical Systems Corp | 撮像装置 |
JP2014138356A (ja) * | 2013-01-18 | 2014-07-28 | Ricoh Co Ltd | 光電変換装置と画像読取装置及び画像形成装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007019577A (ja) | 2005-07-05 | 2007-01-25 | Seiko Epson Corp | 固体撮像装置 |
JP2010056273A (ja) * | 2008-08-28 | 2010-03-11 | Tdk Corp | コイル部品の製造方法 |
JP5032646B2 (ja) * | 2010-11-24 | 2012-09-26 | 株式会社東芝 | 撮像装置、撮像装置の作動方法及び内視鏡装置 |
US9191598B2 (en) * | 2011-08-09 | 2015-11-17 | Altasens, Inc. | Front-end pixel fixed pattern noise correction in imaging arrays having wide dynamic range |
JP5893329B2 (ja) * | 2011-10-14 | 2016-03-23 | オリンパス株式会社 | 撮像装置および内視鏡装置 |
CN103609097A (zh) * | 2012-03-13 | 2014-02-26 | 奥林巴斯医疗株式会社 | 固体摄像装置用信号处理装置以及固体摄像装置 |
JP5148768B2 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社東芝 | 撮像装置、撮像装置の作動方法及び内視鏡装置 |
WO2014002732A1 (ja) * | 2012-06-27 | 2014-01-03 | オリンパスメディカルシステムズ株式会社 | 撮像装置および撮像システム |
US10568496B2 (en) * | 2012-07-26 | 2020-02-25 | DePuy Synthes Products, Inc. | Continuous video in a light deficient environment |
JP5875499B2 (ja) | 2012-10-18 | 2016-03-02 | キヤノン株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
CN105246395B (zh) * | 2013-03-15 | 2019-01-22 | 德普伊新特斯产品公司 | 综合固定模式噪声消除 |
US9525852B2 (en) * | 2013-08-02 | 2016-12-20 | General Electric Company | Systems and methods for embedded imaging clocking |
EP3158916A4 (en) * | 2014-06-23 | 2018-03-14 | Olympus Corporation | Image pickup device and endoscopic device |
-
2016
- 2016-06-15 WO PCT/JP2016/067816 patent/WO2017013972A1/ja active Application Filing
- 2016-06-15 EP EP16827536.0A patent/EP3188470A4/en not_active Withdrawn
- 2016-06-15 CN CN201680003205.2A patent/CN107079118B/zh active Active
- 2016-06-15 JP JP2016564347A patent/JP6076578B1/ja active Active
-
2017
- 2017-04-05 US US15/479,838 patent/US9895047B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983840A (ja) * | 1995-09-12 | 1997-03-28 | Olympus Optical Co Ltd | 固体撮像素子の信号読み出し処理方式 |
JP2009195602A (ja) * | 2008-02-25 | 2009-09-03 | Fujinon Corp | 電子通信システム及び内視鏡システム |
JP2010056723A (ja) * | 2008-08-27 | 2010-03-11 | Canon Inc | 撮像装置、撮像方法 |
JP2010171925A (ja) * | 2008-12-24 | 2010-08-05 | Victor Co Of Japan Ltd | 撮像装置 |
JP2010193042A (ja) * | 2009-02-17 | 2010-09-02 | Hoya Corp | 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム |
JP2013219558A (ja) * | 2012-04-09 | 2013-10-24 | Olympus Medical Systems Corp | 撮像装置 |
JP2014138356A (ja) * | 2013-01-18 | 2014-07-28 | Ricoh Co Ltd | 光電変換装置と画像読取装置及び画像形成装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3188470A4 * |
Also Published As
Publication number | Publication date |
---|---|
US9895047B2 (en) | 2018-02-20 |
US20170209023A1 (en) | 2017-07-27 |
EP3188470A4 (en) | 2018-05-16 |
CN107079118A (zh) | 2017-08-18 |
CN107079118B (zh) | 2019-12-10 |
EP3188470A1 (en) | 2017-07-05 |
JPWO2017013972A1 (ja) | 2017-07-20 |
JP6076578B1 (ja) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10038868B2 (en) | Solid-state image sensing device and electronic device | |
US10516839B2 (en) | Image sensor, imaging method, and electronic apparatus | |
JP2008036220A (ja) | 撮像装置及びそれを用いた内視鏡装置 | |
EP3157248B1 (en) | Imaging element, imaging device, endoscope, endoscope system, and method for driving imaging element | |
JP2004320346A (ja) | 固体撮像装置 | |
JP5932182B1 (ja) | 撮像素子、撮像装置、内視鏡および内視鏡システム | |
JP2013048694A (ja) | 内視鏡装置 | |
JP2008042298A (ja) | 固体撮像装置 | |
JP6153676B1 (ja) | 撮像素子および内視鏡 | |
US8169524B2 (en) | Image sensing apparatus with pixel readout correction | |
JP6076578B1 (ja) | 撮像装置 | |
JP2008017100A (ja) | 固体撮像装置 | |
JP4926654B2 (ja) | 撮像装置及び方法 | |
JP5538067B2 (ja) | 内視鏡システム | |
JP2006222762A (ja) | 撮像装置 | |
CN107682647B (zh) | 摄像元件以及摄像装置 | |
JP4991435B2 (ja) | 撮像装置 | |
JP2011087826A (ja) | 撮像装置および電子内視鏡装置 | |
JP5311927B2 (ja) | 撮像装置、撮像方法 | |
JP2017200129A (ja) | 撮像装置 | |
JP2016187072A (ja) | イメージセンサ、処理方法、及び、電子機器 | |
JP2009147553A (ja) | 固体撮像素子の駆動方法および撮像装置 | |
JP2010028226A (ja) | 固体撮像素子及びこれを用いた撮像装置 | |
JP2013058857A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2016564347 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16827536 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2016827536 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2016827536 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |