WO2012017968A1 - 撮像方法および撮像装置 - Google Patents

撮像方法および撮像装置 Download PDF

Info

Publication number
WO2012017968A1
WO2012017968A1 PCT/JP2011/067557 JP2011067557W WO2012017968A1 WO 2012017968 A1 WO2012017968 A1 WO 2012017968A1 JP 2011067557 W JP2011067557 W JP 2011067557W WO 2012017968 A1 WO2012017968 A1 WO 2012017968A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
horizontal
pixel
cds
pixels
Prior art date
Application number
PCT/JP2011/067557
Other languages
English (en)
French (fr)
Inventor
浩昭 福角
中村　和彦
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to CN201190000656.3U priority Critical patent/CN203691551U/zh
Publication of WO2012017968A1 publication Critical patent/WO2012017968A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Definitions

  • the present invention relates to an improvement in sensitivity of an imaging apparatus having a solid-state imaging device.
  • CCD (Charge-Coupled-Device) image sensors are less sensitive than solid-state image sensors, and there are few pixels called white scratches with abnormally high dark current levels, but white scratches occur at high temperatures, during high-sensitivity imaging, or during storage. Many. Further, when the near-infrared sensitivity of the CCD image sensor is increased, the photodiode becomes deeper and white scratches increase. Therefore, when the sensitivity is improved by the accumulation operation, white scratches are further increased. Therefore, improvement in effective sensitivity is limited.
  • CDS Correlated-Double-Sampling
  • AGC variable gain amplification circuit
  • ADC Analog
  • AFE Analog-Front-End with built-in -Digital- Converter
  • Inter Line CCD image sensor has high sensitivity for a low unit price. Particularly recently, the sensitivity is higher than that of a horizontal 760 pixel CCD image sensor having a screen diagonal of 8 mm (1/2 type) or a screen diagonal of 6 mm (1/3 type), and the saturation signal amount is high from the conventional 1000 mV to 1400 mV.
  • Non-Patent Document 2 Electron-multiplying CCD (EMCCD) can be combined with an electronic cooling unit to increase sensitivity, so there is no illumination for visible and near-infrared night photography. Monitoring became possible. However, both high-sensitivity IT-CCD and EM-CCD have a large dark current.
  • EMCCD Electron-multiplying CCD
  • An object of the present invention is to maintain a color by expanding a variable range of sensitivity of an image signal output from a CCD image sensor.
  • the present invention adds three or more odd horizontal pixel signal charges in a color solid-state imaging device using one solid-state imaging device with an on-chip color filter, and generates a horizontal pixel signal for each scanning line.
  • the combination of charge additions is changed in a positive order, and after analog-to-digital conversion, a pseudo luminance signal (2Y + G, etc.) is calculated by left-right addition of pixel signals, and pseudo-subtraction is performed by diagonal subtraction in the positive order direction of pixel signals.
  • a vertical contour correction signal is created from the scanning line video signal of the number of pixels to which the horizontal pixel signal charge is added + 3 or more, and the horizontal number of pixels from the pixel delay video signal of the number of pixels to be added the horizontal pixel signal charge + 3 or more.
  • a contour correction signal is generated, and the vertical contour signal and the horizontal contour signal are added to a video signal.
  • the reset CDS uses the reset CDS, 12-bit or more AFE, and digital gain-up means, the reset CDS performs addition of 3 or more odd horizontal pixel signal charges, and the reset CDS.
  • An imaging method characterized by combining AGC amplification in AFE and digital gain increase by a digital gain increase means. Furthermore, in the above imaging method, a CCD having a high saturation signal amount of about 1400 mV or more is used for the solid-state imaging device, and the average value of the signal charge of the output of the solid-state imaging device (or the amount of incident light on the solid-state imaging device). And a phase advance of the phase of the CDS reset pulse of the reset CDS for inputting the signal charge of the solid-state imaging device.
  • a clamp for inputting the signal charge of the IT-CCD imaging device
  • Correlated double sampling-hold means having a function, sample hold (set) function and reset function, means for adding three or more odd horizontal pixel charge signals, and analog-digital conversion Means for delaying the digitally converted signal in a horizontal period; means for delaying the digitally converted signal in units of pixels; means for adding the digitally converted signal; and means for subtracting the digitally converted signal
  • CDS Correlated double sampling-hold means
  • the color solid-state imaging device is characterized in that a pseudo luminance signal is calculated, and a pseudo color difference signal is calculated by the subtraction of positive and negative with the order direction of the digitally converted pixel signal.
  • correlated double sampling hold means having a clamp function, a sample hold function, and a reset function for inputting signal charges of the IT-CCD image pickup element.
  • CDS Correlated Double Sampling-hold: CDS
  • means for analog-to-digital conversion means for delaying the horizontal period, means for delaying in units of pixels, and means for extracting high frequency components of the luminance signal of the upper and lower scanning lines.
  • a color solid-state imaging device that performs at least one of interpolation with a high-frequency component of a signal.
  • the vertical contour signal Signal and the horizontal contour signal are added to the video signal delayed by N horizontal periods and M pixels, and the dark current of all pixels is corrected and the horizontal pixel charge signal is added or the horizontal pixel charge signal is added. And it is corrected by adding the dark current of all pixels from a color solid-state imaging apparatus characterized by performing at least one.
  • the image sensor has temperature detecting means, and the CPU operation clock (about 12 MHz) is synchronized with the CCD clock as a ratio of an integer K: integer L to a CCD clock (about 12 MHz at 960H) (6 ° C.
  • Correcting the dark current, the jump of all pixels from the CPU synchronized with the CCD clock and the logic circuit originally synchronized with the CCD clock, and the saturation signal amount to the solid-state image sensor is also approximately Using a high CCD of 1400 mV or higher, using a CDS with reset, an AFE of 12 bits or higher, and a digital gain-up means, adding the above horizontal pixel signal charges with an odd number of 3 or more with the CDS with reset, and with the reset Increasing the capacitance value of the integration capacitor of the CDS with reset to the conduction resistance of the sample hold switch of the CDS or reducing the sample hold time to reduce the impedance of the integration capacitor at the frequency of the sample hold time; AGC amplification in AFE and digital gain increase with digital gain increase means A color solid-state imaging device comprising a combining, at least one of the.
  • a color solid-state image pickup device using one or more CCD image pickup devices horizontal synchronization generation for changing the CDS reset pulse phase for inputting the signal charge of the output of the CCD image pickup device and each CDS reset pulse of the reset CDS And inputs an average value of signal charges output from each solid-state image sensor of the solid-state image sensor and a signal charge of the solid-state image sensor.
  • the color solid-state imaging device is characterized in that the phase advance of the CDS reset pulse of the CDS with reset is proportional.
  • variable range of the sensitivity of the image signal output from the CCD image sensor can be expanded and the color can be maintained.
  • FIG. 1 is a block diagram illustrating an imaging apparatus having an overall configuration according to an embodiment of the present invention.
  • the schematic diagram which shows horizontal 5 pixel addition operation of one Example of this invention The schematic diagram which shows horizontal 7 pixel addition operation of one Example of this invention Schematic diagram showing the multi-pixel contour correcting operation of one embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an imaging apparatus having an overall configuration according to an embodiment of the present invention.
  • the overall configuration of an embodiment of the present invention will be described with reference to FIG. 3 which is a schematic diagram illustrating the operation of the embodiment of the present invention.
  • the details of one embodiment of the present invention will be described with reference to FIG. 2 of the block diagram showing the pixel interpolation section of the video signal processing section of one embodiment of the present invention.
  • 1 is a block diagram illustrating an imaging apparatus having an overall configuration according to an embodiment of the present invention.
  • Reference numeral 1 denotes an imaging apparatus
  • 2 denotes an optical system such as a lens for imaging incident light
  • 4 denotes components in the imaging apparatus 1.
  • a CPU Central-Processing-Unit
  • V-TG vertical transfer drive unit
  • 9 is an EM-CCD
  • 18 is a CCD image sensor such as an IT-CCD
  • 9 and 18 are light incident from the optical system 2.
  • Reference numeral 12 denotes an EM-CCD or a CDS for removing noise from a signal output from a CCD image sensor, an AGC for adjusting dark current correction and a signal gain, an ADC for converting to a digital video signal Vi, and a horizontal synchronization generator (Timing-Generator).
  • TG is an AFE (Analog Front End). However, a configuration in which AGC and TG are not included in the AFE may be used.
  • 15 is a CMG drive unit
  • 16 is a cooling unit
  • 17 is a cooling drive unit
  • 19 is a horizontal transfer drive unit (H-TG)
  • 20 is a CDS with reset.
  • 7 is a temperature sensor
  • M9 is a dark current screen memory
  • 8 is a D / A. Based on the CCD temperature detected by the temperature sensor 7, a dark current correction value for all pixels is generated from the dark current screen memory M9. The dark current is corrected by the reset CDS 20 via the D / A 8. Also at the time of pixel addition, the dark current of all the pixels is corrected by the CDS 20 with reset based on the temperature of the CCD, and then the pixels are added.
  • reference numeral 4 denotes a video signal processing unit including an odd-numbered pixel addition color separation unit and a multi-pixel contour correction unit, which performs various video processing on the signals output from the 12 AFEs and performs NTSC (National-Television-).
  • System-Committee or PAL (Phase-Alternating-by-Line) composite video signal (Video-Burst-Sync) (VBS) or SDI (Serial-Digital-Interface) video signal, or HDTV SDI (HD-SDI)
  • VBS Video-Burst-Sync
  • SDI Serial-Digital-Interface
  • HD-SDI High-SDI
  • the video signal processing unit 4 When the dark current is not corrected by the reset CDS 20, the video signal processing unit 4 generates a dark current correction value for all the pixels based on the CCD temperature detected by the temperature sensor 7, and corrects the AGC component in the AFE 12. Then, by correcting the video signal after adding the dark current correction value for pixel addition, correction equivalent to adding the pixels after correcting the dark current of all pixels is performed.
  • 61 is an input buffer (Bi)
  • 62 is a clamp coupling capacitor (Cci)
  • 63 is a clamp switch (Qq)
  • 64 Is an intermediate buffer (Bm)
  • 65 is a sample hold (set) switch (Qs)
  • 66 is a reset switch (Qr)
  • 67 is an integration capacitor (Cl)
  • 68 is an output buffer (Bo).
  • FIG. 1 of the block diagram showing the imaging apparatus having the overall configuration of one embodiment of the present invention is the horizontal transfer drive unit (H-TG). ) 19, CDS 20 with reset, temperature sensor 7, dark current screen memory M 9 and D / A 8 are added, and the video signal processing unit 5 has a color separation unit 25 corresponding to odd pixel addition and a multi-pixel contour correction unit. 26.
  • H-TG horizontal transfer drive unit
  • M7 to M8 are line memories, 37 to 39 are odd pixel delay units, and 40 to 41 are bits.
  • a shift unit (1/2 multiplier), 44 is an adder, and 42 to 43 are subtractors.
  • FIG. 2A is a block diagram showing a color separation unit corresponding to odd pixel addition of the video signal processing unit of one embodiment of the present invention
  • FIG. 3A is a schematic diagram showing horizontal three-pixel addition operation of one embodiment of the present invention.
  • N and m are integers of 0 or more and m-3 and m-2 are vertically added
  • the signal charges of 3N + 1, 3N + 2 and 3N + 3 pixels are added horizontally for 3 pixels, and m-1 and m are added vertically.
  • the signal charges of the pixels of 3N + 2, 3N + 3, and 3N + 4 are horizontally added by three pixels, and in the scanning line that is vertically added to m + 1 and m + 2, the signal charges of the pixels of 3N + 3, 3N + 4, and 3N + 5 are added by three horizontal pixels.
  • H-TG may be one of non-addition normal horizontal transfer drives, and the signal charges of three horizontal pixels may be added by thinning out reset pulses with a high-speed logic IC.
  • 3YCy + 2Y2GYe 6Y3G
  • the luminance signal of 7.5Y can also be calculated. If the luminance signal is interpolated between the signals of the upper and lower scanning lines, the luminance signal resolution of one pixel unit before the horizontal pixel addition can be maintained.
  • the upper, average, lower, and average are further averaged to separate colors of Cy, Ye, Mg, and G at the addition pixel position.
  • 2Y2GYe + 2Y2GCy 5Y5G.
  • 2Y2GYe-3YYe 2G-Y and the pseudo color difference signal can be calculated. If 7.5Y is attenuated to 1 / 7.5 and subtracted, it becomes 2G and a color signal can be calculated.
  • the horizontal resolution is the pixel unit before the addition. It becomes. That is, by adding the signal charges of the three horizontal pixels, the noise remains as it is, and the sensitivity is tripled (+9 dB).
  • the horizontal resolution can be secured by the number of horizontal pixels before addition.
  • the diagonal resolution is reduced to 1/3. Color separation is also possible, and color imaging can be maintained.
  • the horizontal three-pixel addition of the first embodiment is applied to a CCD image sensor with a high-sensitivity horizontal nominal 960 (effective 972) pixels with a screen aspect ratio of 4: 3 of the screen diagonal 6 mm (1/3 type) of Non-Patent Document 1 described above.
  • the horizontal nominal 320 (effective 324) pixels. This is about 14% lower than the conventional horizontal nominal 380 pixels of the conventional horizontal nominal 760 pixels, and the modulation depth reduction is also about 14% lower, which is acceptable.
  • the CCD clock is 18 MHz, and even if three pixels are added and left and right averaged, the clock is equivalent to 3 MHz and the color band is 1.5 MHz. That is, a high-frequency color difference signal band of 1.5 MHz for NTSC and PAL can be secured. Furthermore, if applied to a solid-state image sensor having a larger number of horizontal pixels, a decrease in the modulation factor is practically no problem.
  • the conventional horizontal By performing vertical pixel addition without pixel addition, the same pseudo color difference signal as 2R-G and 2B-G of diagonal left and right subtraction can be calculated. That is, in the case of a CCD imaging device having a pixel with a horizontal nominal value of 960 (effective 972) or more, even a simple method in which the combination of horizontal pixel charge signal addition in each scanning line is not changed in order, a conventional horizontal nominal value of 760 pixels is conventional.
  • the two-pixel addition is about 14% lower than the horizontal nominal 380 pixels, and the degree of modulation is about 14% lower, which is acceptable.
  • the color band is 1.5 MHz, and there is no practical problem. That is, highly sensitive color imaging is possible.
  • FIG. 3B which is a schematic diagram illustrating the horizontal 5-pixel addition operation of one embodiment of the present invention
  • the 5-pixel addition is 5YGCy, 5YGYe, 4YYe3G, and 4YCy3G.
  • 5YGCy + 5YGYe 10Y3G
  • a vertical luminance is added without horizontal pixel addition
  • a pseudo luminance signal similar to 2YG with right and left addition can be calculated.
  • 4YYe3G-5YGYe 2G-Y
  • the pseudo color difference signal can be calculated. If 10Y3G is attenuated to 1/10 and subtracted, it becomes 1.7G and a color signal can be calculated.
  • FIG. 3C which is a schematic diagram illustrating the horizontal five-pixel addition operation of one embodiment of the present invention
  • the seven-pixel addition becomes 7Y2GCy, 7Y2GYe, 6YYe4G, and 6YCy4G.
  • 7Y2GCy + 7Y2GYe 15Y5G
  • vertical pixel addition is performed without horizontal pixel addition
  • a pseudo luminance signal similar to 2YG by left-right addition can be calculated.
  • 6YYe4G-7Y2GYe 2G-Y
  • the pseudo color difference signal can be calculated. If 15Y5G is attenuated to 1/15 and subtracted, it becomes 1.7G and a color signal can be calculated.
  • 26 is a multi-pixel contour correcting unit
  • 27 is a video level determination unit
  • 28 is a pixel delay unit
  • 51 to 58 are additions.
  • 59 is a compression limiter having a small amplitude and a large amplitude
  • 60 is a multiplier for changing the positive / negative and amplification degree
  • 29 and 30 are contour signal generators
  • M1 to M6 are line memory units
  • N0 to N6 are negative multipliers.
  • P3 is a positive multiplier.
  • the pre-correction signal is delayed by the scanning line (H) period in the line memory units M1 to M7 and becomes a total 7H signal from 0H to 6H.
  • the 3H signal is further divided into a total of 23 sets of delay signals by pixel time, that is, CCD clock time, by 22 pixel delay units.
  • a total of 7H signals and a total of 23 sets of delayed signals enter the contour signal generators 29 and 30 to become a vertical contour signal and a horizontal contour signal, which are added by the adder 57, and the small amplitude large amplitude compression limit
  • the small amplitude and the large amplitude are compressed and limited at 59 of the unit, and a contour correction signal is generated by the positive / negative multiplier 60 that is controlled by the video level determination unit 27 that receives the 3H11 pixel delay signal, and is added to the 3H11 pixel delay signal. This is the corrected signal.
  • the number of 28 pixel delay units may be 10 or more. If five pixels are added, the number of 28 pixel delay units may be at least 16, and if seven pixels are added, 28 pixel delay units may be 22 or more. As the 3H11 pixel delay signal, a signal at the center of the delay may be selected.
  • the multi-pixel contour correction unit in FIG. The contour of the video signal can be reproduced. Further, even when the degree of modulation decreases from a low frequency at the lens aperture wide open or at the telephoto end, the decrease in modulation degree can be corrected, and the contour of the video signal can be reproduced. Furthermore, the amount of contour correction can be reduced by multi-pixel contour correction, the increase in noise associated with contour correction can be reduced, and the degree of amplification can be increased by AGC amplification in AFE or digital gain increase by digital gain increase means. It becomes easy. That is, the variable range of effective sensitivity for clear color imaging is further expanded, and the monitoring application is expanded.
  • Example 1 the horizontal three-pixel addition is performed by CCD imaging of a high-sensitivity horizontal nominal 960 (effective 972) pixels having a screen diagonal ratio of 6 mm (1/3 type) screen aspect ratio 4: 3 of Non-Patent Document 1.
  • the horizontal nominal 320 (effective 324) pixels. This is about 14% lower than the conventional horizontal nominal 380 pixels of the conventional horizontal nominal 760 pixels, and the modulation depth reduction is also about 14% lower, which is acceptable. If the horizontal nominal 960 pixels or more, there is no practical problem. If Example 2 is applied to a CCD image sensor having a horizontal nominal of about 1920 pixels or more, the horizontal nominal will be about 384 pixels or more.
  • Example 3 is applied to a CCD image sensor having a horizontal nominal of about 2800 pixels or more, the horizontal nominal will be about 400 pixels or more. This is larger than the conventional horizontal nominal 380 pixels of the general horizontal nominal 760 pixels, and there is no practical problem. Furthermore, if the multi-pixel contour correction according to the fourth embodiment is applied to the horizontal multi-pixel addition according to the first to third embodiments, it is possible to correct a decrease in the degree of modulation, and to realize high-sensitivity and clear color imaging, thereby expanding the monitoring application. .
  • the reproducibility of a color of a large area on the screen is higher when the luminance signal and the color difference signal are calculated by calculating the pseudo luminance signal and the pseudo color difference signal. Since the contour is likely to have a false color, the color difference signal is attenuated in the contour portion. It is suitable for monitoring to detect an object using a wide area color on the screen. In the horizontal multi-pixel addition according to the first to third embodiments, it is more difficult for the contour to be falsely colored when the pseudo luminance signal and the pseudo color difference signal are output. Suitable for monitoring where the situation is likely to change.
  • the operation clock (about 12 MHz) of the CPU 4 in FIG. 1 in the block diagram showing the imaging apparatus having the overall configuration of one embodiment of the present invention is synchronized with the CCD clock (about 18 MHz in 960H) as a ratio of integer K: integer L.
  • Video signal processing unit 5, read vertical transfer drive unit (V-TG) 6, D / A 8, AFE 12, CMG drive unit 15 and horizontal transfer drive unit including a color separation unit corresponding to odd pixel addition and a multi-pixel contour correction unit (H-TG) 19 is originally synchronized with the CCD clock.
  • the fixed noise is mainly caused by jumps from the CPU synchronized with the CCD clock and the logic circuit originally synchronized with the CCD clock and the dark current of the photodiode of the image sensor. Therefore, since the remaining jumping that becomes fixed noise is not amplified by the pixel charge addition, the signal ratio is reduced by the pixel charge addition. However, the fixed noise is not attenuated by the average with the upper and lower scanning lines or the average between the screens.
  • the CPU, video signal processing, TG, etc. (which can be integrated into the FPGA) logic circuit CMOS switching through current, the temperature change of the gate threshold voltage of the MOS-FET constituting the CMOS in the logic circuit and the temperature change of gm
  • the temperature change is small compared to the temperature change of the dark current of the photodiode of the image sensor. That is, even if the temperature of the logic circuit is replaced with the temperature of the image sensor, the accuracy is hardly degraded.
  • dark current is also added by the above horizontal pixel addition, and dark current unevenness becomes conspicuous on the screen. Therefore, in FIG.
  • FIG. 1 of the block diagram showing the image pickup apparatus having the entire configuration of one embodiment of the present invention, the darkness of all pixels having the temperature sensor 7 of the temperature detecting means of the image pickup device and approximately doubled when the temperature rises by 6 ° C.
  • the adder 50 adds the correction value of the jump in all the pixels from the CPU and the logic circuit that is originally synchronized with the CCD clock, and then adds it to the pixel charge signal by the D / A 8 and the reset CDS 20. °C Correcting the dark current of all the pixels that doubles by the rise, and the jumping of all the pixels from the CPU synchronized with the CCD clock with little change in temperature and the logic circuit originally synchronized with the CCD clock The horizontal pixel charge signal is added by the set CDS 20. Even if dark current is added by horizontal pixel addition, the dark current is corrected and dark current unevenness is not noticeable on the screen.
  • the jump of all pixels from the CPU synchronized with the CCD clock after adding the horizontal pixel charge signal and the logic circuit originally synchronized with the CCD clock may be corrected.
  • Fixed noise is reduced by dark current correction of all pixels and correction of all pixels from the logic circuit. Therefore, when combined with AGC amplification in the AFE 12 and digital gain increase in the video signal processing unit 5, high sensitivity is achieved. Increases effectiveness.
  • the jump from the switching power supply is because the turn-on of the MOS-FET of the main switching element is too early, and the MOS-FET of the main switching element turns-on before the turn-off of the diode or the complementary switching element MOS-FET.
  • the main reason is that the main and complementary switching elements are simultaneously turned on and a through current flows. Therefore, the bias of the control electrode voltage of the MOS-FET is shifted to the off side, the drive impedance of the control electrode voltage of the MOS-FET is set higher on the turn-on side than on the turn-off side, and the turn-on is delayed. The through current is reduced.
  • a ferrite bead is inserted in series between the CCD substrate (SUB) to which the electronic shutter pulse is applied and the substrate driving circuit, and unnecessary high frequency components of the electronic shutter pulse are limited to reduce jump noise between wirings.
  • the decoupling capacitor of the power supply for the substrate drive circuit has a B impedance multilayer ceramic capacitor, conductive polymer capacitor or tantalum capacitor having a low impedance capacitor of 4.7 ⁇ F or more with good temperature characteristics. H., et al. If the power supply impedance with a period of about 90 kHz of BL of about 11 ⁇ S is lowered, the noise jumping in via the power supply and ground of the electronic shutter can be reduced. Combining the above-described noise reduction by power source impedance reduction with AGC amplification in the AFE 12 and digital gain increase in the video signal processing unit 5 increases the effect of high sensitivity.
  • the input buffer 61, the intermediate buffer 64, and the output buffer 68 are generally emitter followers.
  • the clamp coupling capacitance 62 is about 47 pF
  • the integration capacitance (Cl) 67 is about 33 pF.
  • the clamp switch (Qq) 63, the sample hold switch (Qs) 65, and the reset switch (Qr) 66 are composed of MOS-FETs. If the reset pulse for driving the reset switch 66 is thinned out for an odd number N cycles, horizontal odd number N pixel addition is performed.
  • the reset CDS 20 may be integrated in the AFE 12. FIG.
  • 3E is a schematic diagram showing the operation of the reset CDS of the video signal processing unit of the embodiment of the present invention.
  • the impedance of the integration capacitor Cl in the conduction time of the sample hold switch Qs is the conduction resistance of the sample hold switch Qs.
  • the impedance of the integration capacitor 67 at the frequency of the sample hold time is reduced, the CDS output signal amplitude is reduced and AGC amplification is performed.
  • the sensitivity in the case of 0 is slightly reduced from about 93% (c) to about 60% in (b) with respect to (a), but the 1 / f noise of CDS output becomes smaller, and the signal-to-noise ratio (S / N) increases. Therefore, the AGC amplification degree in the AFE 12 is maximum, the S / N when the digital gain of the bit shift in the video signal processing unit 5 after 14 bit A / D in the AFE 12 is increased is improved, and the effective sensitivity is increased.
  • the S / N is constant, and the output signal amplitude of the CDS 20 with reset increases.
  • the CDS output signal amplitude is small, and it can be compensated that the sensitivity when the AGC amplification degree is 0 is lowered, so the effective sensitivity becomes very high.
  • the CDS 20 with reset for reducing 1 / f noise and the AFE 12 for reducing 1 / f noise are connected in series, the effective sensitivity becomes higher.
  • the IT-CCD of Non-Patent Document 1 has a high saturation signal amount from the conventional 1000 mV to 1400 mV, so if the AGC amplification in the AFE 12 is reduced, it can cope with an incident light amount higher than about 3 dB, and clear color imaging.
  • the effective variable range of sensitivity is further expanded, and monitoring applications are expanded. Since a higher incident light amount can be accommodated, it is preferable that the saturation signal amount of the CCD is higher.
  • the imaging apparatus uses a CCD with high sensitivity and a saturation signal amount of about 1400 mV or more, a CDS 20 with reset, an AFE with 12 bits or more, and a video signal processing unit 5 with a digital gain-up function.
  • the capacitance value of the integration capacitor 67 is increased with respect to the conduction resistance of the sample hold switch 65 of the CDS 20 with reset or the sample hold time is reduced to reduce the impedance of the integration capacitor 67 at the frequency of the sample hold time. If the AGC amplification in the 14-bit AFE 12 and the digital gain increase in the video signal processing unit 5 are combined, the effective sensitivity becomes very high.
  • the digital gain up function may exist in the AFE 12.
  • the techniques of the first to fifth embodiments are not limited to the examples of combinations described above and illustrated, and can be applied by freely combining individual techniques. By combining the techniques of the first to fifth embodiments, not only the sensitivity can be improved, but also the fixed noise can be reduced, the 1 / f noise can be reduced, the color can be maintained, and the sensitivity can be effectively improved. It is.
  • Non-Patent Document 1 Using the 1/3 type 960H CCD of Non-Patent Document 1, it is possible to achieve high sensitivity by horizontal pixel addition in Examples 1 to 3, and effective by reduction of fixed noise and 1 / f noise in Example 5. When combined with high sensitivity, ultra-high sensitivity is achieved while maintaining the color with 1/3 type. Further, when combined with the correction of the decrease in the modulation factor by the multi-pixel contour correction in the fourth embodiment, the decrease in the modulation factor at the telephoto end of the high-magnification telephoto zoom lens and the decrease in the aperture ratio can be permitted.
  • the 1/3 type 960H CCD of Non-Patent Document 1 the high sensitivity of Examples 1 to 3, the modulation degree reduction correction of Example 4, the noise reduction of Example 5, and the non-patent Combining the 1 / 3-type, compact, low-price 55x telephoto zoom lens of Document 2, the nitrogen-enclosed pan head required for border monitoring is also compact and low-priced.
  • a sensitive color monitoring device can be realized.
  • FIG. 1 of the block diagram showing the image pickup apparatus having the overall configuration of one embodiment of the present invention there is a reset CDS 20 for inputting the signal charge of the output of the CCD image pickup device and a horizontal synchronization generator 19. If the CDS reset pulse phase of the reset CDS 20 is varied, the signal-to-noise ratio is constant, the output signal amplitude of the reset CDS is variable, and the sensitivity is variable. Therefore, the CDS reset pulse phase generated by the horizontal synchronization generator 19 is made variable by the CPU 4 control.
  • the AFE 12 samples and holds it again, so that the degree of modulation does not change. That is, the variable range of effective sensitivity for clear color imaging is further expanded, and the monitoring application is expanded.
  • the image of the CDS with reset in which an abnormally large signal charge of the average value of the output of the CCD image sensor having an abnormally large average value of the incident light amount is input for imaging under the clear sky or the summer solstice covering the snow or ice ground, etc.
  • the phase of the CDS reset pulse is advanced to reduce the output signal amplitude of the CDS with reset, thereby reducing the sensitivity.
  • the sixth embodiment is not limited to FIG. 1 of the block diagram showing the image pickup apparatus having the overall configuration of one embodiment of the present invention, and the horizontal synchronization generator for changing the CDS reset pulse phase and the signal charge output from the CCD image pickup device. It is sufficient if there is a CDS with reset to be input. Therefore, even in a solid-state imaging device using a color separation optical system, three or more CCD imaging elements, and three or more resetting CDSs, if there is a horizontal synchronization generating unit that individually varies the CDS reset pulse phase, it can be applied. Is possible.
  • a CCD image sensor such as a sodium lamp or monochromatic illumination such as a blue light emitting diode.
  • the average value of the incident light quantity of the CCD imaging device and the output of the CCD imaging device for a color with a large amount of illumination or monochromatic illumination is the other color.
  • the amount of incident light of the CCD image pickup device and the average value of the output of the CCD image pickup device increase abnormally.
  • the phase of the reset pulse for the color of the incident light amount with a large average value is advanced to reduce the output signal amplitude of the CDS with reset, thereby reducing the sensitivity. It is also possible to increase the sensitivity by delaying the phase of the reset pulse of the color of the incident light amount with a small average value to increase the output signal amplitude of the reset CDS. That is, if the average value of the amount of incident light on each solid-state image sensor and the output of the CCD image sensor is proportional to the phase advance of the reset pulse of the reset CDS for inputting the signal charge of each solid-state image sensor. good.
  • the average value of the output signal amplitude of the reset CDS for each color can be made evenly close, the AGC can be effectively used for variable sensitivity, and the color temperature range that can be handled by auto white In addition, the range of incident light quantity that can be handled by AGC can be expanded. Increase the capacitance value of the integration capacitor or reduce the sample hold time to reduce the impedance of the integration capacitor at the frequency of the sample hold time and decrease the CDS output signal amplitude with respect to the conduction resistance of the sample hold switch of the fifth embodiment.
  • the range of the incident light quantity that can be further dealt with can be expanded.
  • the phase of the reset pulse is varied by changing the phase of the CDS reset pulse of the CDS with reset for inputting the amount of incident light to the solid-state image sensor or the average signal charge of the output of the solid-state image sensor and the signal charge of the solid-state image sensor. If the phase is proportional, the range of incident light quantity that can be handled by automatic control can be expanded.
  • the spot ND filter which becomes low or becomes expensive becomes unnecessary.
  • a solid-state imaging device using a color separation optical system three or more CCD imaging elements, and three or more resetting CDSs, a low-cost and highly sensitive day / night color monitoring device can be realized.
  • the techniques of the first embodiment to the sixth embodiment are not limited to the examples of combinations described above and illustrated, and can be applied by combining individual techniques.
  • the modulation degree reduction near the aperture value open end due to aberration of the lens and the modulation degree reduction near the aperture value blockage end due to lens diffraction can be corrected and allowed, Further, the variable range of sensitivity can be expanded and the color can be maintained. For simplicity, even if the high sensitivity of the first to third embodiments and the sensitivity reduction of the sixth embodiment are combined, the effective high sensitivity by the noise reduction of the fifth embodiment and the sensitivity reduction of the sixth embodiment are achieved. Even if combined, the variable range of sensitivity can be expanded and the color can be maintained.
  • the horizontal multi-pixel addition in the first to third embodiments outputs a pseudo luminance signal and a pseudo chrominance signal, and effectively increases the sensitivity by the modulation degree reduction correction in the fourth embodiment and the noise reduction in the fifth embodiment.
  • the sensitivity reduction of the sixth embodiment are suitable for monitoring in which the situation changes greatly.
  • the present invention provides a low-cost, high-sensitivity color monitoring device that can acquire a high-sensitivity color image and maintain a color by expanding the variable range of sensitivity, and is low-cost and high-sensitivity. realizable. Therefore, it can be applied to a wide range of monitoring such as a power plant, a substation, a railway track or a road.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

オンチップカラーフィルタ付き固体撮像素子から出力される画像信号の感度を向上し色と水平解像度を維持することを目的とする。 オンチップカラーフィルタ付き水平公称９６０画素素のＩＴ－ＣＣＤ撮像素子を１ヶ用いたカラー撮像装置において、全画素の暗電流を補正して３以上の奇数の水平画素電荷信号を加算し、各走査線で水平画素電荷信号加算の組み合わせを順番に変えていき、アナログーデジタル変換後に、左右加算で疑似輝度信号（２Ｙ＋Ｇ等）を算出し、組み合わせを順番方向と正負の斜め減算で（２Ｒ－Ｇ等）疑似色差信号を算出し疑似輝度信号の少なくとも高周波数成分を上下走査線の疑似輝度信号の少なくともの高周波数成分で補間し、７ヶ以上の走査線映像信号から垂直輪郭補正信号を作成し７ヶ以上の画素遅延映像信号から水平輪郭補正信号を作成し映像信号に加算する。

Description

撮像方法および撮像装置
　本発明は、固体撮像素子を有する撮像装置の感度向上に関するものである。
　ＣＣＤ（Charge-Coupled-Device）撮像素子は固体撮像素子の中でも感度が高く暗電流レベルが異常に高い白キズと呼ばれる画素が少ないが、高温度時や高感度撮像時や蓄積時は白キズが多い。さらにＣＣＤ撮像素子の近赤外感度を高くすると、フォトダイオードが深くなり白キズが増加する。そのため、蓄積動作で感度を向上させると、さらに白キズが増加する。そのため、実効感度向上が制限される。
　そこで、従来、オンチップカラーフィルタ付き固体撮像素子を１ヶ用いたカラーテレビジョンカメラにおいて、夜間の高感度白黒撮影時に、高感度撮像を実現するため、水平２画素加算し、輪郭強調周波数を低下させ、高感度撮像の雑音を低減させていた（特許文献１参照）。
　また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ(Field-Programmable-Gate-Array)でも容易に実現できる様になった。ノイズ低減の対象画素に関して、周囲の画素との関連性から、信号成分かノイズ成分かを判断し、対象画素と、一定方向の隣接する画素とで信号レベル比較を行い、信号レベル差が判定基準値未満であれば、対象画素の信号レベルが信号成分であると判定し、信号レベル差が所定の値以上では、ノイズ成分と判定している（特許文献２参照）。
　さらに、ＣＣＤから出力された信号から雑音を除去するＣＤＳ（Correlated-Double-Sampling）と暗電流補正と利得可変増幅回路（Automatic-Gain-Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog-Digital- Converter）とを内蔵したＡＦＥ（Analog-Front-End）が普及し、ＡＦＥのＡＤＣ階調は従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。ＡＤＣを２２ビットとし、ＡＧＣをＡＤＣの後に配置したＡＦＥも製品化された。
　Inter LineＣＣＤ撮像素子（以下ＩＴ－ＣＣＤ）は単価が安い割に感度が高い。特に最近は、画面対角８ｍｍ（１／２型）や画面対角６ｍｍ（１／３型）の水平公称７６０画素のＣＣＤ撮像素子より高感度で飽和信号量も従来の１０００ｍＶから１４００ｍＶと高い、画面対角６ｍｍ（１／３型）画面アスペクト比４：３のＣＣＤ撮像素子で垂直公称４８５（有効４９４）画素または垂直公称５７５（有効５８２）画素で、水平公称９６０（有効９７２）画素のＣＣＤ撮像素子が発表された（非特許文献１参照）。また、１／３型用の小型低価格の５５倍望遠ズームレンズも開発された（非特許文献２参照）。
　電子増倍型ＣＣＤ撮像素子（Electron-Multiplying-ＣＣＤ以下ＥＭ－ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。ただし、高感度なＩＴ－ＣＣＤもＥＭ－ＣＣＤも暗電流が多い。
特開２００３－１０２０２１ 特開２００２－２４７４１２
水平９６０画素カラーＣＣＤ撮像素子ＩＣＸ６７２ＡＫＡ／ＩＣＸ６７３ＡＫＡ　ソニーCX-PAL　Vol.85　2010.07　http://www.sony.co.jp/Products/SC-HP/cx_pal/vol85/pdf/cxd4127_4816gg.pdf タムロン1/3型6-330mmF/1.8ズームレンズDF014　　http://www.tamron.co.jp/news/release_2010/0510.html
　本発明の目的は、ＣＣＤ撮像素子から出力される画像信号の感度の可変範囲を拡大し色を維持することである。
　本発明は、上記課題を解決するため、オンチップカラーフィルタ付き固体撮像素子を１ヶ用いたカラー固体撮像装置において、３以上の奇数の水平画素信号電荷を加算し、各走査線で水平画素信号電荷加算の組み合わせを正の順番に変えていき、アナログーデジタル変換後に、画素信号の左右加算で疑似輝度信号（２Ｙ＋Ｇ等）を算出し、画素信号の正の順番方向の上下の斜め減算で疑似色差信号（２Ｒ－Ｇ等）を算出し、前記疑似輝度信号の高周波数成分を上下走査線の前記疑似輝度信号の高周波数成分で補間することと、前記疑似輝度信号と前記疑似色差信号との演算により、輝度信号（７．５Ｙ等）と色差信号（２Ｒ－２Ｙ等）とを算出し、前記輝度信号の高周波数成分を上下走査線の前記輝度信号の高周波数成分で補間することと、の少なくとも一方を行うことを特徴とする撮像方法である。
　さらに上記の撮像方法において、水平画素信号電荷加算する画素数＋３ヶ以上の走査線映像信号から垂直輪郭補正信号を作成し、水平画素信号電荷加算する画素数＋３ヶ以上の画素遅延映像信号から水平輪郭補正信号を作成し、前記垂直輪郭信号と前記水平輪郭信号とを映像信号に加算することを特徴とする撮像方法である。
　さらに上記の撮像方法において、リセット付ＣＤＳと１２bit以上のＡＦＥとデジタルゲインアップ手段とを用い、前記リセット付ＣＤＳで上記３以上の奇数の水平画素信号電荷を加算の実施を行い、前記リセット付ＣＤＳのサンプルホールドスイッチの導通抵抗に対しリセット付ＣＤＳの積分容量の容量値を大きくするかサンプルホールド時間を狭くしてサンプルホールド時間の周波数での積分容量のインピーダンスを小さくすることと、前記１２bit以上のＡＦＥ内のＡＧＣ増幅と、デジタルゲインアップ手段でのデジタルゲインアップと、を組み合わせることを特徴とする撮像方法である。
　さらに上記の撮像方法において、上記固体撮像素子に飽和信号量がおよそ１４００ｍＶ以上と高いＣＣＤを用いることと、（上記固体撮像素子への入射光量または）上記固体撮像素子の出力の信号電荷の平均値と上記固体撮像素子の信号電荷を入力するリセット付ＣＤＳのＣＤＳリセットパルスの位相の進相とを比例させること、の少なくとも一方を行うことを特徴とする撮像方法である。
　さらに上記の撮像方法において、全画素の暗電流を補正して水平画素信号電荷を加算するか水平画素信号電荷を加算してから全画素の暗電流を加算して補正することと、固体撮像素子クロックに同期している論理回路からの全画素の飛び込みを補正して水平画素電荷信号を加算するか水平画素電荷信号を加算してから固体撮像素子クロックに同期している論理回路からの全画素の飛び込みを補正することと、の少なくとも一方を行うことを特徴とする撮像方法である。
　また、オンチップカラーフィルタ付き（水平有効約９７２等）水平公称約９６０画素以上のＩＴ－ＣＣＤ撮像素子を１ヶ用いたカラー固体撮像装置において、上記ＩＴ－ＣＣＤ撮像素子の信号電荷を入力するクランプ機能とサンプルホールド（セット）機能とリセット機能を有する相関二重サンプリングホールド手段（Correlated　Double　Sampling-hold：ＣＤＳ）と、３以上の奇数の水平画素電荷信号を加算する手段と、アナログーデジタル変換する手段と、該デジタル変換した信号を水平周期遅延する手段と、該デジタル変換した信号を画素単位で遅延する手段と、該デジタル変換した信号を加算する手段と、該デジタル変換した信号を減算する手段とを有し、上記ＣＤＳにおいて３以上の奇数の水平画素信号電荷を加算し、上記アナログーデジタル変換する手段においてアナログーデジタル変換後に、前記水平周期遅延する手段と前記画素単位で遅延する手段と前記加算する手段と前記減算する手段とを用いて、該デジタル変換した画素信号の左右加算で疑似輝度信号を算出し、該デジタル変換した画素信号の順番方向と正負の斜め減算で疑似色差信号を算出することを特徴とするカラー固体撮像装置である。
　または、オンチップカラーフィルタ付き固体撮像素子を１ヶ用いたカラー固体撮像装置において、上記ＩＴ－ＣＣＤ撮像素子の信号電荷を入力するクランプ機能とサンプルホールド機能とリセット機能を有する相関二重サンプリングホールド手段（Correlated　Double　Sampling-hold：ＣＤＳ）とアナログーデジタル変換する手段と水平周期遅延する手段と画素単位で遅延する手段と上下走査線の輝度信号の高周波数成分を抽出する手段を有し、上記ＣＤＳにおいて３以上の奇数の水平画素電荷信号を加算し、各走査線で水平画素電荷信号加算の組み合わせを順番に変えていき、アナログーデジタル変換後に、左右加算で疑似輝度信号（２Ｙ＋Ｇ等）を算出し、組み合わせを順番方向と正負の斜め減算で疑似色差信号（２Ｒ－Ｇ等）を算出し、前記疑似輝度信号の高周波数成分を上下走査線の前記疑似輝度信号の高周波数成分で補間すること、
前記疑似輝度信号と前記疑似色差信号との演算により、輝度信号（７．５Ｙ等）と色差信号（２Ｒ－２Ｙ等）とを算出し、前記輝度信号の高周波数成分を上下走査線の前記輝度信号の高周波数成分で補間すること、の少なくとも一つを行うことを特徴とするカラー固体撮像装置である。
　さらに上記において、水平画素電荷信号加算する画素数＋２以上の２Ｎヶの水平周期遅延手段と、水平画素電荷信号加算する画素数＋２以上の２Ｍヶとすると画素周期遅延手段を２Ｎ×２Ｍヶと、遅延しない映像と２Ｎヶの水平周期遅延の映像信号とから垂直輪郭信号を生成する手段と、Ｎ水平周期遅延した映像信号とＮ水平周期遅延した映像信号を画素周期遅延した２Ｍヶの映像信号とから水平輪郭信号を生成する手段と、垂直輪郭信号と水平輪郭信号とを映像信号に加算する手段とを有し、少なくとも３以上の奇数の水平画素電荷信号を加算する場合には、前記垂直輪郭信号と前記水平輪郭信号とをＮ水平周期とＭ画素遅延した映像信号に加算することと、全画素の暗電流を補正して水平画素電荷信号加算するか水平画素電荷信号加算してから全画素の暗電流を加算して補正することと、の少なくとも一つを行うことを特徴とするカラー固体撮像装置である。
　さらに上記において、撮像素子の温度検出手段を有し、ＣＰＵの動作クロック（約１２ＭＨｚ）をＣＣＤクロック（９６０Ｈで約１８ＭＨｚ）と整数Ｋ：整数Ｌの比としてＣＣＤクロックとに同期させ、（６℃上昇で約２倍になる）全画素の暗電流を記憶する画面メモリと、前記ＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路とからの（温度での変化の少ない）飛び込みを記憶する画面メモリと、の温度での変化に対応した複数の固定雑音を記憶する画面メモリを有し、検出した撮像素子温度に合わせて、全画素の暗電流の補正値と、前記ＣＣＤクロックに同期させたＣＰＵと前記元々ＣＣＤクロックに同期している論理回路とからの全画素の飛び込みの補正値とを加算してから画素電荷に加算して、全画素の暗電流と、前記ＣＣＤクロックに同期させたＣＰＵと前記元々ＣＣＤクロックに同期している論理回路とからの全画素の飛び込みとを補正することと、上記固体撮像素子に飽和信号量もおよそ１４００ｍＶ以上と高いＣＣＤを用い、リセット付ＣＤＳと１２bit以上のＡＦＥとデジタルゲインアップ手段とを用い、前記リセット付ＣＤＳで上記３以上の奇数の水平画素信号電荷を加算の実施を行い、前記リセット付ＣＤＳのサンプルホールドスイッチの導通抵抗に対しリセット付ＣＤＳの積分容量の容量値を大きくするかサンプルホールド時間を狭くしてサンプルホールド時間の周波数での積分容量のインピーダンスを小さくすることと、前記１２bit以上のＡＦＥ内のＡＧＣ増幅と、デジタルゲインアップ手段でのデジタルゲインアップと、を組み合わせることと、の少なくとも一つを特徴とするカラー固体撮像装置である。
　または、1つ以上のＣＣＤ撮像素子を用いたカラー固体撮像装置において、前記ＣＣＤ撮像素子の出力の信号電荷を入力するリセット付ＣＤＳと該リセット付ＣＤＳの各ＣＤＳリセットパルス位相を可変する水平同期発生部とを有し、（前記固体撮像素子の各固体撮像素子への入射光量と）前記固体撮像素子の各固体撮像素子の出力の信号電荷の平均値と該固体撮像素子の信号電荷を入力するリセット付ＣＤＳのＣＤＳリセットパルスの位相の進相とを比例させることを特徴とするカラー固体撮像装置である。
　上記の様に本発明によれば、ＣＣＤ撮像素子から出力される画像信号の感度の可変範囲を拡大し色を維持することができる。
本発明の一実施例の全体構成の撮像装置を示すブロック図 本発明の一実施例の映像信号処理部の奇数画素加算対応の色分離部を示すブロック図 本発明の一実施例の映像信号処理部の多画素輪郭補正部を示すブロック図 本発明の一実施例の映像信号処理部のリセット付ＣＤＳを示すブロック図 本発明の１実施例の水平３画素加算動作を示す模式図 本発明の１実施例の水平５画素加算動作を示す模式図 本発明の１実施例の水平７画素加算動作を示す模式図 本発明の１実施例の多画素輪郭補正動作を示す模式図 本発明の一実施例の映像信号処理部のリセット付ＣＤＳの動作を示す模式図 従来技術の動作を示す模式図 従来技術の全体構成の撮像装置を示すブロック図
　本発明の一実施例の全体構成の撮像装置を示すブロック図の図１を用いて本発明の一実施例の全体構成を説明し、本発明の１実施例の動作を示す模式図の図３を用いて説明し、本発明の一実施例の映像信号処理部の画素補間部を示すブロック図の図２を用いて本発明の一実施例の詳細を説明する。
　本発明の一実施例の全体構成の撮像装置を示すブロック図の図１において、１は撮像装置、２は入射光を結像するレンズ等の光学系で、４は撮像装置１内の各部とレンズ２とを制御するＣＰＵ（Central-Processing-Unit）である（ＣＰＵから各部への制御線は全ては図示せず）。
　また図１において、６は読出垂直転送駆動部(Ｖ－ＴＧ）で、９はＥＭ－ＣＣＤで1８はＩＴ－ＣＣＤ等のＣＣＤ撮像素子で、９と１８とは光学系２から入射した光を電気信号に変換する。１２はＥＭ－ＣＣＤまたはＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳと暗電流補正と信号の利得を調整するＡＧＣとデジタル映像信号Ｖｉに変換するＡＤＣと水平同期発生部(Timing-Generator：ＴＧ)からなるＡＦＥ（Analog　Front　End）である。但し、ＡＧＣやＴＧがＡＦＥに含まれない構成を用いてもよい。さらに１５はＣＭＧ駆動部で１６は冷却部で１７は冷却駆動部であり、１９は水平転送駆動部(Ｈ－ＴＧ）で２０はリセット付ＣＤＳである。さらに、７は温度センサ、Ｍ９は暗電流画面メモリ、８はＤ／Ａであり、温度センサ７の検出したＣＣＤの温度に基づき、暗電流画面メモリＭ９から全画素の暗電流補正値を発生し、Ｄ／Ａ８経由でリセット付ＣＤＳ２０で暗電流を補正する。画素加算時も、ＣＣＤの温度に基づき全画素の暗電流をリセット付ＣＤＳ２０で暗電流を補正してから画素加算する。
　また図１において、４は奇数画素加算色分離部と多画素輪郭補正部とを含む映像信号処理部であり、１２のＡＦＥから出力された信号に種々の映像処理を施しＮＴＳＣ（National-Television-System-Committee）方式またはＰＡＬ（Phase-Alternating-by-Line）方式の複合映像信号（Video-Burst-Sync以下ＶＢＳ）またはＳＤＩ（Serial-Digital-Interface）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ－ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。リセット付ＣＤＳ２０で暗電流を補正しない場合は、映像信号処理部４で、温度センサ７の検出したＣＣＤの温度に基づき、全画素の暗電流補正値を発生し、ＡＦＥ１２内のＡＧＣ分を補正してから、画素加算分暗電流補正値を加算してから映像信号を補正することにより、全画素の暗電流を補正してから画素加算することと等価の補正を行う。
　本発明の一実施例の映像信号処理部のリセット付ＣＤＳを示すブロック図の図２Ｃにおいて、６１は入力バッファ（Bi）、６２はクランプ結合容量（Cci）、６３はクランプスイッチ（Qq）、６４は中間バッファ（Bm）、６５はサンプルホールド（セット）スイッチ（Qs）、６６はリセットスイッチ（Qr）、６７は積分容量（Cl）、６８は出力バッファ（Bo）である。
　本発明の一実施例の全体構成の撮像装置を示すブロック図の図１と、従来技術の全体構成の撮像装置を示すブロック図の図５との相違は、は水平転送駆動部(Ｈ－ＴＧ）１９とリセット付ＣＤＳの２０と温度センサ７と暗電流画面メモリＭ９とＤ／Ａ８が追加され、映像信号処理部５に、奇数画素加算対応の色分離部の２５と多画素輪郭補正部の２６とを含むことである。
　本発明の一実施例の映像信号処理部の奇数画素加算対応の色分離部を示すブロック図の図２Ａにおいて、Ｍ７～Ｍ８はラインメモリ、３７～３９は奇数画素遅延部、４０～４１はｂｉｔシフト部（１／２乗算器）、４４は加算器、４２～４３は減算器、である。
　本発明の一実施例の映像信号処理部の奇数画素加算対応の色分離部を示すブロック図の図２Ａと、本発明の１実施例の水平３画素加算動作を示す模式図の図３Ａとにおいて、Ｎとｍとを０以上の整数としｍ－３とｍ－２と垂直加算する走査線では３Ｎ＋１，３Ｎ＋２，３Ｎ＋３の画素の信号電荷を水平３画素加算し、ｍ－１とｍと垂直加算する走査線では３Ｎ＋２，３Ｎ＋３，３Ｎ＋４の画素の信号電荷を水平３画素加算し、ｍ＋１とｍ＋２と垂直加算する走査線では３Ｎ＋３，３Ｎ＋４，３Ｎ＋５の画素の信号電荷を水平３画素加算する。
　Ｈ－ＴＧを非加算の通常水平転送駆動の一つにして、高速論理ＩＣでリセットパルスを間引いて水平３画素の信号電荷を加算しても良い。
　Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇ＝２Ｙ＋Ｇなので、各３画素加算は２ＹＧＣｙＭｇ＝３ＹＣｙ、２ＹＧＹｅＭｇ＝３ＹＹｅ、２Ｙ２ＧＹｅ、２Ｙ２ＧＣｙとなる。
　左右加算で　３ＹＣｙ＋２Ｙ２ＧＹｅ＝６Ｙ３Ｇとなり、水平画素加算しないで垂直画素加算して左右加算での２ＹＧと同様の疑似輝度信号が算出できる。下記色分離した２Ｇ－Ｙを１．５倍して減算すれば７．５Ｙと輝度信号も算出できる。
　輝度信号は上下走査線の信号を補間すれば、水平画素加算前の１画素単位の輝度信号解像度が維持できる。
　加算画素の組み合わせの走査線ごとの順次移動に合わせ、上と平均と下と平均とをさらに平均して加算画素位置のＣｙとＹｅとＭｇとＧをと色分離する。
　斜め加算で、２Ｙ２ＧＹｅ＋２Ｙ２ＧＣｙ＝５Ｙ５Ｇとなる。減算すれば２Ｙ２ＧＹｅ－３ＹＹｅ＝２Ｇ－Ｙとなり疑似色差信号が算出できる。７．５Ｙを１／７．５に減衰して減算すれば２Ｇとなり色信号が算出できる。
　３ＹＹｅ＋２Ｙ２ＧＹｅ＝５Ｙ２ＧＹｅとなり、減算すれば２Ｙｅ－Ｇ－Ｙ－（２Ｇ－Ｙ）＝２Ｙｅ－３Ｇ＝２Ｒ－Ｇとなり疑似色差信号が算出できる。
　さらに＋Ｇ－２Ｙを加算すれば２Ｒ－２Ｙとなり色差信号が算出できる。
　３ＹＣｙ＋２Ｙ２ＧＣｙ＝５Ｙ２Ｇ２Ｃｙとなり、減算すれば２Ｃｙ－Ｇ－Ｙ－（２Ｇ－Ｙ）＝２Ｃｙ－３Ｇ＝２Ｂ－Ｇとなり疑似色差信号が算出できる。
　さらに＋Ｇ－２Ｙを加算すれば２Ｂ－２Ｙとなり色差信号が算出できる。
　各加算画素の位置で色分離したＣｙとＹｅとＭｇとＧを減算した演算結果の各加算画素の位置の２Ｙを上下補間して、輝度信号とすれば、水平解像度は、加算前の画素単位となる。
　つまり、水平３画素の信号電荷を加算することにより、雑音はそのままで、感度は３倍（＋９ｄＢ）になる。水平解像度も加算前の水平画素数の分を確保できる。斜め解像度は１／３に低下する。色分離も可能で、カラー撮像を維持できる。
　実施例１の水平３画素加算を前述の非特許文献１の画面対角６ｍｍ（１／３型）画面アスペクト比４：３の高感度な水平公称９６０（有効９７２）画素のＣＣＤ撮像素子に適用すれば、水平公称３２０（有効３２４）画素となる。これは一般的な水平公称７６０画素の従来の２画素加算の水平公称３８０画素の約１４％低下であり、変調度低下も約１４％低下で済み、許容できる。又、ＣＣＤクロックが１８ＭＨｚであり、３画素加算して左右平均してもクロックが３ＭＨｚ相当で色帯域は１．５ＭＨｚとなる。つまり、ＮＴＳＣやＰＡＬの高帯域色差信号帯域の１．５ＭＨｚが確保できる。さらに、より多い水平画素の固体撮像素子に適用すれば、変調度低下も実用上問題なくなる。
　また、水平公称９６０（有効９７２）以上の画素のＣＣＤ撮像素子であれば、図示しないが、３以上の奇数の水平画素電荷信号を加算する手段とアナログーデジタル変換する手段と水平周期遅延する手段と画素単位で遅延する手段とを有し、各走査線で水平画素電荷信号加算の組み合わせを固定して３以上の奇数の水平画素電荷信号を加算し、アナログーデジタル変換後に、左右加算で３ＹＣｙ＋２Ｙ２ＧＹｅ＝６Ｙ３Ｇとなり、従来の水平画素加算しないで垂直画素加算して左右加算での２ＹＧと同様の疑似輝度信号が算出できる。左右の斜め減算すれば２Ｙｅ－Ｇ－Ｙ－（２Ｇ－Ｙ）＝２Ｙｅ－３Ｇ＝２Ｒ－Ｇ、２Ｃｙ－Ｇ－Ｙ－（２Ｇ－Ｙ）＝２Ｃｙ－３Ｇ＝２Ｂ－Ｇとなり、従来の水平画素加算しないで垂直画素加算して左右の斜め減算の２Ｒ－Ｇ、２Ｂ－Ｇと同一の疑似色差信号が算出できる。
　つまり、水平公称９６０（有効９７２）以上の画素のＣＣＤ撮像素子であれば、各走査線で水平画素電荷信号加算の組み合わせを順番に変えていかない簡易方式でも、一般的な水平公称７６０画素の従来の２画素加算の水平公称３８０画素の約１４％低下であり、変調度低下も約１４％低下で済み、許容できる。色帯域は１．５ＭＨｚとなり、実用上問題ない。つまり、高感度なカラー撮像が可能となる。
　本発明の１実施例の水平５画素加算動作を示す模式図の図３Ｂにおいて、５画素加算は、５ＹＧＣｙ、５ＹＧＹｅ、４ＹＹｅ３Ｇ、４ＹＣｙ３Ｇとなる。
　斜め加算で、５ＹＧＣｙ＋５ＹＧＹｅ＝１０Ｙ３Ｇとなり、水平画素加算しないで垂直画素加算して左右加算での２ＹＧと同様の疑似輝度信号が算出できる。減算すれば４ＹＹｅ３Ｇ－５ＹＧＹｅ＝２Ｇ－Ｙとなり疑似色差信号が算出できる。１０Ｙ３Ｇを１／１０に減衰して減算すれば１．７Ｇとなり色信号が算出できる。
　水平５画素の信号電荷を加算することにより、雑音はそのままで、感度は５倍（約＋１４ｄＢ）になる。水平解像度と斜め解像度は低下する。色分離も可能で、より高感度なカラー撮像が可能となる。
　本発明の１実施例の水平５画素加算動作を示す模式図の図３Ｃにおいて、７画素加算は、７Ｙ２ＧＣｙ、７Ｙ２ＧＹｅ、６ＹＹｅ４Ｇ、６ＹＣｙ４Ｇとなる。
　斜め加算で、７Ｙ２ＧＣｙ＋７Ｙ２ＧＹｅ＝１５Ｙ５Ｇとなり、水平画素加算しないで垂直画素加算して左右加算での２ＹＧと同様の疑似輝度信号が算出できる。減算すれば、６ＹＹｅ４Ｇ－７Ｙ２ＧＹｅ＝２Ｇ－Ｙとなり疑似色差信号が算出できる。１５Ｙ５Ｇを１／１５に減衰して減算すれば１．７Ｇとなり色信号が算出できる。
　水平７画素の信号電荷を加算することにより、雑音はそのままで、感度は７倍（約＋１７ｄＢ）になる。水平解像度と斜め解像度は低下する。色分離も可能で、さらにより高感度なカラー撮像が可能となる。
　本発明の１実施例の多画素輪郭補正部のブロック図の図２Ｂにおいて、２６は多画素輪郭補正部であり、２７は映像レベル判定器、２８は画素遅延６ヶ部、５１～５８は加算器、５９は小振幅大振幅の圧縮制限器、６０は正負と増幅度を可変する掛け算器、２９と３０は輪郭信号生成部、Ｍ１～Ｍ６はラインメモリ部、Ｎ０～Ｎ６は負の掛け算器、Ｐ３は正の掛け算器である。
　補正前信号は、Ｍ１～Ｍ７のラインメモリ部で走査線（Ｈ）期間遅延し０Ｈから６Ｈの合計７Ｈの信号となる。３Ｈ信号は、さらに２８の画素遅延２２ヶ部で画素時間つまりＣＣＤクロック時間し合計２３組の遅延信号となる。合計７Ｈの信号と合計２３組の遅延信号とは、２９と３０との輪郭信号生成部に入り、垂直輪郭信号と水平輪郭信号とになり、加算器５７で加算され、小振幅大振幅圧縮制限部の５９で小振幅と大振幅とを圧縮制限され、３Ｈ１１画素遅延信号を入力した映像レベル判定部２７の制御を受ける正負掛算器６０で輪郭補正信号となり、３Ｈ１１画素遅延信号に加算されて、補正後信号となる。３画素加算なら２８の画素遅延部は１０ヶ以上で良く、５画素加算なら２８の画素遅延部は最低１６以上で良く、７画素加算なら２８の画素遅延部は２２ヶ以上で良い。３Ｈ１１画素遅延信号は、遅延の中央の信号を選択すれば良い。
　その結果、本発明の１実施例の多画素輪郭補正部の動作図の図３Ｄの(a)低周波数から低い変調度の補正前信号のように低周波数から変調度が低下していても、(b)輪郭補正７画素成分と、(c)輪郭補正５画素成分と、(d)輪郭補正３画素成分とを合成し、(e)本発明補正後信号のように、輪郭が補正できる。
　つまり、実施例４では、多数の水平画素加算により、低周波数から変調度が低下していても、図２Ｂの多画素輪郭補正部で、図３Ｄの(e)本発明補正後信号のように、映像信号の輪郭が再現できる。また、レンズの絞り開放や望遠端などで、低周波数から変調度が低下していても、変調度低下が補正でき、映像信号の輪郭が再現できる。さらに、多画素輪郭補正で、輪郭補正量を少なくすることができ、輪郭補正に伴う雑音の増加を低減でき、ＡＦＥ内のＡＧＣ増幅またはデジタルゲインアップ手段でのデジタルゲインアップにより増幅度を高くすることが容易になる。つまり、鮮明なカラー撮像の実効的な感度の可変範囲がより拡大し、監視用途が広がる。
　実施例１を、前述のように水平３画素加算を非特許文献１の画面対角６ｍｍ（１／３型）画面アスペクト比４：３の高感度な水平公称９６０（有効９７２）画素のＣＣＤ撮像素子に適用すれば、水平公称３２０（有効３２４）画素となる。これは一般的な水平公称７６０画素の従来の２画素加算の水平公称３８０画素の約１４％低下であり、変調度低下も約１４％低下で済み、許容できる。水平公称９６０画素以上であれば、実用上問題ない。
　実施例２を水平公称約１９２０画素以上のＣＣＤ撮像素子に適用すれば、水平公称約３８４画素以上となる。これは一般的な水平公称７６０画素の従来の２画素加算の水平公称３８０画素より多く、実用上問題ない。
　実施例３を水平公称約２８００画素以上のＣＣＤ撮像素子に適用すれば、水平公称約４００画素以上となる。これは一般的な水平公称７６０画素の従来の２画素加算の水平公称３８０画素より多く、実用上問題ない。
　さらに、実施例４の多画素輪郭補正を実施例１から実施例３の水平多画素加算に実施すれば、変調度低下も補正でき、高感度かつ鮮明なカラー撮像が実現でき、監視用途が広がる。
　実施例１から実施例３の水平多画素加算は、疑似輝度信号と疑似色差信号との演算により輝度信号と色差信号とを算出する方が、画面上で広い面積の色の再現性は高まるが、輪郭に偽色が付きやすいので、輪郭部分では色差信号を減衰させる。画面上で広い面積の色を用いて物体を検出する監視に適している。
　実施例１から実施例３の水平多画素加算は、疑似輝度信号と疑似色差信号を出力する方が、輪郭に偽色が付きにくい。状況が変化する可能性が高い監視に適している。
　上記の水平画素加算と組み合わせると、高感度化の効果が高まる雑音低減方法と増幅度向上を実施例５として、以下に記述する。
　本発明の一実施例の全体構成の撮像装置を示すブロック図の図１のＣＰＵ４の動作クロック（約１２ＭＨｚ）を整数Ｋ：整数Ｌの比としてＣＣＤクロック（960Hでは約１８ＭＨｚ）とに同期させる。奇数画素加算対応の色分離部と多画素輪郭補正部とを含む映像信号処理部５と読出垂直転送駆動部(Ｖ－ＴＧ）６とＤ／Ａ８とＡＦＥ１２とＣＭＧ駆動部１５と水平転送駆動部(Ｈ－ＴＧ）１９とは元々ＣＣＤクロックに同期している。
　そうすれば、固定雑音は、ＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路とからの飛び込みと、撮像素子のフォトダイオードの暗電流が主因である。したがって、残る固定雑音となる飛び込みは画素電荷加算で増幅されないから、画素電荷加算分、信号比低減する。しかし、上下走査線との平均や画面間の平均では、固定雑音は減衰しない。
　ＣＰＵと映像信号処理とＴＧ等（ＦＰＧＡに統合可能な）論理回路のＣＭＯＳスイッチングの貫通電流は、論理回路内のＣＭＯＳを構成するＭＯＳ－ＦＥＴのゲートスレッシュホールド電圧の温度変化とgmの温度変化と、前記論理回路の電源のデカップリングコンデンサの温度変化等とによる温度変化はある。しかし、撮像素子のフォトダイオードの暗電流の温度変化と比較すれば、温度変化は少ない。つまり論理回路の温度は撮像素子の温度で代用しても精度の劣化は少ない。また、上記の水平画素加算で暗電流も加算され、暗電流むらが画面で目立ってしまう。
　そこで、本発明の一実施例の全体構成の撮像装置を示すブロック図の図１において、撮像素子の温度検出手段の温度センサ７を有し、６℃上昇で約２倍になる全画素の暗電流を記憶する画面メモリＭ９と、ＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路とからの飛び込みを記憶する画面メモリＭ１０と、の温度での変化に対応した複数の固定雑音を記憶する画面メモリを有し、測定した撮像素子温度に合わせて、６℃上昇で約２倍になる全画素の暗電流の補正値と、温度での変化の少ないＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路とからの全画素の飛び込みの補正値とを加算器５０で加算してからＤ／Ａ８とリセット付ＣＤＳ２０とで画素電荷信号に加算して、６℃上昇で約２倍になる全画素の暗電流と、温度での変化の少ないＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路とからの全画素の飛び込みとを補正してセット付きＣＤＳ２０で水平画素電荷信号を加算する。水平画素加算で暗電流も加算されても、暗電流は補正されており、暗電流むらが画面で目立たない。
　また、図示しないが、水平画素電荷信号を加算してからＣＣＤクロックに同期させたＣＰＵと元々ＣＣＤクロックに同期している論理回路からの全画素の飛び込みを補正しても良い。
　全画素の暗電流補正と論理回路からの全画素の飛び込み補正とにより、固定雑音が低減するので、ＡＦＥ１２内のＡＧＣ増幅と映像信号処理部５でのデジタルゲインアップと組み合わせると、高感度化の効果が高まる。
　スイッチング電源からの飛び込みは、主スイッチング素子のＭＯＳ－ＦＥＴのturn-onが早すぎて、ダイオードまたは相補スイッチング素子のＭＯＳ－ＦＥＴのturn-offの前に主スイッチング素子のＭＯＳ－ＦＥＴがturn-onして主と相補とのスイッチング素子が同時onとなり貫通電流が流れるのが主因である。したがって、ＭＯＳ－ＦＥＴの制御電極電圧のバイアスをoff側にシフトし、ＭＯＳ－ＦＥＴの制御電極電圧の駆動インピーダンスをturn-on側はturn-off側よりも高くして、turn-onを遅くして、貫通電流を低減する。
　ＣＣＤ水平転送駆動回路とＡＦＥと前記論理回路との個々の回路の電源端子の直近にベタアースとのデカップリングコンデンサにＢ特性等温度特性の良い積層セラミックコンデンサ0.01μFから0.1μFを有して、ＣＤＳ動作周波数の18x3=54MHzの電源インピーダンスを低くする。
　個々の電源または近接配置してあれば共通の電源のデカップリングコンデンサにＢ特性等温度特性の良い積層セラミックコンデンサまたは導電高分子コンデンサまたはタンタルコンデンサまたはニオブコンデンサ等温度特性の良い低インピーダンスコンデンサ4.7μF以上を有し、水平帰線期間（Ｈ．ＢＬ）約11μSの周期約９０kHzの電源インピーダンスが低くすれば、ＣＤＳのパルスの位相ゆらぎが低減し、１／ｆ雑音がＣＤＳでほぼ完全に低減できる。
　電子シャッターパルス印可するＣＣＤの基板（ＳＵＢ）と基板駆動回路との間にフェライトビーズ直列挿入し、電子シャッターパルスの不要な高周波数成分を制限して配線間での飛び込み雑音を低減し、Ｈ．ＢＬ内の電子シャッターパルスの主成分のみ通過させ、基板駆動回路の電源のデカップリングコンデンサにＢ特性積層セラミックコンデンサまたは導電高分子コンデンサまたはタンタルコンデンサ等温度特性の良い低インピーダンスコンデンサ4.7μF以上を有し、Ｈ．ＢＬ約11μSの周期約９０kHzの電源インピーダンスが低くすれば、電子シャッターの電源と接地経由での飛び込み雑音が低減できる。
　上記の電源インピーダンス低減による飛び込み雑音低減と、ＡＦＥ１２内のＡＧＣ増幅と映像信号処理部５でのデジタルゲインアップと組み合わせると、高感度化の効果が高まる。
　本発明の一実施例の映像信号処理部のリセット付ＣＤＳを示すブロック図の図２Ｃのリセット付ＣＤＳ２０は一般に、入力バッファ６１と中間バッファ６４と出力バッファ６８とはエミッタフォロワである。クランプ結合容量６２は47pF程度で、積分容量（Cl）６７は約33pF程度である。クランプスイッチ（Qq）６３とサンプルホールドスイッチ（Qs）６５とリセットスイッチ（Qr）６６とはＭＯＳ－ＦＥＴから構成される。リセットスイッチ６６を駆動するリセットパルスを奇数Ｎ周期間引けば、水平奇数Ｎ画素加算となる。リセット付ＣＤＳ２０はＡＦＥ１２に集積されても構わない。
　本発明の一実施例の映像信号処理部のリセット付ＣＤＳの動作を示す模式図の図３Ｅの(a)サンプルホールドスイッチQsの導通時間での積分容量CｌのインピーダンスがサンプルホールドスイッチQsの導通抵抗と同等の場合と、(b)サンプルホールドスイッチQsの導通時間での積分容量CｌのインピーダンスがサンプルホールドスイッチQsの導通抵抗の1/2の場合と、(c)サンプルホールドスイッチQsの導通時間での積分容量CｌのインピーダンスがサンプルホールドスイッチQsの導通抵抗の1/4の場合のように、サンプルホールドスイッチ６５の導通抵抗に対し積分容量６７の容量値を大きくするかサンプルホールド時間を狭くして、サンプルホールド時間の周波数での積分容量６７のインピーダンスを小さくすれば、ＣＤＳ出力信号振幅は小さくＡＧＣ増幅度0の場合の感度は(a)に対し(b)で約93％(c)で約60％と少し下がるが、ＣＤＳ出力の１／ｆ雑音がより小さくなり、ＣＤＳ出力の信号雑音比（Ｓ／Ｎ）が高くなる。そこで、ＡＦＥ１２内のＡＧＣ増幅度最大で、ＡＦＥ１２内の１４bitＡ／Ｄ後の映像信号処理部５でのビットシフトのデジタルゲインアップした場合のＳ／Ｎが向上し、実効感度は高くなる。リセット付ＣＤＳ２０での奇数Ｎ画素加算はＳ／Ｎは一定で、リセット付ＣＤＳ２０の出力信号振幅は大きくなる。感度が高い非特許文献１のＩＴ－ＣＣＤと組み合わせると、ＣＤＳ出力信号振幅は小さくＡＧＣ増幅度0の場合の感度は下がることが補えるので、非常に実効感度は高くなる。特に、１／ｆ雑音を低減するリセット付ＣＤＳ２０と１／ｆ雑音を低減するＡＦＥ１２とを直列接続すれば、より実効感度は高くなる。また、実施例４の多画素輪郭補正と組み合わせれば、輪郭補正量を少なく変調度低下が補正でき、雑音の増加特に高域雑音の増加を低減できる。また、レンズの絞り開放や望遠端などで、低周波数から変調度が低下していても、変調度低下が補正でき、映像信号の輪郭が再現できる。したがって、さらに実効感度は高くなる。また、非特許文献１のＩＴ－ＣＣＤは飽和信号量も従来の１０００ｍＶから１４００ｍＶと高いので、ＡＦＥ１２内のＡＧＣ増幅度を低下すれば約3ｄＢ従来より高い入射光量にも対応でき、鮮明なカラー撮像の実効的な感度の可変範囲がより拡大し、監視用途が広がる。より高い入射光量に対応できるので、ＣＣＤの飽和信号量はより高い方が好ましい。
　したがって、撮像装置に感度が高く飽和信号量もおよそ１４００ｍＶ以上と高いＣＣＤとリセット付ＣＤＳ２０と１２bit以上のＡＦＥとデジタルゲインアップ機能付の映像信号処理部５とを用い、リセット付ＣＤＳ２０で奇数Ｎ画素加算し、リセット付ＣＤＳ２０のサンプルホールドスイッチ６５の導通抵抗に対し積分容量６７の容量値を大きくするかサンプルホールド時間を狭くして、サンプルホールド時間の周波数での積分容量６７のインピーダンスを小さくすることと、１４bitＡＦＥ１２内のＡＧＣ増幅と、映像信号処理部５でのデジタルゲインアップと、を組み合わせると非常に実効感度は高くなる。デジタルゲインアップ機能はＡＦＥ１２内に存在していても構わない。
　つまり、実施例５の技術同士を自由に組み合わせて実施することにより、固定雑音を低減し、飛び込み雑音を低減し、１／ｆ雑音を低減し、色を維持して実効的に感度を向上する。
　また、実施例１から実施例５の技術は、上記説明や図示の組み合わせの例に限らず、個々の技術を自由に組み合わせて適用できる。実施例１から実施例５の技術の組み合わせにより、感度を向上するだけでなく、固定雑音を低減し、１／ｆ雑音を低減し、色を維持して実効的に感度を向上することが可能である。
　非特許文献１の１／３型の９６０ＨのＣＣＤを用いて実施例１から実施例３の水平画素加算による高感度化と、実施例５の固定雑音と１／ｆ雑音との低減とによる実効的な高感度化を組み合わせれば、１／３型で色を維持して超高感度が実現する。さらに、実施例４の多画素輪郭補正による変調度低下の補正と組み合わせれば、高倍率望遠ズームレンズの望遠端の変調度低下と開放口径比低下とが許容できる。したがって、非特許文献１の１／３型の９６０ＨのＣＣＤと、実施例１から実施例３の高感度化と、実施例４の変調度低下補正と、実施例５の雑音低減と、非特許文献２の１／３型で小型低価格の５５倍望遠ズームレンズと、を組み合わせれば、国境監視に要求される窒素封入の雲台も小型低価格となり、総合的に小型低価格な超高感度のカラー監視装置が実現できる。
　上記の水平画素加算の構成を応用する感度低減方法を実施例６として、以下に記述する。
　本発明の一実施例の全体構成の撮像装置を示すブロック図の図１において、ＣＣＤ撮像素子の出力の信号電荷を入力するリセット付ＣＤＳ２０と水平同期発生部１９とが有る。リセット付ＣＤＳ２０のＣＤＳリセットパルス位相を可変すれば、信号雑音比は一定で、リセット付ＣＤＳの出力信号振幅が可変し、感度が可変となる。そこで、水平同期発生部１９で発生するＣＤＳリセットパルス位相をＣＰＵ４制御で可変とする。特に、リセット付ＣＤＳ２０とＡＦＥ１２とを直列接続すれば、リセットパルス位相を可変しても、ＡＦＥ１２により再度サンプルホールドされるので、変調度は変化しない。つまり、鮮明なカラー撮像の実効的な感度の可変範囲がより拡大し、監視用途が広がる。
　雪や氷地面を覆っている晴天や夏至の晴天下の撮像等で、異常に入射光量の平均値の多いＣＣＤ撮像素子の出力の平均値の異常に多い信号電荷を入力した前記リセット付ＣＤＳのＣＤＳリセットパルスの位相を進めて、リセット付ＣＤＳの出力信号振幅を小さくし、感度を低減する。その結果、ＥＭ－ＣＣＤ等の電子シャッタ速度をあまり高速にできない撮像素子や、非特許文献１の１／３型の９６０ＨのＣＣＤ等の高感度すぎる撮像素子でも、感度低減が容易になり、変調度が低下するかまたは高価となるスポットＮＤフィルタまたは色温度変換フィルタやＮＤフィルタを入れ替える高価なリモートフィルタディスクが不要になる。その結果、低価格で高感度な昼夜兼用のカラー監視装置が実現できる。
　実施例６は、本発明の一実施例の全体構成の撮像装置を示すブロック図の図１に限らず、ＣＤＳリセットパルス位相を可変する水平同期発生部と、ＣＣＤ撮像素子の出力の信号電荷を入力するリセット付ＣＤＳとがあれば良い。そこで、色分解光学系と３ヶ以上のＣＣＤ撮像素子と３ヶ以上のリセット付ＣＤＳとを用いた固体撮像装置においても、ＣＤＳリセットパルス位相を個別に可変する水平同期発生部とがあれば適用可能である。
　ナトリウムランプ等のＣＣＤ撮像素子の分光感度の高い赤や緑に偏った照明、あるいは青色発光ダイオード等単色の照明下において、色分解光学系と３ヶ以上のＣＣＤ撮像素子を用い各色で共通の電子シャッタ駆動回路を備える固体撮像装置が撮影に用いられた場合は、照明の多く偏った色や単色照明の色のＣＣＤ撮像素子の入射光量とＣＣＤ撮像素子の出力との平均値が、他の色のＣＣＤ撮像素子の入射光量とＣＣＤ撮像素子の出力の平均値と比較して、異常に多くなる。そこで、平均値の多い入射光量の色のリセットパルスの位相を進めて、リセット付ＣＤＳの出力信号振幅を小さくし、感度を低減する。平均値の少ない入射光量の色のリセットパルスの位相を遅らせて、リセット付ＣＤＳの出力信号振幅を大きくし、感度を増加させても良い。つまり、各固体撮像素子への入射光量とＣＣＤ撮像素子の出力との平均値と、各固体撮像素子の信号電荷を入力するリセット付ＣＤＳのリセットパルスの位相の進相と、を比例させれば良い。各色で共通の電子シャッタ駆動回路を備えても、各色のリセット付ＣＤＳの出力信号振幅の平均値を均等に近づけることができ、ＡＧＣが感度可変に有効活用でき、オートホワイトで対応できる色温度範囲や、ＡＧＣで対応できる入射光量の範囲が拡張できる。
　実施例５のサンプルホールドスイッチの導通抵抗に対し、積分容量の容量値を大きくするかサンプルホールド時間を狭くしてサンプルホールド時間の周波数での積分容量のインピーダンスを小さく、ＣＤＳ出力信号振幅は小さくし、ＡＧＣ増幅度0の場合の感度を下げる技術と、リセットパルスの位相可変の技術と、を組み合わせれば、さらに対応できる入射光量の範囲が拡張できる。特にリセットパルスの位相可変を、固体撮像素子への入射光量または固体撮像素子の出力の信号電荷の平均値と、上記固体撮像素子の信号電荷を入力するリセット付ＣＤＳのＣＤＳリセットパルスの位相の進相とを比例させるとすれば、自動制御で対応できる入射光量の範囲が拡張できる。リセット付ＣＤＳのＣＤＳリセットパルスの位相の進相と非特許文献１の感度が高く飽和信号量もおよそ１４００ｍＶ以上と高いＣＣＤとを組み合わせれば、更に自動制御で対応できる入射光量の範囲が拡張できる。
　そのため、色温度変換フィルタやＮＤフィルタを入れ替える高価なリモートフィルタディスクが不要になる。また、ナトリウムランプや青色発光ダイオード等照明の自由度が拡張される。さらに、ＥＭ－ＣＣＤ等の電子シャッタ速度をあまり高速にできない撮像素子や、非特許文献１の１／３型の９６０ＨのＣＣＤ等の高感度すぎる撮像素子でも、感度低減が容易になり変調度が低下するかまたは高価となるスポットＮＤフィルタが不要になる。その結果、色分解光学系と３ヶ以上のＣＣＤ撮像素子と３ヶ以上のリセット付ＣＤＳとを用いた固体撮像装置においても、低価格で高感度な昼夜兼用のカラー監視装置が実現できる。
　実施例１から実施例６の技術は、上記説明や図示の組み合わせの例に限らず、個々の技術を自由に組み合わせて適用できる。
　実施例１から実施例３の高感度化と、実施例５の雑音低減による実効的な高感度化と、実施例６の感度低減と、を組み合わせれば、感度の可変範囲が拡大し、照明の自由度が拡張され、色を維持することができる。そのため、変調度が低下するかまたは高価となるスポットＮＤフィルタまたは色温度変換フィルタやＮＤフィルタを入れ替える高価なリモートフィルタディスクが不要になる。その結果、低価格で高感度な昼夜兼用のカラー監視装置が実現できる。さらに実施例４の変調度低下補正と組み合わせれば、レンズの収差による絞り値開放端付近の変調度低下も、レンズの回折による絞り値閉塞端付近の変調度低下も、補正して許容でき、さらに、感度の可変範囲を拡大し色を維持することができる。
　簡易には、実施例１から実施例３の高感度化と実施例６の感度低減とを組み合わせても、実施例５の雑音低減による実効的な高感度化と実施例６の感度低減とを組み合わせても、感度の可変範囲を拡大し色を維持することができる。
　実施例１から実施例３の水平多画素加算は、疑似輝度信号と疑似色差信号を出力する方が、輪郭に偽色が付きにくい。そこで、実施例１から実施例３の水平多画素加算は、疑似輝度信号と疑似色差信号を出力し、実施例４の変調度低下補正と、実施例５の雑音低減による実効的な高感度化と、実施例６の感度低減と、を組み合わせれば、状況が大きく変化する監視に適している。
　本発明は、低価格なＣＣＤを用いて、高感度なカラー画像を取得することと感度の可変範囲を拡大し色を維持することができ、低価格で高感度な昼夜兼用のカラー監視装置が実現できる。そのため、発電所や変電所や鉄道線路または道路等の広範囲の監視に適用することができる。
１，２１，２２，２３：撮像装置、２：レンズ、４：ＣＰＵ、
５：奇数画素加算対応の色分離部と多画素輪郭補正部とを含む映像信号処理部、
６：読出垂直転送駆動部(Ｖ－ＴＧ）、7：温度センサ、８：Ｄ／Ａ、
９：ＥＭ－ＣＣＤ、１２：ＡＦＥ、
１５：ＣＭＧ駆動部、１６：冷却部、１７：冷却駆動部、１８：ＩＴ－ＣＣＤ、
１９：水平転送駆動部(Ｈ－ＴＧ）、２０：リセット付ＣＤＳ、
２４：映像信号処理部、２５：奇数画素加算色分離部、２６：多画素輪郭補正部、
２７：映像レベル判定部、２８：画素遅延６ヶ部、
２９，３０：輪郭信号生成部、
４０～４１：ｂｉｔシフト部（１／２乗算器）、４４：加算器、４２～４３：減算器，
５０～５８：加算器、
５９：小振幅大振幅の圧縮制限器、６０：正負と増幅度を可変する掛け算器、
Ｍ１～Ｍ８：ラインメモリ、Ｍ９：暗電流画面メモリ、Ｍ１０：飛び込み画面メモリ、
３７～３９：奇数画素遅延部、Ｎ０～Ｎ６：負の掛け算器、Ｐ３：正の掛け算器、
６１：入力バッファ（Bi）、６２：クランプ結合容量（Cci）、６３：クランプスイッチ（Qq）、
６４：中間バッファ（Bm）、６５：サンプルホールド（セット）スイッチ（Qs）、
６６：リセットスイッチ（Qr）、６７：積分容量（Cl）、６８：出力バッファ（Bo）、

Claims (5)

  1. 　オンチップカラーフィルタ付き固体撮像素子を１ヶ用いたカラー固体撮像装置において、３以上の奇数の水平画素信号電荷を加算し、各走査線で水平画素信号電荷加算の組み合わせを正の順番に変えていき、アナログーデジタル変換後に、画素信号の左右加算で疑似輝度信号を算出し、画素信号の正の順番方向の上下の斜め減算で疑似色差信号を算出し、
    前記疑似輝度信号の高周波数成分を上下走査線の前記疑似輝度信号の高周波数成分で補間することと、
    前記疑似輝度信号と前記疑似色差信号との演算により、輝度信号と色差信号とを算出し、前記輝度信号の高周波数成分を上下走査線の前記輝度信号の高周波数成分で補間することと、
    の少なくとも一方を行うことを特徴とする撮像方法。
  2. 　請求項１の撮像方法において、水平画素信号電荷加算する画素数＋３ヶ以上の走査線映像信号から垂直輪郭補正信号を作成し、水平画素信号電荷加算する画素数＋３ヶ以上の画素遅延映像信号から水平輪郭補正信号を作成し、前記垂直輪郭信号と前記水平輪郭信号とを映像信号に加算することを特徴とする撮像方法。
  3. 　請求項２の撮像方法において、リセット付ＣＤＳと１２bit以上のＡＦＥとデジタルゲインアップ手段とを用い、前記リセット付ＣＤＳで上記３以上の奇数の水平画素信号電荷を加算の実施を行い、前記リセット付ＣＤＳのサンプルホールドスイッチの導通抵抗に対しリセット付ＣＤＳの積分容量の容量値を大きくするかサンプルホールド時間を狭くしてサンプルホールド時間の周波数での積分容量のインピーダンスを小さくすることと、前記１２bit以上のＡＦＥ内のＡＧＣ増幅と、デジタルゲインアップ手段でのデジタルゲインアップと、を組み合わせることを特徴とする撮像方法。
  4. 　請求項３の撮像方法において、上記固体撮像素子に飽和信号量がおよそ１４００ｍＶ以上と高いＣＣＤを用いることと、上記固体撮像素子の出力の信号電荷の平均値と上記固体撮像素子の信号電荷を入力するリセット付ＣＤＳのＣＤＳリセットパルスの位相の進相とを比例させること、の少なくとも一方を行うことを特徴とする撮像方法。
  5. 　オンチップカラーフィルタ付き水平公称約９６０画素以上のＩＴ－ＣＣＤ撮像素子を１ヶ用いたカラー固体撮像装置において、
    　上記ＩＴ－ＣＣＤ撮像素子の信号電荷を入力するクランプ機能とサンプルホールド（セット）機能とリセット機能を有する相関二重サンプリングホールド手段（Correlated　Double　Sampling-hold：ＣＤＳ）と、３以上の奇数の水平画素電荷信号を加算する手段と、アナログーデジタル変換する手段と、該デジタル変換した信号を水平周期遅延する手段と、該デジタル変換した信号を画素単位で遅延する手段と、該デジタル変換した信号を加算する手段と、該デジタル変換した信号を減算する手段とを有し、
    　上記ＣＤＳにおいて３以上の奇数の水平画素信号電荷を加算し、
    　上記アナログーデジタル変換する手段においてアナログーデジタル変換後に、前記水平周期遅延する手段と前記画素単位で遅延する手段と前記加算する手段と前記減算する手段とを用いて、該デジタル変換した画素信号の左右加算で疑似輝度信号を算出し、該デジタル変換した画素信号の順番方向と正負の斜め減算で疑似色差信号を算出することを特徴とするカラー固体撮像装置。
PCT/JP2011/067557 2010-08-06 2011-07-31 撮像方法および撮像装置 WO2012017968A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201190000656.3U CN203691551U (zh) 2010-08-06 2011-07-31 彩色固体摄像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010177286 2010-08-06
JP2010-177286 2010-08-06
JP2010184941 2010-08-20
JP2010-184941 2010-08-20

Publications (1)

Publication Number Publication Date
WO2012017968A1 true WO2012017968A1 (ja) 2012-02-09

Family

ID=45559467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067557 WO2012017968A1 (ja) 2010-08-06 2011-07-31 撮像方法および撮像装置

Country Status (3)

Country Link
JP (1) JP5812475B2 (ja)
CN (1) CN203691551U (ja)
WO (1) WO2012017968A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6552478B2 (ja) * 2016-12-28 2019-07-31 キヤノン株式会社 固体撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03211977A (ja) * 1990-01-16 1991-09-17 Aiwa Co Ltd カラー撮像装置
JP2000023046A (ja) * 1998-07-02 2000-01-21 Matsushita Electric Ind Co Ltd 撮像装置
JP2000050288A (ja) * 1998-07-24 2000-02-18 Matsushita Electric Ind Co Ltd 映像信号処理方法および撮像装置
JP2001086519A (ja) * 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005191748A (ja) * 2003-12-24 2005-07-14 Sony Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03211977A (ja) * 1990-01-16 1991-09-17 Aiwa Co Ltd カラー撮像装置
JP2000023046A (ja) * 1998-07-02 2000-01-21 Matsushita Electric Ind Co Ltd 撮像装置
JP2000050288A (ja) * 1998-07-24 2000-02-18 Matsushita Electric Ind Co Ltd 映像信号処理方法および撮像装置
JP2001086519A (ja) * 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005191748A (ja) * 2003-12-24 2005-07-14 Sony Corp 撮像装置

Also Published As

Publication number Publication date
CN203691551U (zh) 2014-07-02
JP2012065310A (ja) 2012-03-29
JP5812475B2 (ja) 2015-11-11

Similar Documents

Publication Publication Date Title
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP4475665B2 (ja) 固体撮像装置
WO2018198766A1 (ja) 固体撮像装置および電子機器
JP2006295763A (ja) 撮像装置
JP2007288131A (ja) 固体撮像素子、固体撮像装置およびその駆動方法
US20030193591A1 (en) Image-sensing device having a plurality of output channels
JP2010147785A (ja) 固体撮像素子及び撮像装置並びにその画像補正方法
KR100680471B1 (ko) 보색 컬러 필터를 채택한 ＳｏＣ 카메라 시스템
KR100909932B1 (ko) 촬상장치 및 그 잡음저감방법
US20050073597A1 (en) Image sensing apparatus and method for correcting signal from image sensing device by using signal correction amount
JP2006121151A (ja) 信号処理方法および信号処理装置並びに物理情報取得装置
JP2007135200A (ja) 撮像方法および撮像装置並びに駆動装置
US20070285529A1 (en) Image input device, imaging module and solid-state imaging apparatus
JP5812475B2 (ja) 撮像方法および撮像装置
JP3596860B2 (ja) 撮像装置
JP2005176115A (ja) 撮像装置
KR100866635B1 (ko) 촬상장치 및 촬상방법
JP5464008B2 (ja) 画像入力装置
JP5106017B2 (ja) カメラ
US20110007201A1 (en) Solid state imaging device suppressing blooming
JP2012009937A (ja) 撮像装置
JP4814749B2 (ja) 固体撮像装置
JP4245373B2 (ja) 画素信号処理回路
JP2012065310A5 (ja)
JP6934790B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201190000656.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814594

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11814594

Country of ref document: EP

Kind code of ref document: A1