WO2010073541A1 - 撮像方法および撮像装置 - Google Patents

撮像方法および撮像装置 Download PDF

Info

Publication number
WO2010073541A1
WO2010073541A1 PCT/JP2009/006890 JP2009006890W WO2010073541A1 WO 2010073541 A1 WO2010073541 A1 WO 2010073541A1 JP 2009006890 W JP2009006890 W JP 2009006890W WO 2010073541 A1 WO2010073541 A1 WO 2010073541A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
dark current
signal
average
effective pixel
Prior art date
Application number
PCT/JP2009/006890
Other languages
English (en)
French (fr)
Inventor
中村和彦
武藤豊
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2010543809A priority Critical patent/JP5520833B2/ja
Publication of WO2010073541A1 publication Critical patent/WO2010073541A1/ja
Priority to US13/110,332 priority patent/US8860863B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to an imaging apparatus having a solid-state imaging device, and relates to a method for reducing a false signal of an image signal output from the imaging device.
  • a CCD (Charge Coupled Device) image sensor has high sensitivity and few white scratches among solid-state image sensors.
  • white scratches there are many white scratches at the time of high temperature, high-sensitivity imaging, and accumulation. Therefore, conventionally, there are few pixel defects (so-called white flaws) with an abnormally large dark current.
  • the dark current approximately doubles as the temperature of the CCD image sensor rises to 6 ° C.
  • the dark current increases in proportion to electron multiplication and storage time. For this reason, the dark current increases during high temperature, high sensitivity imaging, and accumulation. That is, white scratches are conspicuous.
  • the vertical pixel signals of the 12 lines output of the vertical optical black pixel (V-OB) portion of the CCD image sensor are averaged.
  • the signal is stored as a signal for one line, and the stored signal is subtracted from the output signal of the effective pixel portion of the solid-state imaging device (see Patent Document 1).
  • vertical smear is reduced so as not to be affected by the dark current of the CCD image sensor due to the occurrence of pixel defects such as white flaws or high level compression. I am trying. For this reason, the following (1) or (2) may be implemented.
  • V-OB vertical shading image
  • the horizontal signal is also averaged, and the low level and high level are compressed and output from the effective pixels on the light receiving surface of the CCD image sensor.
  • the image signal is subtracted (see Patent Document 2).
  • the second value is calculated from the minimum value of the vertical pixel signals of the four lines of the vertical shading image (V-OB), stored as a vertical smear correction signal, and AGC processing is performed on the effective pixels on the light receiving surface of the CCD image sensor. Subtract from the later image signal.
  • the signal output from the solid-state image sensor is A / D converted to 14 bits, the representative value signal is calculated and attenuated to 15/16, and output from the effective pixels on the light receiving surface of the CCD image sensor. Subtract from the image signal (see Patent Document 3).
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gates
  • Array array
  • the circuit scale increases unless the gradation (number of bits) of signal processing is reduced as much as possible.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control: AGC
  • ADC Analog to Digital Converter
  • the ADC gradation of FEP was 10 bits.
  • the ADC gradation of FEP is generally 12 bits or 14 bits, and 16 bits have been commercialized.
  • an FEP in which the ADC gradation is 22 bits and the AGC part is arranged after the ADC has been commercialized.
  • a 12-bit gradation FEP low-frequency noise is conspicuous when combined with a 2 / 3-type CCD image pickup device for NTSC (National Television System Committee) having a wide dynamic range.
  • NTSC National Television System Committee
  • the 14-bit gradation FEP even when combined with the output signal of the NTSC 2/3 type CCD image pickup device having a wide dynamic range, the low frequency noise is not noticeable.
  • an FPGA In orthogonal frequency division multiplexing (OFDM) video transmission with a guard band that repeats a part of an effective signal, an FPGA is used to perform complex multiplication of the received OFDM signal and a signal obtained by delaying the OFDM signal by an effective symbol. Add the absolute value of the I component and the Q component of the guard correlation and calculate the level of the received signal from the square value of the peak value or the average value of the square root value of the square value. The level of the received signal is calculated (see Patent Document 4). Also, in OFDM transmission, a correlation operation is performed by complex multiplication and addition of the received OFDM signal and a signal obtained by delaying the OFDM signal by an effective symbol, and the peak position of the absolute value of the signal obtained as a result of the correlation operation is detected.
  • OFDM orthogonal frequency division multiplexing
  • the absolute value of the I component and the Q component of the correlation signal at the detected peak position are calculated and added, the peak value is calculated, and either the square value of the peak value or the square root value of the square value is calculated.
  • the level of the received signal was calculated from the average value of the values (see Patent Document 5).
  • the electron multiplying CCD image sensor (Electron Multiplying-CCD: EM-CCD) can be combined with an electronic cooling unit to increase the sensitivity, it can be used for nighttime shooting of visible light and near infrared light. Video monitoring is now possible.
  • EM-CCD can increase sensitivity in combination with electronic cooling. For example, when the amplitude voltage of the electron multiplier electrode (hereinafter referred to as CMG) of the EM-CCD increases by 0.1 V, the amplification factor increases by 1.4 times, and when the temperature of the EM-CCD decreases by 11 ° C., it increases by 1.8 times. The electron multiplication factor increases.
  • the electron multiplication factor strongly correlates with the amplitude voltage of the CMG, and is generated with a probability of 0 to 2% per CMG stage. For example, if the CMG is 640 stages when the CMG is 640 stages, “1.01” to the 649th power is 583 times the electron multiplication factor. Therefore, when the amplitude voltage of CMG increases by 0.1 V, the electron multiplication factor of EM-CCD increases by 1.4 times.
  • the fluctuation of the electron multiplication factor fluctuates irregularly at a very low frequency, the image signal is irregularly modulated, and a false signal is generated. Further, when the multiplication sensitivity on the low incident light level level of electron multiplication is increased, noise becomes very conspicuous even on the screen and the effective sensitivity is greatly deteriorated. Further, at the time of high electron multiplication, the electron multiplication factor is lowered by the accumulation of the product of the high electron multiplication factor and the incident light quantity. Therefore, it is necessary to cool the EM-CCD particularly strongly and minimize the amplitude of the CMG voltage (see Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3).
  • the EM-CCD needs to be used in a hermetically sealed state.
  • the heat generating unit is electronically cooled, the image pickup apparatus itself is housed in a sealed space, and air is convected and circulated by a cooling fan. For this reason, heat dissipation is difficult and the cooling effect of electronic cooling is small.
  • the electron multiplication factor decreases with time due to the accumulation of the product of the electron multiplication factor and the incident light amount, not only the effective sensitivity further decreases but also the detection of dark current proportional to the electron multiplication factor is difficult. It is. As described above, when the amplitude voltage of CMG of EM-CCD is increased by 0.1 V, the amplification factor is increased by 1.4 times, and when the temperature of EM-CCD is decreased by 11 ° C., the electron multiplication factor is increased by 1.8 times. . For this reason, in an imaging device using an EM-CCD, it is required to ensure the voltage amplitude of the drive waveform, to have high stability, and to suppress heat generation (that is, to reduce power consumption).
  • an object of the present invention is to improve effective sensitivity in an image pickup apparatus using a CCD image pickup element.
  • the present invention provides a CCD (CCDCharge Coupled Device) image pickup device, a first acquisition unit for acquiring an image signal output from an effective pixel on the light receiving surface of the CCD image pickup device, and the CCD image pickup device.
  • CCD CCDCharge Coupled Device
  • an imaging apparatus having a second acquisition unit that acquires a signal output from at least one of the light-shielded pixels above or below the light-receiving surface or at the left or right, a variable gain amplification (AGC) unit, and the second Means for calculating a representative value of a signal output from the shielded pixel acquired by the acquisition unit; a screen memory for storing a dark current component output from the effective pixel acquired by the first acquisition unit; Means for variablely amplifying the dark current component of the effective pixel signal and subtracting it from the effective pixel signal; and a line memo for storing the effective pixel signal output from the effective pixel acquired by the first acquisition unit And controlling the variable gain amplification of the effective pixel signal in correlation with the representative value, and variable gain amplification of the dark current component of the stored effective pixel signal in positive correlation with the representative value.
  • An imaging method characterized by performing at least one of controlling and subtracting from an effective pixel signal.
  • controlling the gain variable amplification more than the vertical period of the effective pixel signal positively correlated with the average more than the vertical period of the representative value signal, and the horizontal value of the representative value and the representative value The gain variable amplification of the horizontal period of the effective pixel signal is negatively correlated with the ratio of the average of the representative value signal to the average of the vertical period or the cycle average of the representative value signal and the average of the representative value signal of the vertical period Controlling the variable gain amplification of the vertical period of the dark current component of the effective pixel signal according to the vertical period of the representative value signal and subtracting from the effective pixel signal, and the horizontal period of the representative value signal.
  • the gain or variable gain amplification of the horizontal period of the effective pixel signal of the dark current component of the effective pixel signal is positively correlated with the ratio of the value or the average of the representative value signal in the screen and the average of the representative value signal equal to or higher than the vertical period From the effective pixel signal Calculated to be, an imaging method characterized in that performing at least one of the.
  • the image pickup apparatus has an electron multiplying CCD image pickup element (EM-CCD) and a variable voltage electron multiplying electrode driving unit, and is output from the light-shielded pixel acquired by the second acquiring unit.
  • the representative value of the signal output from the shielded pixel acquired by the second acquisition unit stored at the time of the low electron multiplier electrode voltage and the current value of the representative value of the signal to be not multiplied by the image sensor
  • the effective pixel signal is obtained by multiplying the ratio of the estimated dark current corrected by the measured temperature (the estimated value of the electron multiplication factor for each period) to the effective dark pixel reference stored at the time of non-electron multiplication. It is an imaging method characterized by subtracting from.
  • the image pickup apparatus has a temperature measuring means
  • the image pickup device has a vertical optical black pixel (Vertical-Optical Black: V-OB) and a horizontal optical black pixel (Horizontal-Optical Black). : H-OB), and the dark current obtained by correcting the current representative value of the dark current of V-OB and the representative value of the dark current of V-OB stored at the time of non-electron multiplication with the image sensor measurement temperature
  • the estimated dark current of each effective pixel in the screen memory that was stored at the time of non-electron multiplication (the estimated value of the electron multiplication factor for each vertical period regardless of the amount of vertical and horizontal smears) And subtracting from the effective pixel signal and the difference between the minimum value and the maximum value of the representative value between the vertical pixels of the current V-OB is the vertical smear.
  • the imaging method is characterized in that at least one of multiplication and subtraction from the effective pixel signal is performed on a reference dark current of an effective pixel of the screen memory.
  • the imaging device includes a screen memory for storing an effective pixel signal output from the effective pixel acquired by the first acquisition unit, and means for controlling an accumulation time, and the representative value signal At least one of controlling the variable gain amplification of the effective pixel signal positively correlated with the inter-screen cyclic average and controlling the accumulation time positively correlated with the inter-screen cyclic average of the representative value signal.
  • the image pickup apparatus includes an electron multiplying CCD image pickup device (for example, EM-CCD) and a variable voltage electron multiplying electrode driving unit, and the stored representative value strongly correlated with the electron multiplying amount.
  • the square integral of the ratio of the average of the correlation part between the scanning line signals and the difference between the average of the correlation part between the scanning line signals and the total sum of the signal, the electron multiplication fluctuation and the thermal noise (total thermal noise) Compares the square integral of the average error of the correlation part between the scanning line signals such as the sum of the square integral and the square integral of the difference of the correlation part between the scanning line signals strongly correlated with the sum of electron multiplication fluctuation and thermal noise.
  • the square integral of the difference of the correlation part between the scanning line signals is twice the average error of the correlation part between the scanning line signals so that the total amount of electron multiplication fluctuation and the total thermal noise are equal.
  • Increase the average gain variable amplification over the period Reducing the gain variable amplification in the vertical period of the signal, lowering the gain variable amplification in the horizontal period of the effective pixel signal, and controlling the average electron multiplier electrode amplitude value of the vertical period or more to be low.
  • the imaging method is characterized by performing at least one of them.
  • the imaging device has temperature measuring means, and the imaging device has a vertical optical black pixel (V-OB) and a horizontal optical black pixel (H-OB).
  • V-OB vertical optical black pixel
  • H-OB horizontal optical black pixel
  • Averaging video signals of the following levels within a scanning line (one dimension within a horizontal cycle), averaging video signals of a predetermined level or less within a screen (two dimensions between horizontal cycles), The average of video signals of a predetermined level or less between screens (three-dimensional between vertical periods) and the correlation between the screens of video signals (vertical periods) and motion vectors are detected.
  • the representative value of dark current of V-OB memorized at the time of multiplication Multiplied by the ratio of the assumed value of the dark current corrected by the image element measured temperature dark current average of the reference of the effective pixel is an imaging method characterized in that subtracted from the effective pixel signal.
  • the image pickup apparatus has a temperature measuring means
  • the image pickup element has V-OB and H-OB, and stores the current representative value of the dark current of V-OB and the non-electron multiplication.
  • the ratio of the representative value of the dark current of the V-OB to the estimated value of the dark current corrected by the image sensor measurement temperature (electron multiplication factor of each vertical cycle), or the V-OB at the time of non-multiplication The ratio of each V-OB and the average of the preceding and following V-OBs of the dark current multiplication factor estimated by dividing the value obtained by calculating the representative value of dark current and temperature correction (fluctuation component of electron multiplication factor in the vertical period),
  • the effective dark pixel multiplication factor is calculated by dividing the reference dark current of the effective pixel of the screen memory by the calculated value of the V-OB dark current at the time of non-multiplication and temperature correction.
  • the imaging apparatus has a temperature measuring means, a noise removing unit, and a 14-bit or more ADC (and FEP), and at least the electron multiplication, the acyclic average component of the video signal of the current scanning line
  • a means for comparing the correlation with the component a means for calculating the sum of squares of the ratio of non-circular average components between highly correlated positions (multiplication unevenness), and a non-circular average component between positions with high correlation Means for calculating the sum of squares of the difference (dark current multiplication unevenness and thermal noise sum), means for calculating the ratio of the sum of the squares of the ratios and the sum of the squares of the differences, or positions with high correlation Low-frequency component level and high-frequency component of the square of the difference between the non-circular average components Or at least one of means for calculating the ratio between the current variable gain amplification value and the assumed value of the electron multiplication, and the variable gain amplification so that the ratio is not less than a predetermined value.
  • a means for controlling a predetermined level such as an average value of a video signal or a peak value or a peak value excluding a spot, and the like.
  • An imaging device In other words, the 1 / f noise other than the electron multiplication fluctuation is attenuated by using 14-bit or more FEP, and the total amount of the detection amount, the electron multiplication fluctuation and the thermal noise (corresponding strongly to the total amount of the electron multiplication fluctuation) ( The total amount of thermal noise) is compared with the detected amount, and the average value of the gain variable amplification is increased so that the total amount of 1 / f noise of the electron multiplication fluctuation is equal to the total thermal noise.
  • the multiplication electrode amplitude value is controlled to be low and the predetermined level of the video signal is made constant.
  • the CCD image pickup device has an H-OB, and the image pickup device removes noise from the signal output from the CCD image pickup device, dark current correction, an AGC unit for adjusting the signal gain, and a digital signal. It has a digital video signal processing circuit and an FEP composed of an ADC that converts it into a video signal Vi.
  • the digital video signal processing circuit stops the H-OB clamping in the FEP, and M (M is a natural number)
  • M M is a natural number
  • H-OB Subtracting the representative value of the H-OB from the pixel and the ratio of the representative value of the H-OB and the average of the representative value of the H-OB more than the vertical period or the vertical period of the representative value of the H-OB
  • FIG. 1 is a block diagram showing an image pickup apparatus having an overall configuration according to an embodiment of the present invention when a color separation optical system and three CCD image pickup elements are used.
  • FIG. 2 is a block diagram showing an internal configuration of a video signal processing unit including detection of unevenness in multiplication according to an embodiment of the present invention when a CCD image pickup device with a color separation filter is used.
  • FIG. 3 is a block diagram showing an internal configuration of a video signal processing unit including detection of unevenness in multiplication according to an embodiment of the present invention when a color separation optical system and three CCD image sensors are used.
  • the block diagram which shows the internal structure of the detection part which detects the representative value of OB including the detection of the dark current of one Example of this invention, a smear, and multiplication unevenness.
  • the block diagram which shows the internal structure of the detection part which detects the representative value of OB including the detection of the dark current of one Example of this invention, a smear, and multiplication unevenness.
  • the block diagram which shows the internal structure of the detection part which detects the representative value of OB including the detection of the dark current of one Example of this invention, a smear, and multiplication unevenness.
  • the block diagram which shows the internal structure of the detection part which detects the representative value of OB including the detection of the dark current of one Example of this invention, a smear, and multiplication unevenness.
  • the block diagram which shows the internal structure of the detection part which detects the representative value of OB including the detection of the dark current of one Example of this invention, a smear, and multiplication unevenness.
  • Schematic diagram of EM-CCD output showing front and back and upper and lower signal values including electron multiplication fluctuation and thermal noise in one embodiment of the present invention and the prior art.
  • the schematic diagram which shows the electron multiplication fluctuation between the screens in one Example of this invention and a prior art.
  • the schematic diagram which shows the calculation formula of the electron multiplication fluctuation between the screens of one Example of this invention.
  • the schematic diagram which shows determination of the ratio of the sum of an electronic multiplication fluctuation of one Example of this invention, and a thermal noise.
  • the flowchart which shows determination of ratio of the electron multiplication factor of one Example of this invention, and gain gain.
  • the flowchart of one Example of this invention which detects the 2nd value from the minimum value of the vertical pixel of V-OB as a representative value.
  • the flowchart of one Example of this invention which detects the 2nd value from the minimum value of V-OB as a representative value.
  • the schematic diagram which shows jumping into the H-OB clamp level.
  • FIG. 1A is a block diagram showing an overall configuration of an embodiment of an imaging apparatus of the present invention when a CCD imaging device with a color separation filter is used.
  • FIG. 1B is a block diagram showing the overall configuration of an embodiment of the imaging apparatus of the present invention when a color separation optical system and three CCD imaging elements are used.
  • FIG. 2A is a block diagram illustrating an example of an internal configuration of a video signal processing unit including an uneven multiplication detection process of the imaging apparatus of the present invention when a CCD imaging device with a color separation filter is used.
  • FIG. 1A is a block diagram showing an overall configuration of an embodiment of an imaging apparatus of the present invention when a CCD imaging device with a color separation filter is used.
  • FIG. 2B is a block diagram showing an example of an internal configuration of a video signal processing unit including an uneven multiplication detection process of the image pickup apparatus of the present invention using a color separation optical system and three CCD image pickup elements.
  • 3A and 3B are block diagrams showing an embodiment of the internal configuration of the detection unit in the video signal processing unit of the imaging apparatus of the present invention, which detects a representative value of OB including detection of dark current, smear, and multiplication unevenness.
  • FIG. In addition, the average value part 68 and the average value part 69 in FIG. 3A and FIG. 3B are demonstrated in Example 2 and Example 3.
  • FIG. 4A is a schematic diagram of an output of the EM-CCD showing one example of front and rear and upper and lower signal values including electron multiplication fluctuation and thermal noise in an example of the imaging method and imaging apparatus of the present invention.
  • FIG. 4B is a schematic diagram of an EM-CCD output showing an example of signal values including electron multiplication fluctuations and thermal noise of the imaging method and imaging apparatus in the prior art.
  • FIG. 4C is a diagram collectively showing calculation formulas (Formula 1, Formula 2, and Formula 3) of an example of electron multiplication fluctuation between screens of the imaging method and imaging apparatus of the present invention.
  • FIG. 1 is a schematic diagram of an output of the EM-CCD showing one example of front and rear and upper and lower signal values including electron multiplication fluctuation and thermal noise in an example of the imaging method and imaging apparatus of the present invention.
  • FIG. 4B is a schematic diagram of an EM-CCD output showing an example of signal values including electron multiplication fluctuations and thermal noise of the imaging method and imaging apparatus in the prior art.
  • FIG. 5A is a flowchart showing an outline of an embodiment of the determination process of the ratio of the sum of the electron multiplication fluctuation and the thermal noise of the imaging method and imaging apparatus of the present invention.
  • FIG. 5B is a flowchart illustrating an example of processing for determining the ratio between the electron multiplication factor and the gain amplification factor of the imaging method and imaging apparatus of the present invention.
  • FIG. 5C is a flowchart illustrating an example of a process of detecting the second value from the minimum value of the V-OB vertical pixels as a representative value in the imaging method and imaging apparatus of the present invention.
  • 5D is a flowchart illustrating an example of a process of detecting the second value from the minimum value of V-OB as a representative value in the imaging method and imaging apparatus of the present invention.
  • 2A and 2B are block diagrams showing an internal configuration of a video signal processing unit that performs a non-uniformity detection process including high-frequency component detection.
  • the vertical axis in FIGS. 4A and 4B is the video signal amount
  • the horizontal axis in FIG. 4A is the horizontal pixel (corresponding to the horizontal scanning time)
  • the horizontal axis in FIG. 4B is the vertical pixel (corresponding to the vertical scanning time).
  • 4A (a) is the previous screen (2V)
  • FIG. 4A (b) is the current screen (1V)
  • FIG. 4A (c) is the subsequent screen (0V).
  • 4A (a), (b), and (c) the upper stage is the previous scanning line (2H)
  • the middle stage is the current scanning line (1H)
  • the lower stage is the subsequent scanning line (0H).
  • 4A (a), (b), and (c) are stored in the memory. In FIG.
  • FIG. 4A is a schematic diagram of detection of a vertical component of multiplication fluctuation according to the first embodiment.
  • E2V2H represents the video signal of the scanning line before the previous screen
  • E2V1H represents the video signal of the current scanning line of the previous screen
  • E2V0H represents the video signal of the scanning line after the previous screen
  • E1V2H represents the video signal of the scanning line before the current screen
  • E1V1H represents the video signal of the current scanning line of the current screen
  • E1V0H represents the video signal of the scanning line after the current screen.
  • E0V2H represents the video signal of the scanning line before the subsequent screen
  • E0V1H represents the video signal of the current scanning line of the subsequent screen
  • E0V0H represents the video signal of the scanning line after the subsequent screen.
  • the dark current noise is the sum of the squares of the ratio between the horizontal acyclic averages of the highly correlated pixels (Y1) and the square of the difference between the screens of the horizontal acyclic averages of the highly correlated pixels. Is approximated by the sum of (Y2).
  • the dark current subtraction of the effective pixel corrected for multiplication is subtracted in the approximate calculation of the thermal noise total Z, so that an acyclic average is unnecessary. That is, since it is the accumulation of the square of the difference between the screens of highly correlated pixels, the high-frequency component in any of horizontal, vertical, and inter-screen is attenuated whether it is acyclic average or cyclic average. For this reason, non-circular averaging is unnecessary.
  • the thermal noise is approximated by the sum of the squares of the differences between the screens of the highly correlated pixels (Z).
  • the video signal E1V2H of the video line of the current screen is correlated with the video signals E2V0H, E2V1H and E2V2H of the video line of the previous screen (vertical cycle), and the video line having the highest correlation (FIG. 4A).
  • E2V2H has the highest correlation
  • the time difference (t2 ⁇ t1) in the video line between the highly correlated pixels is measured.
  • the total fluctuation Y is decreased and the total thermal noise Z is increased.
  • Y / Z ⁇ K If so, the average AGC amount over the vertical period, the average CMG amplitude over the vertical period, the average sensitivity over the vertical period, the total Y of electron multiplication fluctuations, and the total Z of thermal noise are not changed. . Also, Y / Z> K If so, decrease the average AGC amount over the vertical period, increase the average CMG amplitude over the vertical period, and increase the total Y of the electron multiplication fluctuations without changing the average sensitivity over the vertical period. And the total thermal noise Z is reduced.
  • the value obtained by averaging the H-OBs in the V-OB line or the minimum value of the H-OB in the V-OB line is used as the dark current of the H-OB in the V-OB line.
  • the H-OB in the V-OB line has neither a vertical smear component nor a horizontal smear component. Therefore, if the representative value of H-OB in the current V-OB line is divided by the temperature-corrected representative value of H-OB in the V-OB line at the time of non-multiplication, The multiplication factor of dark current of V-OB in each vertical cycle can be detected, and the multiplication factor in each vertical cycle can be calculated by approximate calculation.
  • the difference between the estimated dark current multiplication factor and the average of the estimated dark current multiplication factors of the preceding and following vertical cycles is the fluctuation component of the vertical cycle multiplication factor, and the current dark current multiplication factor.
  • the fluctuation component of the multiplication factor of the vertical cycles can be canceled out.
  • thermal noise is proportional to gain. Therefore, the dark current multiplication factor B and the gain amplification factor A are uniquely estimated.
  • the outline of the flowchart showing the determination of the ratio between the electron multiplication factor and the gain amplification factor A in FIG. 5B stores the representative value of the dark current of H-OB in the current V-OB line as described above.
  • the representative value of the dark current of H-OB in the V-OB line at the time of non-multiplication is divided by the temperature-corrected value to estimate the multiplication factor B for each vertical period of the dark current.
  • the multiplication factor B and gain amplification factor A for each vertical period of dark current and the coefficient K are compared, and the relationship is B / A ⁇ K If so, increase the average AGC amount over the vertical period, decrease the average CMG amplitude over the vertical period, and reduce the total Y of electron multiplication fluctuations without changing the average sensitivity over the vertical period. And the total thermal noise Z is increased.
  • B / A ⁇ K If so, the average AGC amount over the vertical period, the average CMG amplitude over the vertical period, the average sensitivity over the vertical period, the total Y of electron multiplication fluctuations, and the total Z of thermal noise are not changed. . Also, B / A> K If so, decrease the average AGC amount over the vertical period, increase the average CMG amplitude over the vertical period, and increase the total Y of the electron multiplication fluctuations without changing the average sensitivity over the vertical period. And the total thermal noise Z is reduced.
  • FIG. 1A is a diagram illustrating an overall configuration of an imaging apparatus using a CCD imaging device with a color separation filter.
  • 1 is an imaging device
  • 2 is an optical system such as a lens that forms incident light
  • 3 is a CCD imaging device that converts light incident from the optical system 2 into an electrical signal
  • 4 is FEP
  • 5 is multiplication.
  • a video signal processing unit 6 including a detection processing unit is a CPU (Central Processing Unit) that controls each unit in the imaging apparatus 1.
  • CPU Central Processing Unit
  • the CCD image pickup device 3 is a CCD image pickup device with a color separation filter, for example, an EM-CCD.
  • the FEP 4 includes at least an AGC unit 402 that removes noise from the signal output from the CCD image sensor 3, an AGC unit 402 that adjusts the gain by correcting dark current on the output signal of the CDS 401, and an output signal from the AGC unit 402.
  • An AGC unit 406 and a DAC unit 407 are included.
  • the TG 404 is a signal generator that outputs a horizontal transfer drive signal to the CCD image pickup device 3 and outputs a timing signal to the CDS 401, the AGC unit 402, and the ADC 403 in the FEP4.
  • the readout and vertical transfer drive unit 13 13 ′
  • the readout vertical transfer drive timing signal 3 ′, 7, 9. Output to the transfer unit.
  • the cooling unit 17 includes a Peltier element that cools the CCD image pickup element 3, a Peltier element driving circuit, a radiation fin, a fan, and a fan driving circuit (not shown).
  • the cooling unit 17 controls the temperature of the CCD image sensor 3 by cooling the CCD image sensor 3 according to the temperature detected by the temperature sensor 8 under the control of the CPU 9. In FIG. 1B, the cooling unit 17 and the temperature sensor 8 are not shown and are omitted.
  • the video signal processing unit 5 performs various image processing on the digital video signal Vi, and a composite video signal (Video Burst Sync: VBS) or SDI (Serial Digital Interface) video of NTSC system or PAL (Phase Alternating by Line) system. Signal or HDTV SDI (HD-SDI) video signal is converted into a predetermined format and output.
  • a CCD image pickup device 3 such as an EM-CCD of the image pickup apparatus 1 photoelectrically converts incident light imaged on a light receiving surface by an optical system 2 by a photodiode (Photo Diode) to generate a signal charge, and After the transfer, the signal charge is multiplied by electrons while being transferred horizontally and output to the FEP4.
  • the FEP 4 removes noise from the signal output from the CCD image pickup device 3, corrects the dark current component, amplifies the corrected signal, converts the signal to a digital video signal Vi, and converts the converted digital video signal Vi into a video signal processing unit. 5 is output.
  • the digital video signal Vi is sent to the detection unit 18 and also sent to a subtracter 19 for performing signal processing described later (see FIG. 2A or FIG. 2B).
  • the detection unit 18 compares the digital video signal Vi with the vertical pixel signals of the V-OB lines by the comparison units 41 to 42, stores them in the line memories 43 to 44 in ascending order, and includes vertical (hereinafter V) smear.
  • V vertical
  • An OB representative value signal is detected.
  • the OB representative value signal including the V smear is compared by the comparison units 55 to 56, and the V smear is calculated from the difference between the maximum value including the V smear and the minimum value not including the V smear.
  • the average value of the H-OB signal of the V-OB line at the time of non-electron multiplication at the reference temperature is stored in the reference memory 48 as D.D.
  • the dark current multiplication amount can be calculated by dividing the value obtained by correcting the temperature with the AGC 50 and the average value of the H-OB signal of the V-OB line. Then, average the H-OB signal of the V-OB line at the reference temperature at the non-electron multiplication at the reference temperature and subtract the value stored in the reference memory 48 from the dark current of the effective pixel at the reference temperature at the non-electron multiplication.
  • the adder 45 calculates the V smear.
  • the sum of the dark current and V smear of each effective pixel can be calculated by adding the OB representative value including the correction, and the dark current and V smear of each effective pixel can be corrected by subtracting from the digital video signal Vi by the subtractor 19. Ineffective signal, that is, noise is reduced, and effective sensitivity is improved.
  • the image pickup device of FIG. 1A includes one CCD image pickup device 3 and one FEP4.
  • the incident light incident on the image pickup apparatus through the lens system 2 is, for example, R (red), G (green), B (blue), etc. using the color separation optical system 2 ′.
  • the video signal processing unit (including the multiplication unevenness detection process) 5 ′ performs the same processing as the video signal processing unit 5 of FIG.
  • the image signal processing unit of the embodiment of the imaging apparatus of the present invention shown in FIG. 2B is also a case where a color separation optical system and three CCD image sensors are used, as in FIG. 1B.
  • the processing unit includes, for example, FEP units 4 ′, 10 for each color separated into three primary colors (or their complementary colors) such as R (red), G (green), and B (blue).
  • the video signal Vi for example, RVi, GVi, BVi
  • three signals are output for each color from the video memory unit 32 ′ and the correlation detection unit 33 ′. (Detailed explanation is omitted).
  • FIG. 2A is a block diagram showing an internal configuration of an embodiment of the present invention of a video signal processing unit including detection of uneven multiplication when a CCD image pickup device with a color separation filter is used.
  • 18 is an uneven multiplication detection unit
  • 19 is a subtractor
  • 22 is a difference unit
  • 23 is an LPF (Low Pass Filter)
  • 24 and 25 are square units
  • 26 and 27 are accumulation units
  • 28 is a comparison unit with coefficients
  • 30 is a comparison unit.
  • 31 is a video signal processing unit including a color separation function
  • 32 is a video memory unit including a line memory and a field memory
  • 33 is a correlation detection unit
  • 34 is an output circuit including an SDI conversion function. is there.
  • Reference numeral 6 denotes a CPU that controls each unit in the imaging apparatus 1 (see FIG. 1A).
  • D. The AGC unit 30 adjusts the OB (Optical Black) representative value signal in accordance with the amplification degree of the AGC unit of the FEP. Adjusts the amplification level of the AGC unit itself.
  • the OB representative value signal is a smear component signal including a dark current of V-OB.
  • the signal multiplied and electron-multiplied is output to FEP4.
  • the FEP 4 removes noise from the signal output from the CCD image pickup device 3, corrects the dark current component, converts the corrected signal into an amplified signal (digital video signal Vi), and sends it to the video signal processing unit 5. Output.
  • the vertical transfer drive unit (w / TG) 13 and the CMG drive unit 15 output signals for driving the CCD image pickup device 3 to the CCD image pickup device 3 in accordance with the control signals output from the CPU 6.
  • the CCD image pickup device 3 charges are read from the photodiodes according to the input signal and output to the CMG unit.
  • the CMG unit horizontally transfers and outputs the input charge to the voltage conversion unit.
  • the voltage converter converts the input charge into a voltage having a gradation of 14 bits or 14 bits and outputs the converted voltage to the FEP 4.
  • FEP4 signal processing of gradations of 14 bits or more is performed to attenuate 1 / f noise other than fluctuations in the fluctuation factor of the electron multiplication factor, and to make a detection amount strongly correlated with the total fluctuation amount. . Then, the detected amount that strongly correlates with the total amount of fluctuation is compared with the detected amount that strongly correlates with the total amount of fluctuation and thermal noise, and the total amount of 1 / f noise and the total amount of thermal noise become equal. As described above, the average value within the screen of the variable gain amplification is controlled to be high, and the electron multiplier electrode amplitude value (CMG amplitude voltage) is controlled to be low. By controlling in this way, the video signal level becomes a predetermined level.
  • FIGS. 3A to 3E are block diagrams showing an internal configuration of a detection unit that detects a representative value of OB including detection of dark current, smear, and multiplication unevenness according to an embodiment of the present invention.
  • 18A, 18B, 18C, 18D and 18E are detection units, 19, 46 and 57 are subtractors, 45, 59 and 63 are adders, 51 and 58 are dividers, 52 is a multiplier, and 47, 68 and 69 are averages.
  • the CPU 6 sets the upper limit value of the minimum value signal and the upper limit value of the second smallest signal in the line memory units 44 and 43, respectively.
  • these upper limit values for example, values obtained by quantifying the luminance of the signal may be used (each value described below is also quantified by the same standard).
  • the comparison unit 42 compares the upper limit value stored in the line memory unit 44 with the pixel value of the video signal of the first line (hereinafter referred to as V-OB1) in the V-OB area, and the value is small.
  • the other signal (video signal of V-OB1) is stored in the line memory unit 44 as a minimum value signal of each pixel (steps 61 and 62).
  • the comparison unit 42 compares the pixel value of the video signal of V-OB2 and the value of the minimum signal in the line memory unit 44 between the pixels, and the signal having the smaller value is stored in the line memory unit 44 in each pixel. Is stored as a minimum value signal.
  • the signal having the larger value is sent to the comparison unit 41.
  • the comparison unit 41 compares the value of the larger signal with the upper limit value stored in the line memory unit 43 as the second smallest signal, and compares the smaller signal with the second smallest signal of each pixel.
  • the signal is stored in the line memory unit 43 as a signal (step 63).
  • the comparison unit 42 compares the pixel value of the V-OBN video signal on the N-th line (N is a natural number of 3 or more) with the minimum value of the memory unit 44, and the smaller value is obtained. Is stored in the line memory unit 44 as a signal of the minimum value of each pixel. The signal having the larger value is sent to the comparison unit 41 as a comparison 1 signal for each pixel (step 64). The comparison unit 41 compares the value of the second smallest signal and the value of the comparison 1 signal between the pixels, and stores the signal having the smaller value in the line memory unit 43 as the second smallest signal of each pixel. (Step 65).
  • the line memory unit 43 When the comparison unit 42 finishes the last V-OB comparison process, the line memory unit 43 outputs the second smallest signal as the smear correction OB representative value signal (step 26), and the representative value detection process ends. (Step 27).
  • the average dark current multiplication amount in the screen or the average dark current multiplication amount between the screens is calculated from the horizontal period dark current multiplication amount or the average dark current multiplication amount in the screen by the circulation average of the average unit 68.
  • the inter-screen average dark current multiplication amount is calculated by the circulation average, and is output to the CPU 6 in FIGS. 1A and 1B.
  • FIGS. 3B and 5D will be described.
  • the difference between FIG. 3B and FIG. 3A is that there are a comparison unit 53 and a comparison unit 54 instead of the averaging unit 47.
  • the operation of the same part as FIG. 3A is omitted, and the operation of the comparison unit 53 and the comparison unit 54 will be described.
  • the CPU 6 resets the upper limit value of the minimum value signal in the comparison unit 53 and the comparison unit 54.
  • these upper limit values for example, values obtained by quantifying the luminance of the signal may be used (each value described below is also quantified by the same standard).
  • the comparison unit 54 compares the reset upper limit value with the pixel value of the video signal in the first line of the V-OB area (hereinafter referred to as V-OB1) between the pixels, and the signal (V -OB1 minimum value signal) is set in the comparison unit 54 as the minimum value signal of each pixel (steps 71 and 72).
  • the comparison unit 54 compares the pixel value of the video signal of V-OB2 with the value of the minimum value signal of the comparison unit 54 between the pixels, and the signal with the smaller value is sent to the comparison unit 54 for the minimum value of each pixel. Store as a value signal. The signal having the larger value is sent to the comparison unit 53.
  • the comparison unit 53 compares the value of the larger signal with the upper limit value reset to the comparison unit 53 as the second smallest signal between the pixels, and compares the smaller signal with the second smallest signal of each pixel. Is stored in the comparison unit 53 (step 73).
  • the comparison unit 54 compares the pixel value of the V-OBN video signal on the Nth line (N is a natural number of 3 or more) with the minimum value of the comparison unit 54 between the pixels, and the smaller value is obtained. Is stored in the comparator 54 as a signal of the minimum value of each pixel.
  • the signal having the larger value is sent to the comparison unit 53 as a comparison 1 signal for each pixel (step 74).
  • the comparison unit 53 compares the value of the second smallest signal and the value of the comparison 1 signal between the pixels, and stores the signal having the smaller value in the comparison unit 53 as the second smallest signal of each pixel. (Step 75). When the comparison unit 54 finishes the last V-OB comparison process, the comparison unit 53 outputs the second smallest signal as an OB representative value signal for dark current measurement (step 26), and the representative value detection process ends. (Step 27).
  • FIG. 3C the embodiment shown in FIG. 3C will be described.
  • the difference between FIG. 3C and FIG. 3B is that the comparison unit 53 is omitted, and the comparison unit 54 outputs the minimum value as an OB representative value signal for dark current measurement. Therefore, description of detailed operation is omitted.
  • FIG. 3D the embodiment shown in FIG. 3D will be described.
  • the difference between FIG. 3D and FIG. 3C is that OB dark current rough correction of FEP4 is used, a reference memory unit 60, a divider 58, and an adder 59 are added, and the number of FEP4 bits (gradation) is reduced. is there. Therefore, description of detailed operation is omitted.
  • the CPU 6 controls the vertical transfer drive unit (w / TG) 13 to control the accumulation time.
  • the CPU 6 controls FEPs 4, 10, and 12 to control variable gain amplification. Further, the CPU 6 controls the video signal processing unit 5 including the multiplication detection to control the variable gain amplification of the dark current component of the effective pixel signal, and subtracts it from the effective pixel signal.
  • the vertical smear and the horizontal smear are hardly mixed in the dark current and white scratch component of the H-OB portion of V-OB.
  • the signals of the H-OB portion of the V-OB of the EM-CCD in the non-electron multiplication state at the reference temperature are added and averaged and stored.
  • the dark current multiplication amount due to temperature and electron multiplication can be estimated in real time.
  • the minimum value of the vertical and horizontal pixel levels of V-OB is a dark current component in which vertical smear and horizontal smear are hardly mixed. That is, as shown in the detection unit 45 of FIG.
  • the vertical and horizontal minimum value of V-OB is detected, and the vertical and horizontal minimum value of EM-CCD V-OB in the non-electron multiplication state at the reference temperature.
  • the signal is compared with the signal of the reference memory unit that has been stored by averaging, the amount of dark current multiplication due to temperature and electron multiplication can be estimated in real time. Therefore, the dark current is output from the screen effective pixel stored in the screen memory unit 49, and then the temperature and electron increase are added to the effective pixel OB difference reference dark current signal obtained by subtracting the addition average of the signals of the H-OB portion of V-OB. If the dark current multiplication amount due to doubling is applied, the dark current of the screen effective pixel that is the difference from OB can be estimated.
  • the imaging method of the solid-state imaging device uses an FEP of 14 bits or more, and has an electron multiplying CCD image pickup device including a temperature measuring means and a V-OB, a variable voltage electron multiplying electrode driving unit, a gain variable amplifying unit, a line memory, and a screen memory.
  • the current representative value of the V-OB dark current and the dark current obtained by correcting the representative value of the V-OB dark current stored at the time of non-electron multiplication with the image sensor measurement temperature Is multiplied by the reference dark current of each effective pixel of the screen memory stored at the time of non-electron multiplication, and the ratio (the estimated value of the electron multiplication factor of each vertical period) is multiplied by the effective pixel signal.
  • the correlation between the fixed noise reduction method and the screen (vertical cycle) of the video signal and the motion vector are detected, and the video signal of the motion vector that is less than or equal to the predetermined correlation is higher than the correlation between the screens. It can be applied when two types of noise reduction methods are used together, such as a random noise reduction method such as averaging at the same time.
  • a random noise reduction method such as averaging at the same time.
  • the average of the H-OB portion is 1 / f noise component of the dark current. If the level video signal is averaged within the scanning line and the variation between the average scanning lines in the H-OB portion is subtracted, the average amount of line memory in the screen can be reduced.
  • the average of the H-OB portion is a horizontal smear component common to the video signal in the scanning line with the high luminance video signal and 1 / f noise of dark current.
  • the CPU 6 sets the upper limit value of the minimum value signal and the upper limit value of the second smallest signal in the line memory units 43 and 44, respectively.
  • these upper limit values for example, values obtained by quantifying the luminance of the signal may be used (each value described below is also quantified by the same standard).
  • the comparison unit 42 compares the upper limit value stored in the line memory unit 43 with the pixel value of the video signal of the first line in the V-OB area (hereinafter referred to as V-OB1) between the pixels, and the value is small.
  • Signal (V-OB1 video signal) is stored in the line memory unit 43 as a minimum value signal of each pixel (start step 61, minimum value storage step 62).
  • the comparison unit 41 compares the pixel value of the V-OB2 video signal with the minimum signal value in the line memory unit 44 between the pixels, and the signal having the smaller value is stored in the line memory unit 44 in each pixel. Is stored as a minimum value signal. The signal having the larger value is sent to the comparison unit 42.
  • the comparison unit 42 compares the value of the larger signal with the upper limit value stored in the line memory unit 43 as the second smallest signal, and compares the smaller signal with the second smallest signal of each pixel.
  • the signal is stored in the line memory unit 43 as a signal (second smallest value storing step 63).
  • the comparison unit 41 compares the pixel value of the V-OBN video signal of the Nth line (N is a natural number of 3 or more) with the minimum value of the line memory unit 44, and the value is small. This signal is stored in the line memory unit 44 as a minimum value signal of each pixel.
  • the signal having the larger value is output to the comparison unit 42 as a comparison 1 signal for each pixel (comparison 1 signal output step 64).
  • the comparison unit 42 compares the value of the second smallest signal and the value of the comparison 1 signal between the pixels, and sets the signal having the smaller value as the second smallest signal (comparison 2 signal) of each pixel. This is stored in the unit 43 (Comparison 2 signal storage step 65).
  • the line memory unit 43 outputs the comparison 2 signal to the adder 45 as an OB representative value signal for smear correction (OB representative value output step 66).
  • the representative value detection process ends (end step 67).
  • the OB representative value signal is also input to the comparison unit 55 to calculate the maximum value of the OB representative value, and is also input to the comparison unit 56 to calculate the minimum value of the OB representative value.
  • the subtractor 57 takes the difference between the maximum value of the OB representative value and the minimum value of the OB representative value, and outputs the difference value to the CPU 6 as a V-OB vertical smear. If the smear amount is greater than or equal to a predetermined reference amount, the horizontal smear that leaks into the H-OB next to the effective pixel is as large as the vertical smear of about -80 dB.
  • the averaging unit 47 of FIG. 3A adds and averages the V-OB H-OB, and stores the reference V-OB H-OB addition average stored in the reference memory unit 48 as D.D.
  • the dark current multiplication amount of the vertical period can be calculated by taking a ratio with the reference H-OB in which the temperature and AFE (Analog Front End) amplification are corrected by the AGC unit 50 and the divider 51.
  • the difference in the subtractor 46 between the H-OB addition average of the reference V-OB stored in the reference memory unit 48 and the reference dark current of the effective pixel is used as the effective pixel OB difference reference dark current. If the effective pixel reference dark current and the dark current multiplication amount are multiplied by the multiplier 52, the effective pixel OB differential dark current of the vertical period can be calculated. Then, the calculated effective pixel OB differential dark current and the OB representative value are added by the adder 45 and output to the subtracter 19. Instead of calculating the addition average by the averaging unit 47 of FIG. 3A, the minimum value of H-OB may be calculated using the comparison unit 54 of FIG. 3B.
  • the averaging unit 47 adds and averages the horizontal H-OBs of the effective pixels, and calculates the horizontal H-OB addition average of the reference effective pixels stored in the reference memory unit 48 as D.D.
  • the dark current multiplication amount of the horizontal period can be calculated by taking a ratio with the reference H-OB in which the temperature and AFE amplification are corrected by the AGC unit 50 and the divider 51.
  • the difference between the reference H-OB addition average stored in the reference memory unit 48 and the reference dark current of the effective pixel is calculated by the subtractor 46, and the calculated difference is used as the effective pixel OB difference reference dark current in the screen memory. 49, and the multiplier 52 multiplies the effective pixel OB difference reference dark current and dark current multiplication amount stored therein.
  • the effective pixel OB differential dark current of the horizontal period can be calculated.
  • the calculated effective pixel OB differential dark current of the horizontal period and the OB representative value are added by the adder 45, and the added value is output to the subtractor 19.
  • the comparison unit 54 in FIG. 3C is used to calculate the minimum value of H-OB and take the ratio of the minimum value of H-OB, The dark current multiplication amount may be calculated.
  • the processing operation for detecting the second smallest signal of V-OB and detecting the OB representative value for dark current multiplication amount calculation Will be described.
  • the CPU 6 sets the upper limit value of the minimum value signal and the upper limit value of the second smallest signal in the comparison units 53 and 54, respectively.
  • these upper limit values for example, a numerical value of the luminance of the signal may be used. Each value described below is also quantified according to the same standard.
  • the comparison unit 54 compares the set upper limit value with the value of each pixel of the video signal in the V-OB area, and uses the smaller value (V-OB video signal) as the minimum value of V-OB. Is stored in the line memory unit 44 and set. Then, the signal having the larger value is output to the comparison unit 53 (start step 71, minimum value storage step 72).
  • the comparison unit 53 compares the value of the larger signal with the upper limit value set as the second smallest signal, and sets the smaller signal to the line memory unit 43 as the second smallest signal of V-OB. Store and set (second smallest value storage step 73).
  • the comparison unit 53 compares the pixel value of the V-OBN video signal of the N-th line with the minimum value of the line memory unit 44 between the pixels, and the signal having the smaller value is compared between the pixels.
  • the signal is stored in the line memory unit 44 as a minimum value signal.
  • the signal having the larger value is output to the comparison unit 42 as a comparison 1 signal for each pixel (comparison 1 signal output step 74).
  • the comparison unit 54 finishes the last V-OB comparison process, the comparison unit 53 outputs the second smallest signal to the divider 51 as the dark current multiplication amount setting OB representative value signal (OB representative value).
  • the output step 76) ends the representative value detection process (end step 77).
  • the second smallest signal is detected as a representative value.
  • a minimum value is obtained from the line memory unit 44 using an EM-CCD with a small horizontal (H) smear and few black scratches.
  • OB representative value including vertical (V) smear is detected, and the difference between the maximum value and the minimum value of the OB representative value including V smear is detected from the comparison unit 55 and the comparison unit 56 as the V smear amount. If the minimum value of -OB is detected and the dark current multiplication amount is detected from each horizontal period signal, the dark current multiplication amount is the sum of 1 / f fluctuation and H smear.
  • the subtractor 19 subtracts the dark current from the H smear, thereby obtaining dark current unevenness, V smear, H smear and 1 / f fluctuation are subtracted, and as a result, noise is reduced and effective sensitivity is improved.
  • FIG. 3D is obtained by adding a divider 58, an adder 59, and a reference memory unit 60 to the configuration of FIG. 3C.
  • OB memory unit 405 existing in FEP 4 in FIG.
  • the OB dark current output from the AGC unit 406 (not shown and described in FIG. 1A), output to the CDS 401 via the DAC (Digital to Analog Converter) unit 407, and OB dark current for offsetting the CDS 401
  • This is used as a rough correction, and the divider 58 and the reference memory unit 60 detect the dark current multiplication amount of the OB dark current rough correction.
  • the detected dark current multiplication amount and the dark current multiplication amount of the OB dark current detailed correction detected by the divider 51 are added by an adder 59 to obtain a dark current multiplication amount.
  • the FEPs 4, 4 ′, 10, and 12 of the overall configuration of the imaging apparatus of the present invention and a video signal including multiplication detection
  • the video signal gradation (number of bits) of the processing unit 5 is minimized.
  • the H-OB in the V-OB line has neither vertical smear component nor horizontal smear component of the high luminance signal of the effective pixel.
  • the Nth value from the minimum value of V-OB has neither a vertical smear component nor a horizontal smear component of the high luminance signal of the effective pixel.
  • the minimum value of V-OB Even if the N-th value is calculated from the value, the N-th value is calculated from the minimum value of V-OB at the time of non-multiplication, and the temperature corrected is divided, the dark current increases on each screen V-OB
  • the magnification can be detected, and the multiplication factor for each vertical period can be estimated.
  • the fluctuation component of the multiplication factor of the vertical period is the temperature-corrected representative value of the V-OB dark current of the EM-CCD at the reference temperature at the time of non-multiplication divided by the representative value of the V-OB dark current
  • the dark current multiplication factor estimated by division is the difference between each V-OB and the average of the preceding and following V-OBs.
  • the fluctuation component of the multiplication factor is almost proportional to the multiplication factor.
  • thermal noise is proportional to gain. Therefore, simply, if the multiplication factor that is substantially proportional to the fluctuation component of the multiplication factor and the gain that is proportional to the thermal noise are increased proportionally, thermal noise due to an increase in the amount of AGC will also increase the electronic gain of the solid-state imaging device.
  • the 1 / f noise due to the double fluctuation is equally inconspicuous. As a result, a higher effective sensitivity can be obtained together with a reduction in dark current and interdigital fixed noise due to a decrease in electron multiplication. Furthermore, as a result of being able to obtain a higher effective sensitivity, the accumulation time is reduced, so that it is easy to monitor moving objects.
  • FIG. 3E shows that the addition of the adder 63 causes the reference memory 48 and the divider 51 to receive the V-OB of the CCD image sensor instead of the second smallest signal of the V-OB H-OB of the CCD image sensor.
  • the sum of the second smallest signal and the second smallest signal of H-OB is used as a reference to calculate the dark current multiplication amount.
  • a comparison unit 55 is added to the L output of the comparison unit 53, and the input of the adder 63 is not the S output of the comparison unit 53 and the S output of the comparison unit 54, but the S output of the comparison unit 53. And the S output of the comparator 55.
  • the image pickup apparatus using the image pickup device such as the EM-CCD has been described in detail above.
  • the present invention is not limited to the image pickup device described here, and other CCD image pickup devices such as IT (Interline Transfer)-Needless to say, the present invention can be widely applied to imaging devices using CCD imaging devices or the like.
  • a vertical pixel of V-OB is used as a detection amount that strongly correlates with the amount of dark current Representative of dark current amount, with either the horizontal minimum value of the minimum value (smear representative value), the minimum value of V-OB, or the minimum value of H-OB of V-OB as the representative value of dark current amount.
  • the average value of the dark current amount between the screens of the values is set as the average value of the dark current amount.
  • the gain variable amplification amount of the effective pixel signal is controlled in positive correlation with the average value of the dark current amount of the average between the screens.
  • the gain variable amplification amount of the dark current component of the effective pixel signal is controlled and subtracted from the effective pixel signal in a positive correlation with the dark current amount of each screen.
  • (3) negatively correlating with the ratio of the average value of the dark current amount of the circulation average between the screens and the dark current amount of each screen, and controlling the gain variable amplification amount of the effective pixel signal Compensates for long period multiplication fluctuations.
  • the gain variable amplification amount in the vertical period the multiplication fluctuation due to the increase of the electron multiplication factor is suppressed.
  • the fluctuation noise of the video signal is attenuated.
  • the vertical period multiplication fluctuation and dark current fluctuation are suppressed.
  • the correlation is proportional in a state where there is little noise other than multiplication fluctuation and dark current fluctuation, multiplication fluctuation and dark current fluctuation are suppressed to a negligible amount, so the amount of dark current component subtraction of the effective pixel signal May be constant.
  • the minimum value of the V-OB vertical pixel detected as a smear representative value is calculated as the representative value of the dark current amount in the horizontal direction. To do.
  • the minimum value of V-OB may be detected and used as a representative value of the dark current amount.
  • the minimum value of H-OB of V-OB may be detected and used as a representative value of the dark current amount.
  • the embodiment shown in FIGS. 3A to 3D has a function of detecting the dark current multiplication amount. Therefore, an averaging unit 68 consisting of a register, an adder, and a coefficient unit that circulates and averages within the screen, and an averaging unit 69 consisting of a register, adder, and a coefficient unit that circulates between the screens are added to the detection unit of the first embodiment.
  • the entire configuration shown in FIGS. 3A to 3D may be used. In this case, since the configuration and operation other than the averaging unit 68 and the averaging unit 69 are the same as those in the first embodiment, the description thereof is omitted.
  • the average dark current multiplication amount in the screen is obtained from the horizontal period dark current multiplication amount or the average dark current multiplication amount in the screen output from the detection units 18A to 18D, as the circulation average of the average unit 68. Alternatively, it is calculated as an inter-screen average dark current multiplication amount, and is output to the outside (CPU 6 in FIG. 1A or CPU 6 ′ in FIG. 1B) and output to the averaging unit 69. Then, the current multiplication amount input to the averaging unit 69 is calculated as the inter-screen average dark current multiplication amount by the circulation average of the averaging unit 69, and is output to the CPU 6 in FIG. 1A or the CPU 6 ′ in FIG. 1B. In FIG.
  • the CPU 6 or the CPU 6 ′ controls the vertical transfer drive unit (w / TG) 13 or 13 ′ to control the accumulation time.
  • the CPU 6 (or CPU 6 ′) controls FEP 4 (or 4, 10, 12) and controls variable gain amplification.
  • the CPU 6 (or CPU 6 ′) controls the video signal processing unit 5 (or video signal processing unit 5 ′) including multiplication detection, controls the variable gain amplification of the dark current component of the effective pixel signal, and controls the effective pixel signal. Subtract from and output.
  • a CCD image pickup device including an OB, a CDS for removing noise from a signal output from the CCD image pickup device, a gain variable amplification (AGC) unit for adjusting dark current correction and signal gain, and a digital video signal
  • ADC gain variable amplification
  • the gain variable amplification of the FEP is controlled negatively in correlation with the ratio of the average value over the vertical period of the representative value, and the multiplication fluctuation of the period between the horizontal period and the vertical period of the dark current is corrected by the AGC. .
  • the effect of white scratches is almost eliminated except for the top N.
  • the average of (MN) is used, the influence of fluctuation of dark current having a short period of (MN) or less is almost eliminated.
  • H-OB is generally about 20 pieces, M is generally about 17, and N is generally about 4.
  • H-OB is generally about 55, M is generally about 36, and N is generally about 10.
  • N is better to increase N for an image sensor with many white scratches and to decrease N for an image sensor with few white scratches. That is, N white scratches of each H-OB are excluded, the pedestal level is stabilized, the electron multiplication fluctuation in the horizontal period is canceled, and the horizontal noise of the video signal is attenuated.
  • the horizontal smear increases the average of the H-OB maximum value from the Nth to the (N + 4) th and the average from the minimum value to the fourth to the minimum value.
  • the average AVmaxn-n + 4 from the Nth to the (N + 4) th of the maximum value of H-OB and the average AVmin- + 4 from the minimum value to the fourth of the minimum value are the difference between dark current and white scratches. Since it rises in proportion to the level, the following equation 4 becomes the charge multiplication factor.
  • the imaging method of the solid-state imaging device having a CCD imaging device including an OB, a variable gain amplification (AGC) unit, a line memory unit, and a screen memory unit (1) a detection amount that strongly correlates with the dark current amount
  • the gain variable amplification of the effective pixel signal is controlled or the accumulation time is controlled in a positive correlation with the cyclic average of the minimum value of V-OB.
  • the gain variable amplification of the dark current component of the effective pixel signal is controlled and subtracted from the effective pixel signal in a positive correlation with the cyclic average of the minimum V-OB value of the detected amount that strongly correlates with the dark current amount.
  • the horizontal noise of the signal can be attenuated.
  • FIG. 3D of the block diagram showing the internal configuration of the detection unit for detecting the representative value of OB including detection of dark current, smear, and multiplication unevenness of one embodiment of the present invention is described in the first embodiment.
  • the averaging unit 68 consisting of a register, an adder and a coefficient unit that circulates and averages within the screen, and the average consisting of a register, adder, and a coefficient unit that circulates and averages between screens.
  • the unit 69 may be configured as the entire configuration of FIG. 3D added to the detection unit of the first embodiment.
  • the average dark current multiplication amount in the screen or the screen is determined by the cyclic average of the average unit 68 from the horizontal period dark current multiplication amount or the screen average dark current multiplication amount.
  • the average dark current multiplication amount is calculated, and the average dark current multiplication amount between the screens is calculated by the circulation average of the averaging unit 69, and is output to the CPU 6 of FIG. 1A (or FIG. 1B).
  • FIG. 1A or FIG.
  • the CPU 6 controls the vertical transfer driver (w / TG) 13 to control the accumulation time.
  • the CPU 6 controls FEP 4 to control variable gain amplification.
  • the CPU 6 controls the video signal processing unit 5 including the multiplication detection processing unit, controls the variable gain amplification of the dark current component of the effective pixel signal, and subtracts it from the effective pixel signal.
  • the effective pixel signal is negatively correlated with the ratio between the horizontal average dark current multiplication amount or the horizontal average dark current multiplication amount in the screen and the average dark current multiplication amount between the screens. Controls variable gain amplification. That is, the gain fluctuation due to the increase of the electron multiplication factor is suppressed by reducing the variable gain amplification in the horizontal period.
  • the horizontal noise of the video signal is attenuated.
  • horizontal fluctuation multiplication fluctuations and dark current fluctuations are suppressed, and if the correlation is proportional in a state where there is little noise other than multiplication fluctuations and dark current fluctuations, multiplication fluctuations and dark current fluctuations Therefore, the amount of subtraction of the dark current component of the effective pixel signal may be constant.
  • the gain variable amplification of the effective pixel signal or the accumulation time is controlled in a positive correlation with the circulation average amount between the screens of the horizontal period dark current multiplication amount.
  • the lateral fluctuation noise of the video signal is attenuated by suppressing the multiplication fluctuation and the dark current fluctuation due to the increase of the electron multiplication factor. Multiplication fluctuation and dark current fluctuation are suppressed. If the correlation is proportional, multiplication fluctuations and dark current fluctuations can be ignored, so the amount of subtraction of the dark current component of the effective pixel signal may be constant. Further, (2) and circulation average amount between horizontal period of the dark current increase times screen, correlated negatively horizontal period dark current increase times the ratio in each screen, controls the variable gain amplifier of the effective pixel signal To do.
  • the multiplication fluctuation and the dark current fluctuation due to the increase of the electron multiplication factor are suppressed.
  • the wobbling noise of each screen of the video signal is attenuated.
  • the multiplication fluctuation and dark current fluctuation of each screen are suppressed, and if the correlation is proportional in a state where there is little noise other than the multiplication fluctuation and the dark current fluctuation, the multiplication fluctuation and the dark current fluctuation are obtained. Therefore, the amount of subtraction of the dark current component of the effective pixel signal may be constant.
  • FIG. 6 is a schematic diagram showing jumping to the H-OB clamp level.
  • the vertical axis represents the H-OB clamp level
  • the horizontal axis represents the sampling period. Intrusion occurs due to electrostatic or electromagnetic coupling, power supply or GND potential fluctuations.
  • the dark current is 4096 gray scales with 20 H-OBs, 17 M-H-OBs, and 12 bits ADC.
  • the average (d) is 180 (the average value 180 of the dark current varies depending on the CCD), the simple average is 213 even if there is a fluctuation in the waveform of the damped vibration of the maximum one-side amplitude 640. .
  • the error is 5 (d-5).
  • the maximum value / minimum value deletion average of one embodiment of the present invention is 186, the error is 6 (d + 6).
  • the maximum and minimum two-deleted average of one embodiment of the present invention is 181, the error is 1 (d + 1), and the error is reduced to the gradation resolution. Therefore, by applying one embodiment of the present invention, the error is significantly reduced and can be virtually ignored.
  • the level is (d ⁇ 320), but is 0 (d ⁇ 180) due to insufficient range.
  • the H-OB clamp level does not fluctuate even when the sampling phase and the phase of the dampening vibration jump waveform, fluctuation of the pedestal level of the video in units of horizontal periods, that is, low frequency noise, and improvement of the image quality in the dark part To do.
  • the clamp phase is set to a phase with less jumping, even if the phase fluctuates and jumping increases, the error is reduced as described above.
  • the CMG drive waveform is improved and the horizontal smear can be ignored, and the EM-CCD and the IT-CCD HDTV with low horizontal smear are effective in reducing the low frequency noise. .
  • Video signal processing unit including processing unit, 6: CPU, 8: temperature sensor, 13: vertical transfer driving unit (w / TG), 14, 15, 15 ′, 16: CMG driving unit, 17: cooling unit, 18, 18 ', 18A, 18B, 18C, 18D, 18E, 37, 39: detection unit, 19, 19', 38, 40, 46, 46 ', 57: subtractor, 45, 59, 63: adder, 51, 58: Divider, 52: Multiplier, 47, 68, 69: Average part, 43, 44: Line memory part, 48, 60: Reference memory part, 49: Image memory part, 41, 42, 53, 54, 55, 56: comparison unit, 22: difference unit, 23: LPF, 24, 25: square unit, 26, 27: accumulating unit, 28: comparison unit with coefficient, 29: division unit,

Abstract

　ＥＭ-ＣＣＤの偽信号を最小限にして、実効感度を改善する。　ＥＭ-ＣＣＤとＦＦＰと走査線メモリと画面メモリを用いた撮像装置において、電子増倍時に、Ｖ-ＯＢの現在の最小値から２番目の値と非電子増倍時に記憶したＶ-ＯＢの最小値から２番目の値を撮像素子測定温度で補正した暗電流の想定値との比に比例して、有効画素信号の平均のＡＧＣを高く垂直周期のＡＧＣを低くし、減算する暗電流成分の平均の増幅を高く垂直周期の増幅を高くし、スミアが所定値以下なら、Ｈ-ＯＢの現在の最小値と非電子増倍時に記憶したＨ-ＯＢの最小値を撮像素子測定温度で補正した暗電流の想定値との比に比例して、有効画素信号の水平周期のＡＧＣを低くし、減算する暗電流成分の水平周期の増幅を高くする。

Description

撮像方法および撮像装置
　本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号の偽信号の低減する方法に関するものである。
　ＣＣＤ（ Charge Coupled Device ）撮像素子は、固体撮像素子の中でも、感度が高く、白キズが少ない。しかし、高温度時、高感度撮像時、及び蓄積時には、白キズが多い。
　そこで、従来、暗電流が異常に大きい画素欠陥（いわゆる、白キズ）は少ない。しかし、暗電流は６℃のＣＣＤ撮像素子の温度上昇でおおよそ２倍となる。さらに、暗電流は電子増倍と蓄積時間とに比例して増加する。そのため、高温度時や高感度撮像時や蓄積時は暗電流が大きくなる。即ち、白キズが目立つ。光学的黒画素部分の白キズの影響を低減するため、ＣＣＤ撮像素子の垂直方向の光学的黒画素（ Vertical-Optical Black：Ｖ－ＯＢ）部分の１２ラインの出力の各垂直画素信号を平均し、１ライン分の信号として記憶し、この固体撮像素子の有効画素部分の出力信号よりこの記憶した信号を減算していた（特許文献１参照）。
　また、ＣＣＤ撮像素子を用いた固体撮像装置においては、白キズ等の画素欠陥の発生に起因するＣＣＤ撮像素子の暗電流への影響や高レベル圧縮の影響を受けない様に、垂直スミアの低減を図っている。このため、以下の（１）若しくは（２）を実施することがある。
（１）垂直遮光画像４ラインの各垂直画素（Ｖ－ＯＢ）信号の平均信号を算出しその水平信号も平均し、低レベルと高レベルを圧縮しＣＣＤ撮像素子の受光面の有効画素から出力される画像信号から減算する（特許文献２参照）。
（２）垂直遮光画素（Ｖ－ＯＢ）信号４ラインの画面垂直方向の暗電流むらを補正する。次に、垂直遮光画像（Ｖ－ＯＢ）４ラインの各垂直画素信号の最小値から２番目の値を算出し、垂直スミア補正信号として記憶し、ＣＣＤ撮像素子の受光面の有効画素についてＡＧＣ処理後の画像信号から減算する。また、前記固体撮像素子から出力される信号を１４ビットにＡ／Ｄ変換して前記代表値信号を算出して１５／１６に減衰して、ＣＣＤ撮像素子の受光面の有効画素から出力される画像信号から減算する（特許文献３参照）。
　また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（ Digital Signal Processor ）だけでなく、安価な汎用のＦＰＧＡ（ Field Programmable Gate Array ）でも容易に実現できる様になった。但し、信号処理の階調（ビット数）をなるべく減らさないと回路規模が増大する。
　さらに、ＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳ（ Correlated Double Sampling ）、暗電流補正及び利得を可変する利得可変増幅（ Automatic Gain Control ：ＡＧＣ）部、並びに、デジタル映像信号Ｖｉに変換するＡＤＣ（ Analog to Digital Converter ）を内蔵したＦＥＰ（ Front End Processor ）が普及してきている。ＦＥＰのＡＤＣ階調は、従来、１０ビットだった。しかし、近年、ＦＥＰのＡＤＣ階調は、１２ビットや１４ビットが一般化し、１６ビットも製品化された。また、ＡＤＣ階調を２２ビットとし、ＡＧＣ部をＡＤＣの後に配置したＦＥＰも製品化された。１２ビット階調のＦＥＰでは、ダイナミックレンジの広いＮＴＳＣ（ National Television System Committee ）用２／３型ＣＣＤ撮像素子と組み合わせると低域雑音が目立つ。
　１４ビット階調のＦＥＰでは、ダイナミックレンジの広いＮＴＳＣ用２／３型ＣＣＤ撮像素子の出力信号と組み合わせても、低域雑音は目立たない。しかし、１４ビット階調のＦＥＰといえども、タイミング余裕の少なくなる７４ＭＨｚでは、ＨＤＴＶ（ High Definition Tele-Vision ）用２／３型ＣＣＤ撮像素子と組み合わせると、例えば５５ケのＨ－ＯＢ（ Horizontal-Optical Black：Ｈ－ＯＢ）の内の３６ケをクランプしても低域雑音が目立つ。
　さらに、フレームメモリを内蔵したＤＮＲＩＣ（ Digital Noise Reduction Integrated Circuit ）も低価格で発売された。
　また、手ぶれ電子補正では、動き検出信号を元に画像メモリに書き込まれている映像信号を水平と垂直方向に手ぶれによって移動した後の位置から読み出し、元の被写体の同一の点が重ね合わされるように合成する処理方法が使われている。
　また、有効信号の一部を繰り返すガードバンド付き直交周波数分割多重（ Orthogonal Frequency Division Multiplexing ：ＯＦＤＭ）映像伝送では、ＦＰＧＡを用い、受信したＯＦＤＭ信号と該ＯＦＤＭ信号を有効シンボル遅延した信号と複素乗算し加算して、ガード相関のＩ成分の絶対値とＱ成分の絶対値を加算し、ピーク値の二乗値から上記受信信号のレベルを算出するか、または、二乗値の平方根値の平均値から上記受信信号のレベルを算出する（特許文献４参照）。
　また、ＯＦＤＭ伝送では、受信したＯＦＤＭ信号と該ＯＦＤＭ信号を有効シンボル遅延した信号と複素乗算し加算することにより、相関演算を行い、当該相関演算の結果得られる信号の絶対値のピーク位置を検出し、当該検出したピーク位置における相関信号のＩ成分の絶対値とＱ成分の絶対値を算出し加算し、ピーク値を算出し、当該ピーク値の二乗値または二乗値の平方根値の何れかの値の加算平均値から上記受信信号のレベルを算出していた（特許文献５参照）。
　さらに、電子増倍型ＣＣＤ撮像素子（ Electron Multiplying-ＣＣＤ：ＥＭ－ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。
　ＥＭ－ＣＣＤは、電子冷却と組み合わせて感度を高くできる。例えば、ＥＭ－ＣＣＤの電子増倍電極（以下、ＣＭＧと称する）の振幅電圧が０．１Ｖ高くなると１．４倍増幅率が高くなり、ＥＭ－ＣＣＤの温度が１１℃低くなると１．８倍電子増倍率が高くなる。このため、駆動波形の電圧振幅確保と高安定性と発熱低減、つまり消費電力の低減が求められる。
　さらに電子増倍率は、ＣＭＧの振幅電圧に強く相関して、ＣＭＧ一段当たり０～２％の確率で発生し、例えば、一段当たり１％とすると、ＣＭＧが６４０段では、ＥＭ－ＣＣＤとしては、“１．０１”の６４９乗で、５８３倍の電子増倍率となる。そのため、ＣＭＧの振幅電圧が０．１Ｖ高くなると、ＥＭ－ＣＣＤの電子増倍率が１．４倍高くなる。このため、非常に低い周波数で、電子増倍率の変動が不規則に揺らぎ、画像信号が不規則に変調され、偽信号が発生する。また、電子増倍の低入射光量レベル側の増倍感度を高くすると、画面の目視上でも非常に目立つ雑音となり、実効感度が大幅劣化する。さらに高電子増倍時は、高電子増倍率と入射光量との積の累積で電子増倍率が低下する。そのため、ＥＭ－ＣＣＤを特に強く電子冷却してＣＭＧ電圧の振幅を最小限にする必要がある（非特許文献１と非特許文献２と非特許文献３参照）。しかし、ＥＭ－ＣＣＤは、密閉状態で使用する必要があり、熱発生部を電子冷却し、撮像装置自体を密閉された空間内に収納し、冷却ファンで空気を対流循環させている。このため、放熱が困難で、電子冷却の冷却効果が小さい。
　ところで、ＥＭ－ＣＣＤを用いたテレビジョンカメラ等の撮像装置において、ＥＭ－ＣＣＤに取り付けてある冷却部が周囲温度の影響で冷却または加熱の能力を超えた場合でもＥＭ－ＣＣＤの感度を一定に保つため、ＥＭ－ＣＣＤの温度を検出し、検出した温度に基づきＥＭ－ＣＣＤの電子増倍率を制御することも検討されている（特許文献６参照）。
特開平０７－０６７０３８号公報 特開２００７－１５０７７０号公報 特開２００８－１０９６３９号公報 特開２００３－１１５７８７号公報 特許第４１０７８２４号公報 特開２００７－３１８７３５号公報
ＴＩ製TC246RGB-B0 680 x 500 PIXEL IMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR　SOCS087 - DECEMBER 2004 - REVISED MARCH 2005 浜松ホトニクス　高感度カメラの原理と技術　Cat No.SCAS0020J01　DEC/2006　（電子増倍率の概要説明） ANDOR　Technical Note　Longevity in EMCCD and ICCD　Part Ｉ－ＥＭＣＣＤ　14－Mar－06　（電子増倍率の経時劣化の対策）
　上述の技術では、電子増倍率と入射光量との積の累積で電子増倍率が経時的に低下するので、実効感度がさらに低下するだけでなく、電子増倍率に比例する暗電流の検出が困難である。
　また上述したように、ＥＭ－ＣＣＤのＣＭＧの振幅電圧が０．１Ｖ高くなると１．４倍増幅率が高くなり、ＥＭ－ＣＣＤの温度が１１℃低くなると１．８倍電子増倍率が高くなる。このため、ＥＭ－ＣＣＤを用いた撮像装置では、駆動波形の電圧振幅の確保と高安定性、及び発熱の抑制（つまり、消費電力の低減）が求められる。また、暗電流も電子増倍されるため、画面内の暗電流むらがすりガラスの様に目立つ上に、高電子増倍時は、電子増倍率と入射光量との積の累積で電子増倍率が低下する。このため、暗電流むらの補正が困難である。
　さらに、電子増倍は確率的に発生するため、電子増倍は非常に低い周波数で不規則に揺らぎ、非常に低い周波数で暗電流むらと画像信号が不規則に変調される偽信号が発生し、画面の目視上非常に目立つすだれ状の雑音となり、信号雑音（Ｓ／Ｎ）比が低下し、実効感度が大幅に劣化する。しかし、不規則な１／ｆゆらぎの正確な補正は困難である。
　本発明の目的は、上記の問題に鑑み、ＣＣＤ撮像素子を用いた撮像装置において、実効感度を向上することにある。
　本発明は、上記課題を解決するため、ＣＣＤ（ Charge Coupled Device ）撮像素子と該ＣＣＤ撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記ＣＣＤ撮像素子の受光面の上部または下部または左または右の少なくとも一方の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、利得可変増幅（ＡＧＣ）部と、前記第２の取得部で取得した遮光した画素から出力される信号の代表値を算出する手段と、前記第１の取得部で取得した有効画素から出力される暗電流成分を記憶する画面メモリと、前記記憶した有効画素信号の暗電流成分を利得可変増幅し有効画素信号から減算する手段と、前記第１の取得部で取得した有効画素から出力される有効画素信号を記憶するラインメモリと、を有し、前記代表値に相関して有効画素信号の利得可変増幅を制御することと、前記代表値に正に相関して前記記憶した有効画素信号の暗電流成分の利得可変増幅を制御し有効画素信号から減算することと、との少なくとも一方を行う事を特徴とする撮像方法である。
　また、上記において、前記代表値信号の垂直周期以上の平均に正に相関して有効画素信号の垂直周期以上の利得可変増幅を制御することと、前記代表値の水平周期の値と前記代表値の垂直周期以上の平均との比または前記代表値信号の画面内の循環平均と前記代表値信号の垂直周期以上の平均との比に負に相関して有効画素信号の水平周期の利得可変増幅を制御することと、前記代表値信号の垂直周期に応じて有効画素信号の暗電流成分の垂直周期の利得可変増幅を制御し有効画素信号から減算することと、前記代表値信号の水平周期の値または前記代表値信号の画面内の循環平均と前記代表値信号の垂直周期以上の平均との比に正に相関して有効画素信号の暗電流成分の有効画素信号の水平周期の利得可変増幅を制御し有効画素信号から減算すること、との少なくとも一方を行う事を特徴とする撮像方法である。
　また、上記において、前記撮像装置が電子増倍型ＣＣＤ撮像素子（ＥＭ－ＣＣＤ）と可変電圧電子増倍電極駆動部とを有し、前記第２の取得部で取得した遮光した画素から出力される信号の代表値の現在値と電子増倍しないように低い電子増倍電極電圧時に記憶しておいた前記第２の取得部で取得した遮光した画素から出力される信号の代表値を撮像素子測定温度で補正した暗電流の想定値との比（各周期の電子増倍率の推定値）を非電子増倍時に記憶しておいた有効画素の基準の暗電流に、乗算し、有効画素信号から減算する事を特徴とする撮像方法である。
　また、上記において、前記撮像装置が温度測定手段を有し、前記撮像素子が垂直方向の光学的黒画素（ Vertical-Optical Black ：Ｖ－ＯＢ）と水平方向の光学的黒画素（ Horizontal-Optical Black ：Ｈ－ＯＢ）を有し、Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比（垂直スミア量と水平スミア量に関わらない各垂直周期の電子増倍率の推定値）を非電子増倍時に記憶しておいた画面メモリの各有効画素の基準の暗電流に乗算し、有効画素信号から減算する事と、現在のＶ－ＯＢの垂直画素間の代表値の最小値と最大値との差を垂直スミアとして垂直スミアが所定値以下ならＨ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＨ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比（水平スミアが所定値以下の各水平周期の電子増倍率の推定値）を非電子増倍時に記憶しておいた画面メモリの有効画素の基準の暗電流に、乗算し、有効画素信号から減算する事と、の少なくとも一方を行うことを特徴とする撮像方法である。
　また、上記において、前記撮像装置が、前記第１の取得部で取得した有効画素から出力される有効画素信号を記憶する画面メモリと蓄積時間を制御する手段とを有し、前記代表値信号の画面間循環平均に正に相関して前記有効画素信号の利得可変増幅を制御するか、前記代表値信号の画面間循環平均に正に相関して蓄積時間を制御するかの少なくとも一方を行う事を特徴とする撮像方法である。
つまり、利得可変増幅を高くするか蓄積時間を長くするかにより、電子増倍率の増加による増倍ゆらぎを抑制する事により、映像信号のふらつき雑音を減衰させる事である。
　また、上記において、前記撮像装置が電子増倍型ＣＣＤ撮像素子（例えば、ＥＭ－ＣＣＤ）と可変電圧電子増倍電極駆動部とを有し、電子増倍量に強く相関する前記記憶した代表値信号と電子増倍ゆらぎと熱雑音の合計の総量（熱雑音の総計）に強く相関する走査線信号間の相関部分の平均の比の自乗積分と走査線信号間の相関部分の平均の差の自乗積分との合計等の走査線信号間の相関部分の平均の誤差の自乗積分と電子増倍ゆらぎと熱雑音の総計に強く相関する走査線信号間の相関部分の差の自乗積分を比較し、電子増倍ゆらぎの総量と熱雑音の総計とが等しくなるように走査線信号間の相関部分の差の自乗積分が走査線信号間の相関部分の平均の誤差の２倍になるように垂直周期以上の平均の利得可変増幅を高くすることと、有効画素信号の垂直周期の利得可変増幅を低くすることと、有効画素信号の水平周期の利得可変増幅を低くすることと、垂直周期以上の平均の電子増倍電極振幅値を低く制御すること、との少なくとも一方を行う事を特徴とする撮像方法である。
　また、上記において、前記撮像装置が温度測定手段を有し、前記撮像素子が垂直方向の光学的黒画素（Ｖ－ＯＢ）と水平方向の光学的黒画素（Ｈ－ＯＢ）を有し、所定以下のレベルの映像信号を走査線内（水平周期内で、１次元）で平均する事と、所定以下のレベルの映像信号を画面内（水平周期間で、２次元）で平均する事と、所定以下のレベルの映像信号を画面間（垂直周期間で、３次元）で平均する事と、映像信号の画面（垂直周期）間の相関と動きベクトルとをを検出し、所定以上の相関で所定以下の動きベクトルの映像信号は相関の高い部分同士を画面間で平均する事と、の少なくとも一方を行う固体撮像装置の撮像方法において、Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比を有効画素の平均の基準の暗電流に乗算し、有効画素信号から減算する事を特徴とする撮像方法である。
　また、上記において、前記撮像装置が温度測定手段を有し、前記撮像素子がＶ－ＯＢとＨ－ＯＢを有し、Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比（各垂直周期の電子増倍率）、または、前記非増倍時のＶ－ＯＢの暗電流の代表値を算出し温度補正したものを除算し推定した暗電流の増倍率の各Ｖ－ＯＢと前後のＶ－ＯＢの平均との比（垂直周期の電子増倍率の揺らぎ成分）、または、画面メモリの有効画素の基準の暗電流に、前記非増倍時のＶ－ＯＢの暗電流の代表値を算出し温度補正したものを除算し推定した暗電流の増倍率を乗算し有効画素信号から減算し、１Ｈラインと前画面の同一ラインと上下のラインと相関検出し、１Ｈラインと最も相関の高いライン間の信号比（信号電流の電子増倍揺らぎ）の二乗積分と１Ｈラインと最も相関の高いライン間の信号差分（暗電流の電子増倍揺らぎと熱雑音の総計）の二乗積分との比（過剰電子増倍分）、または１Ｈラインと最も相関の高いライン間の信号差分（暗電流の電子増倍揺らぎと熱雑音の総計）の低周波数成分レベルと高周波数成分レベルとの比（電子増倍ゆらぎ雑音増加分）、または現在の利得可変増幅の値と前記電子増倍の想定値との比との少なくとも一方で電子増倍電極振幅と利得可変増幅の画面内平均値とを制御し、映像信号の所定レベルを一定にする事を特徴とする撮像方法である。
　また、上記において、前記撮像装置が温度測定手段と雑音除去部と１４ｂｉｔ以上の ＡＤＣ（とのＦＥＰ）とを有し、少なくとも電子増倍持に、現在の走査線の映像信号の非循環平均成分を、１画面前の走査線の映像信号の非循環平均成分と１画面前の１Ｈ前走査線の映像信号の非循環平均成分と１画面前の１Ｈ後の走査線の映像信号の非循環平均成分との相関を比較する手段を有し、相関の高い位置同士の非循環平均成分の比（増倍むら）の二乗の累積を算出する手段と、相関の高い位置同士の非循環平均成分の差（暗電流の増倍むらと熱雑音の総計）の二乗の累積とを算出する手段と、比の二乗の累積と差の二乗の累積との比を算出する手段または、相関の高い位置同士の非循環平均成分の差の二乗の低周波数成分レベルと高周波数成分との比を算出する手段または現在の利得可変増幅の値と前記電子増倍の想定値との比を算出する手段のすくなくとも一方を有し、前記比が所定値以上になるように利得可変増幅の画面内平均値と電子増倍電極振幅値とを制御する手段と、映像信号の平均値またはスポット除くピーク値またはピーク値等の所定レベルを一定に制御する手段とを有する事を特徴とする撮像装置である。
つまり、１４ｂｉｔ以上のＦＥＰの使用で電子増倍ゆらぎ以外の１／ｆ雑音を減衰させておき、電子増倍ゆらぎの総量に強く相関する検出量と電子増倍ゆらぎと熱雑音の合計の総量（熱雑音の総計）に強く相関する検出量とを比較し、電子増倍ゆらぎの１／ｆ雑音の総量と熱雑音の総計とが等しくなるように利得可変増幅の画面内平均値を高く、電子増倍電極振幅値を低く制御し、映像信号の所定レベルを一定にする事である。
　また、上記において、前記ＣＣＤ撮像素子がＨ－ＯＢを有し、前記撮像装置がＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳと暗電流補正と信号の利得を調整するＡＧＣ部とデジタル映像信号Ｖｉに変換するＡＤＣからなるＦＥＰとデジタル映像信号処理回路とを有し、ＦＥＰでのＨ－ＯＢクランプを中止して、前記デジタル映像信号処理回路でＨ－ＯＢのＭ（Ｍは自然数）ケの上位Ｎ（ＮはＭ未満の自然数）ケを白キズや飛び込み雑音として除いたＭ－Ｎケの平均を、暗電流の増倍揺らぎ成分のＨ－ＯＢの代表値として、当該ラインの有効画素から前記Ｈ－ＯＢの代表値を減算することと、前記Ｈ－ＯＢの代表値と前記Ｈ－ＯＢの代表値の垂直周期以上の平均との比または前記Ｈ－ＯＢの代表値の垂直周期内の循環平均と前記Ｈ－ＯＢの代表値の垂直周期以上の平均との比に負に相関して前記ＦＥＰの利得可変増幅を制御することを特徴とする撮像方法である。
つまり、各ＨＯＢのＮケの白キズを除外してペデスタルレベルを安定させ、水平周期の電子増倍ゆらぎを打ち消して、映像信号の横引き雑音を減衰させる事である。
　本発明によれば、ＣＣＤ撮像素子を用いた撮像装置において、実効感度が向上する。
色分離フィルタ付きＣＣＤ撮像素子を用いた場合の本発明の一実施例の全体構成の撮像装置を示すブロック図。 色分解光学系と３ケのＣＣＤ撮像素子を用いた場合の本発明の一実施例の全体構成の撮像装置を示すブロック図。 色分離フィルタ付きＣＣＤ撮像素子を用いた場合の本発明の一実施例の増倍むら検出含む映像信号処理部の内部構成を示すブロック図。 色分解光学系と３ケのＣＣＤ撮像素子を用いた場合の本発明の一実施例の増倍むら検出含む映像信号処理部の内部構成を示すブロック図。 本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図。 本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図。 本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図。 本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図。 本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図。 本発明の一実施例や従来技術での電子増倍ゆらぎと熱雑音とを含んだ前後上下の信号値を示すＥＭ－ＣＣＤの出力の模式図。 本発明の一実施例や従来技術での画面間での電子増倍ゆらぎを示す模式図。 本発明の一実施例の画面間での電子増倍ゆらぎの算出式を示す模式図。 本発明の一実施例の電子増倍ゆらぎと熱雑音の総計の比の判定を示す模式図。 本発明の一実施例の電子増倍率と利得増幅率の比の判定を示すフローチャート。 Ｖ－ＯＢの垂直画素の最小値から２番目の値を代表値として検出する本発明の一実施例のフローチャート。 Ｖ－ＯＢの最小値から２番目の値を代表値として検出する本発明の一実施例のフローチャート。 Ｈ－ＯＢクランプレベルへの飛び込みを示す模式図。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
　本発明の一実施形態を図１Ａ、図１Ｂ、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、図４Ａ、図４Ｂ、図４Ｃ、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、及び図６を用いて説明する。
　なお、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
　本発明による撮像装置の一実施例の概要を、図１Ａ、図１Ｂ、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図４Ｃ、及び図５Ａによって説明する。図１Ａは、色分離フィルタ付きＣＣＤ撮像素子を用いた場合の本発明の撮像装置の一実施例の全体構成を示すブロック図である。図１Ｂは、色分解光学系と３ケのＣＣＤ撮像素子を用いた場合の本発明の撮像装置の一実施例の全体構成を示すブロック図である。図２Ａは、色分離フィルタ付きＣＣＤ撮像素子を用いた場合の本発明の撮像装置の、増倍むら検出処理を含む映像信号処理部の内部構成の一実施例を示すブロック図である。図２Ｂは、色分解光学系と３ケのＣＣＤ撮像素子を用いた場合の本発明の撮像装置の、増倍むら検出処理を含む映像信号処理部の内部構成の一実施例を示すブロック図である。図３Ａと図３Ｂは、暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する、本発明の撮像装置の映像信号処理部内の検出部の内部構成の一実施例を示すブロック図である。なお、図３Ａと図３Ｂにおける平均値部６８及び平均値部６９については、実施例２及び実施例３で説明する。図４Ａは、本発明の撮像方法及び撮像装置の一実施例で電子増倍ゆらぎと熱雑音とを含んだ前後上下の信号値の一実施例を示すＥＭ－ＣＣＤの出力の模式図である。また図４Ｂは、従来技術での撮像方法及び撮像装置の電子増倍ゆらぎと熱雑音とを含んだ信号値の一例を示すＥＭ－ＣＣＤ出力の模式図である。また図４Ｃは、本発明の撮像方法及び撮像装置の、画面間での電子増倍ゆらぎの一実施例の算出式（式１、式２、及び式３）をまとめて示す図である。図５Ａは、本発明の撮像方法及び撮像装置の、電子増倍ゆらぎと熱雑音の総計の比の判定処理の一実施例の概略を示すフローチャートである。図５Ｂは、本発明の撮像方法及び撮像装置の、電子増倍率と利得増幅率の比の判定処理の一実施例を示すフローチャートである。図５Ｃは、本発明の撮像方法及び撮像装置の、Ｖ－ＯＢの垂直画素の最小値から２番目の値を代表値として検出する処理の一実施例を示すフローチャートである。図５Ｄは、本発明の撮像方法及び撮像装置の、Ｖ－ＯＢの最小値から２番目の値を代表値として検出する処理の一実施例を示すフローチャートである。
　なお、図２Ａと図２Ｂは、高域成分検出を含む増倍むら検出処理を行う映像信号処理部の内部構成を示すブロック図である。
　図４Ａ及び図４Ｂの縦軸は映像信号量で、図４Ａの横軸は水平画素（水平走査時間相当）、図４Ｂの横軸は垂直画素（垂直走査時間相当）である。図４Ａ（ａ）は前の画面（２Ｖ）、図４Ａ（ｂ）は現画面（１Ｖ）、図４Ａ（ｃ）は後の画面（０Ｖ）である。また、図４Ａ（ａ）、（ｂ）、（ｃ）それぞれにおいて、上段は前の走査線（２Ｈ）、中段は現走査線（１Ｈ）、下段は後の走査線（０Ｈ）である。図４Ａ（ａ）、（ｂ）、（ｃ）の３画面をメモリに蓄積する。
　図４Ａにおいて、現画面（１Ｖ）に対し、前の画面（２Ｖ）とは垂直周期前の画面で、後の画面（０Ｖ）とは垂直周期後の画面である。上下方向は、現走査線（１Ｈ）に対し、前の走査線（２Ｈ）と後の走査線（０Ｈ）である。破線はランダム雑音で実線はランダム雑音を平均化した有効信号成分である。実線のランダム雑音を平均化した有効信号成分同士が類似している場合を、相関有りとしている。
　図４Ｂは、実施例１の増倍揺らぎの垂直成分の検出の模式図である。
　図４Ａ、図４Ｂ、図４Ｃ、及び図５Ａにおいて、電子増倍ゆらぎの総計Ｙ＝Ｙ１＋Ｙ２の近似計算には、増倍分補正した有効画素の暗電流を減算する。そして、さらに熱雑音の影響を減らすため、下記の式１、式２を用いて非循環平均演算をする。
　なお、Ｅ2V2H は前の画面の前の走査線の映像信号、Ｅ2V1H は前の画面の現走査線の映像信号、Ｅ2V0H は前の画面の後の走査線の映像信号を示す。また、Ｅ1V2H は、現画面の前の走査線の映像信号、Ｅ1V1H は現画面の現走査線の映像信号、Ｅ1V0H は現画面の後の走査線の映像信号を示す。さらに、Ｅ0V2H は後の画面の前の走査線の映像信号、Ｅ0V1H は後の画面の現走査線の映像信号、Ｅ0V0H は後の画面の後の走査線の映像信号を示す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　このように、暗電流雑音は、相関の高い画素の水平非循環平均同士の画面間の比の二乗の総計（Ｙ１）と、相関の高い画素の水平非循環平均同士の画面間の差分の二乗の総計（Ｙ２）で近似する。
　図３Ａ、図４Ａ、図５Ａにおいて、熱雑音の総計Ｚの近似計算には、増倍分補正した有効画素の暗電流減算したので、非循環平均は不要となる。即ち、相関の高い画素同士の画面間の差分の二乗の累積であるので、非循環平均しても循環平均しても、水平、垂直、及び画面間いずれかの高周波数成分が減衰する。このため、非循環平均は不要となる。
Figure JPOXMLDOC01-appb-M000003
 　このように、熱雑音は、相関の高い画素同士の画面間の差分の二乗の総計（Ｚ）で近似する。
　図５Ａのフローチャートは、映像処理部における電子増倍ゆらぎの総計Ｙ＝Ｙ１＋Ｙ２と熱雑音の総計Ｚの比の判定を示す。そのフローチャートの概略としては、現画面の映像ラインの映像信号Ｅ1V2H を、１画面（垂直周期）前の映像ラインの映像信号Ｅ2V0H 、Ｅ2V1H 及びＥ2V2H と相関をとり、最も相関の高い映像ライン（図４Ａ（ａ）では、Ｅ2V2H が最も相関が高い）を探し、相関の高い画素間の映像ライン内時間差（ｔ2 －ｔ1 ）を測定する。次に、映像ラインＥ1V1H と、最も相関の高い映像ラインの最も相関の高い画素Ｅ2V2H について、ｔ2 －ｔ1 間で、電子増倍ゆらぎの総計Ｙ＝Ｙ１＋Ｙ２と熱雑音の総計Ｚを計算する。そして、電子増倍ゆらぎの総計Ｙ＝Ｙ１＋Ｙ２と熱雑音の総計Ｚの比Ｙ／Ｚと係数Ｋとを比較し、その関係が、
　Ｙ／Ｚ＜Ｋ
であれば、垂直周期以上の平均のＡＧＣの可変量（ＡＧＣ量）を増加し、垂直周期以上の平均のＣＭＧ振幅量を減少し、垂直周期以上の平均の感度をそのまま変えず、電子増倍ゆらぎの総計Ｙを減少し、熱雑音の総計Ｚを増加させる。
　また、
　Ｙ／Ｚ≒Ｋ
であれば、垂直周期以上の平均のＡＧＣ量、垂直周期以上の平均のＣＭＧ振幅量、垂直周期以上の平均の感度、電子増倍ゆらぎの総計Ｙ、及び、熱雑音の総計Ｚをそのまま変えない。
　また、
　Ｙ／Ｚ＞Ｋ
であれば、垂直周期以上の平均のＡＧＣ量を減少し、垂直周期以上の平均のＣＭＧ振幅量を増加し、垂直周期以上の平均の感度をそのまま変えず、電子増倍ゆらぎの総計Ｙを増加し、熱雑音の総計Ｚを減少させる。
　次に、映像処理部では、Ｖ－ＯＢライン内のＨ－ＯＢを加算平均した値、またはＶ－ＯＢライン内のＨ－ＯＢの最小値を、Ｖ－ＯＢライン内のＨ－ＯＢの暗電流の代表値とする。Ｖ－ＯＢライン内のＨ－ＯＢには、垂直スミア成分も水平スミア成分もない。従って、現在のＶ－ＯＢライン内のＨ－ＯＢの代表値を、記憶しておいた非増倍時のＶ－ＯＢライン内のＨ－ＯＢの代表値を温度補正したもので除算すれば、各垂直周期のＶ－ＯＢの暗電流の増倍率が検出でき、各垂直周期の増倍率を近似計算によって算出することができる。
　次に、推定した暗電流の増倍率と、前後の垂直周期の推定した暗電流の増倍率の平均、との相違が、垂直周期の増倍率の揺らぎ成分であり、現在の暗電流の増倍率と前後の垂直周期の暗電流の増倍率の平均との相違に比例してＡＧＣ量を低減することによって、垂直周期の増倍率の揺らぎ成分を打ち消すことができる。
　それに対し、熱雑音は利得に比例する。そのため、暗電流の増倍率Ｂと利得増幅率Ａは、一義的に推測される。
　図５Ｂの電子増倍率と利得増幅率Ａの比の判定を示すフローチャートの概略は、上述したように、現在のＶ－ＯＢライン内のＨ－ＯＢの暗電流の代表値を、記憶しておいた非増倍時のＶ－ＯＢライン内のＨ－ＯＢの暗電流の代表値を温度補正したもので除算し、暗電流の各垂直周期の増倍率Ｂを推定するものである。
　次に、暗電流の各垂直周期の増倍率Ｂ及び利得増幅率Ａと係数Ｋとを比較し、その関係が、
　Ｂ／Ａ＜Ｋ
であれば、垂直周期以上の平均のＡＧＣ量を増加し、垂直周期以上の平均のＣＭＧ振幅量を減少し、垂直周期以上の平均の感度をそのまま変えず、電子増倍ゆらぎの総計Ｙを減少し、熱雑音の総計Ｚを増加させる。
　また、
　Ｂ／Ａ≒Ｋ
であれば、垂直周期以上の平均のＡＧＣ量、垂直周期以上の平均のＣＭＧ振幅量、垂直周期以上の平均の感度、電子増倍ゆらぎの総計Ｙ、及び、熱雑音の総計Ｚをそのまま変えない。
　また、
　Ｂ／Ａ＞Ｋ
であれば、垂直周期以上の平均のＡＧＣ量を減少し、垂直周期以上の平均のＣＭＧ振幅量を増加し、垂直周期以上の平均の感度をそのまま変えず、電子増倍ゆらぎの総計Ｙを増加し、熱雑音の総計Ｚを減少させる。
　次に、本発明の撮像装置の全体構成の一実施例である図１Ａについて説明する。図１Ａは、色分離フィルタ付きＣＣＤ撮像素子を用いた撮像装置の全体構成を示す図である。
　図１Ａにおいて、１は撮像装置、２は入射光を結像するレンズ等の光学系、３は光学系２から入射した光を電気信号に変換するＣＣＤ撮像素子、４はＦＥＰ、５は増倍検出処理部を含む映像信号処理部、６は撮像装置１内の各部を制御するＣＰＵ（ Central Processing Unit ）である。１３はタイミング発生部（ Timing Generator：ＴＧ）を含む垂直転送駆動部、１５は電子増倍の利得制御を行うためのＣＭＧ駆動部、８は温度センサ、１７は冷却部である。
　なお、ＣＣＤ撮像素子３は、色分離フィルタ付きのＣＣＤ撮像素子であり、例えば、ＥＭ－ＣＣＤである。また、ＦＥＰ４は、少なくとも、ＣＣＤ撮像素子３から出力された信号の雑音を除去するＣＤＳ４０１、ＣＤＳ４０１の出力信号に暗電流補正して利得を調整するＡＧＣ部４０２、及び、ＡＧＣ部４０２からの出力信号をデジタル映像信号Ｖｉに変換する信号処理階調が１４ｂｉｔ以上のＡＤＣ４０３、ＴＧ４０４、メモリ部４０５、Ｄ．ＡＧＣ部４０６、及び、ＤＡＣ部４０７で構成される。なお、図１Ａ及び図１Ｂでは、メモリ部４０５、Ｄ．ＡＧＣ部４０６、及び、ＤＡＣ部４０７は図示していない。また、ＴＧ４０４は、ＣＣＤ撮像素子３に水平転送駆動信号を出力し、ＦＥＰ４中のＣＤＳ４０１、ＡＧＣ部４０２、及びＡＤＣ４０３に、タイミング（ Timing ）信号を出力する信号発生器である。
　また、図１Ａ（図１Ｂ）では、読出及び垂直転送駆動部１３（１３’）が、読出及び垂直転送駆動タイミング信号を出力し、ＣＣＤ撮像素子３（３’、７、９）それぞれの読出垂直転送部に出力している。
　また、冷却部１７は、ＣＣＤ撮像素子３を冷却するペルチェ素子とペルチェ素子駆動回路と放熱フィンとファンとファン駆動回とから構成される（図示しない）。冷却部１７は、ＣＰＵ９の制御により、温度センサ８が検出する温度に応じてＣＣＤ撮像素子３を冷却し、ＣＣＤ撮像素子３の温度を調節する。なお、図１Ｂでは、冷却部１７及び温度センサ８を図示せず、省略している。
　また映像信号処理部５は、デジタル映像信号Ｖｉに種々の画像処理を施し、ＮＴＳＣ方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync ：ＶＢＳ）またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいは、ＨＤＴＶのＳＤＩ（ＨＤ－ＳＤＩ）等の所定方式の映像信号に変換して出力する。
　図１Ａにおいて、撮像装置１のＥＭ－ＣＣＤ等のＣＣＤ撮像素子３は光学系２で受光面に結像された入射光をフォトダイオード（ Photo Diode ）で光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してＦＥＰ４に出力する。ＦＥＰ４は、ＣＣＤ撮像素子３から出力された信号から雑音を除去し暗電流成分を補正し補正した信号を増幅し、デジタル映像信号Ｖｉに変換して、変換したデジタル映像信号Ｖｉを映像信号処理部５に出力する。映像信号処理部５内において、デジタル映像信号Ｖｉは、検出部１８に送られると共に、後述する信号処理を行うために減算器１９にも送られる（図２Ａ若しくは図２Ｂ参照）。
　図３Ａにおいて、検出部１８はデジタル映像信号Ｖｉを比較部４１～４２でＶ－ＯＢラインの垂直画素信号ごとに比較し小さい順にラインメモリ４３～４４に記憶し、垂直（以下Ｖ）スミアを含むＯＢ代表値信号を検出する。Ｖスミアを含むＯＢ代表値信号を比較部５５～５６で比較しＶスミアを含む最大値とＶスミアを含まない最小値の差からＶスミアを算出する。また、図３Ａにおいて、基準温度で非電子増倍時のＶ－ＯＢラインのＨ－ＯＢ信号を平均して基準メモリ４８に記憶しておいた値をＤ．ＡＧＣ５０で温度補正して値で、Ｖ－ＯＢラインのＨ－ＯＢ信号を平均した値を除算すれば、暗電流増倍量が算出できる。そして基準温度で非電子増倍時の有効画素の暗電流から基準温度で非電子増倍時のＶ－ＯＢラインのＨ－ＯＢ信号を平均して基準メモリ４８に記憶しておいた値を減算して画面メモリ４９に記憶しておいた値に暗電流増倍量を乗算器５２で乗算すれば、有効画素とＶ－ＯＢとの差分の暗電流が算出でき、加算器４５でＶスミアを含むＯＢ代表値と加算すれば、各有効画素の暗電流とＶスミアとの合計が算出でき、減算器１９でデジタル映像信号Ｖｉから減算すれば、各有効画素の暗電流とＶスミアとが補正でき、無効信号つまり雑音が低減され、実効感度が向上する。
　なお、図１Ｂの本発明の撮像装置の一実施例は、色分解光学系と３ケのＣＣＤ撮像素子を用いた場合であり、図１Ａの撮像装置が、ＣＣＤ撮像素子３、ＦＥＰ４をそれぞれ１ケ使用するのに対し、レンズ系２を介して撮像装置に入射された入射光が、色分離光学系２’を用いて、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の光の３原色（若しくは、それらの補色）に色分離され、分離された３つの色それぞれに対して、ＣＣＤ撮像素子３’、７、９、及び、ＦＥＰ４’、１０、１２を使用するものである。その場合、映像信号処理部（増倍むら検出処理を含む）５’が、それら３色を所定の割合で合成した後に、図１Ａの映像信号処理部５と同様の処理を行うものである（詳細の説明は省略する）。
　また、図２Ｂの本発明の撮像装置の一実施例の映像信号処理部も、図１Ｂと同様に、色分解光学系と３ケのＣＣＤ撮像素子を用いた場合であり、図１Ｂの映像信号処理部には、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の光の３原色（若しくは、それらの補色）に色分離された色毎に、ＦＥＰ部４’、１０、及び１２から、映像信号Ｖｉ（例えば、ＲＶｉ、ＧＶｉ、ＢＶｉ）が入力され、映像メモリ部３２’及び相関検出部３３’から各色毎に、３つの信号が出力されるものである。（詳細の説明は省略する）。
　図２Ａは、色分離フィルタ付きＣＣＤ撮像素子を用いた場合の増倍むら検出含む映像信号処理部の、本発明の一実施例の内部構成を示すブロック図である。１８は増倍むら検出部、１９は減算器、２２は差分部、２３はＬＰＦ（ Low Pass Filter ）、２４と２５は二乗部、２６と２７は累積部、２８は係数付比較部、３０はデジタルＡＧＣ（Ｄ．ＡＧＣ）部、３１は色分離機能を含む映像信号処理部、３２はラインメモリとフィールドメモリからなる映像メモリ部、３３は相関検出部、３４はＳＤＩ変換機能を含む出力回路である。なお、６は撮像装置１内の各部を制御するＣＰＵである（図１Ａ参照）。Ｄ．ＡＧＣ部３０は、ＯＢ（ Optical Black ）代表値信号をＦＥＰのＡＧＣ部の増幅度に合わせてＤ．ＡＧＣ部自身の増幅度を調節する。なお、ＯＢ代表値信号は、Ｖ－ＯＢの暗電流を含んだスミア成分信号である。
　次に、本発明の一実施例の動作を図１Ａと図２Ａを参照しつつ説明する。撮像装置１のＣＣＤ撮像素子３は、光学系２で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍して、電子増倍した信号をＦＥＰ４に出力する。ＦＥＰ４は、ＣＣＤ撮像素子３から出力された信号から、雑音を除去し、暗電流成分を補正し、補正した信号を増幅した信号（デジタル映像信号Ｖｉ）に変換して、映像信号処理部５に出力する。
　さらに、垂直転送駆動部（ｗ／ＴＧ）１３とＣＭＧ駆動部１５は、ＣＰＵ６から出力される制御信号それぞれに従ってＣＣＤ撮像素子３を駆動するための信号を、ＣＣＤ撮像素子３に出力する。ＣＣＤ撮像素子３では、当該入力信号に従って、フォトダイオードから電荷を読出し、ＣＭＧ部に出力する。ＣＭＧ部は、入力された電荷を電圧変換部に水平転送出力する。電圧変換部は、入力された電荷を１４ビット若しくは１４ビット以上の階調の電圧に変換してＦＥＰ４に出力する。
　つまり、ＦＥＰ４として、１４ｂｉｔ以上の階調の信号処理を行うことで、電子増倍率の変動要素中のゆらぎ以外の１／ｆ雑音を減衰させておき、ゆらぎの総量に強く相関する検出量とする。そして、このゆらぎの総量に強く相関する検出量と、ゆらぎと熱雑音の合計の総量に強く相関する検出量とを比較し、ゆらぎの１／ｆ雑音の総量と熱雑音の総量とが等しくなるように、利得可変増幅の画面内平均値を高く、電子増倍電極振幅値（ＣＭＧ振幅電圧）を低く制御する。このように制御することによって、映像信号レベルが一定の所定レベルになる。
　図３Ａ～図３Ｅで本発明の暗電流増倍量を検出する機能の一実施例を説明する。図３Ａ～図３Ｅは、本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図である。１８Ａ，１８Ｂ，１８Ｃ，１８Ｄ，１８Ｅは検出部、１９，４６，５７は減算器、４５，５９、６３は加算器、５１，５８は除算器、５２は乗算器、４７，６８，６９は平均部、４３，４４はラインメモリ部、４８，６０は基準メモリ部、４１，４２，５３，５４，５５，５６は比較部、４９は画像メモリ部である。
　図３Ａ～図３Ｅと図５Ｃ～５Ｄとを用いて垂直スミア信号の検出と補正の動作について説明する。
　まず、図３Ａ、図５Ｃに示す実施例について説明する。ＣＰＵ６は、ラインメモリ部４４、４３に最小値信号の上限値、２番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい（以下で述べる各値についても、同様の基準で数値化されたものである）。比較部４２は、ラインメモリ部４４に記憶されている上限値とＶ－ＯＢ領域の１ライン目（以下Ｖ－ＯＢ１）の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ－ＯＢ１の映像信号）を各画素の最小値の信号としてラインメモリ部４４に記憶する（ステップ６１，６２）。比較部４２は、Ｖ－ＯＢ２の映像信号の画素の値とラインメモリ部４４に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をラインメモリ部４４に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部４１に送られる。比較部４１は、大きい方の信号の値と２番目に小さい信号としてラインメモリ部４３に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部４３に記憶する（ステップ６３）。同様に、比較部４２は、Ｎライン目（Ｎは３以上の自然数）のＶ－ＯＢＮの映像信号の画素の値とメモリ部４４の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部４４に記憶する。値が大きい方の信号は各画素の比較１の信号として、比較部４１に送られる（ステップ６４）。比較部４１は、２番目に小さい信号の値と比較１の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部４３に記憶する（ステップ６５）。比較部４２が最後のＶ－ＯＢの比較処理を終了すると、ラインメモリ部４３は、２番目に小さい信号をスミア補正用のＯＢ代表値信号として出力し（ステップ２６）、代表値検出処理が終了する（ステップ２７）。
　水平周期暗電流増倍量または画面内平均暗電流増倍量から平均部６８の循環平均で、画面内平均暗電流増倍量または画面間平均暗電流増倍量を算出し、平均部６９の循環平均で画面間平均暗電流増倍量を算出し、図１Ａと図１ＢのＣＰＵ６に出力する。
　次に、図３Ｂ、図５Ｄに示す実施例について説明する。図３Ｂと図３Ａとの相違は、平均部４７の代わりに比較部５３と比較部５４とがあることである。図３Ａと同一部分の動作説明は省略し比較部５３と比較部５４との動作を説明する。ＣＰＵ６は、比較部５３と比較部５４に最小値信号の上限値をリセットしておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい（以下で述べる各値についても、同様の基準で数値化されたものである）。比較部５４は、リセットされている上限値とＶ－ＯＢ領域の１ライン目（以下Ｖ－ＯＢ１）の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ－ＯＢ１の最小値の信号）を各画素の最小値の信号として比較部５４にセットする（ステップ７１，７２）。比較部５４は、Ｖ－ＯＢ２の映像信号の画素の値と比較部５４の最小値の信号の値とを各画素間で比較し、値が小さい方の信号を比較部５４に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部５３に送られる。比較部５３は、大きい方の信号の値と２番目に小さい信号として比較部５３にリセットされている上限値とを各画素間で比較し、小さい方の信号を各画素の２番目に小さい信号として比較部５３に記憶する（ステップ７３）。同様に、比較部５４は、Ｎライン目（Ｎは３以上の自然数）のＶ－ＯＢＮの映像信号の画素の値と比較部５４の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号として比較部５４に記憶する。値が大きい方の信号は各画素の比較１の信号として、比較部５３に送られる（ステップ７４）。比較部５３は、２番目に小さい信号の値と比較１の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号として比較部５３に記憶する（ステップ７５）。比較部５４が最後のＶ－ＯＢの比較処理を終了すると、比較部５３は、２番目に小さい信号を暗電流測定用のＯＢ代表値信号として出力し（ステップ２６）、代表値検出処理が終了する（ステップ２７）。
　次に、図３Ｃに示す実施例について説明する。図３Ｃと図３Ｂとの相違は、比較部５３を省略し、比較部５４で最小値を暗電流測定用のＯＢ代表値信号として出力することである。そこで、詳細動作の説明は省略する。
　次に、図３Ｄに示す実施例について説明する。図３Ｄと図３Ｃとの相違は、ＦＥＰ４のＯＢ暗電流粗補正を用い、基準メモリ部６０と除算器５８と加算器５９とを追加し、ＦＥＰ４のｂｉｔ数（階調）が少なくすることである。そこで、詳細動作の説明は省略する。
　図１Ａと図１Ｂにおいて、ＣＰＵ６は垂直転送駆動部（ｗ／ＴＧ）１３を制御し蓄積時間を制御する。また、ＣＰＵ６はＦＥＰの４，１０，１２を制御し利得可変増幅を制御する。また、ＣＰＵ６は、増倍検出含む映像信号処理部５を制御し有効画素信号の暗電流成分の利得可変増幅を制御し有効画素信号から減算する。
　また、Ｖ―ＯＢのＨ―ＯＢ部分の暗電流や白キズ成分には、垂直スミアや水平スミアがほとんど混入しない。このことを利用し、図３Ａの検出部４５に示すように、基準温度で非電子増倍状態でのＥＭ－ＣＣＤのＶ―ＯＢのＨ―ＯＢ部分の信号を加算平均して記憶しておいた基準メモリ部の信号と比較すれば、温度と電子増倍による暗電流の増倍量がリアルタイムで推定できる。
　別方法としては、Ｖ－ＯＢの垂直水平の画素レベルの最小値が、垂直スミアや水平スミアがほとんど混入しない暗電流成分であることを利用する。即ち、図３Ｂの検出部４５に示すように、Ｖ－ＯＢの垂直水平の最小値を検出し、基準温度で非電子増倍状態でのＥＭ－ＣＣＤのＶ―ＯＢの垂直水平の最小値の信号を加算平均して記憶しておいた基準メモリ部の信号と比較すれば、温度と電子増倍による暗電流の増倍量がリアルタイムで推定できる。そこで、画面メモリ部４９に記憶された画面有効画素から暗電流を出力しから、Ｖ―ＯＢのＨ―ＯＢ部分の信号の加算平均を減算した有効画素ＯＢ差分基準暗電流信号に温度と電子増倍による暗電流の増倍量をかければ、ＯＢとの差分の画面有効画素の暗電流が推定できる。
　つまり、１４ｂｉｔ以上のＦＥＰを使用し、温度測定手段とＶ－ＯＢとを備える電子増倍型ＣＣＤ撮像素子と可変電圧電子増倍電極駆動部と利得可変増幅部とラインメモリと画面メモリとを有する固体撮像装置の撮像方法において、Ｖ－ＯＢの暗電流の現在の代表値と、非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値と、の比（各垂直周期の電子増倍率の推定値）を非電子増倍時に記憶しておいた画面メモリの各有効画素の基準の暗電流に、乗算し、有効画素信号から減算する。この結果、画面の目視上目立つ暗部のすだれ状の固定雑音の暗電流むらが減算され、電子増倍ゆらぎの１／ｆ雑音の主成分の暗電流のが画面間変動も減算され、Ｖ―ＯＢの暗電流や白キズや垂直スミア成分と、ＯＢとの差分の画面有効画素の暗電流や白キズ成分とを減算し、画面有効画素の映像信号のみを算出できる。
　非電子増倍時に記憶しておいた各有効画素の基準の暗電流ではなく、非電子増倍時に記憶しておいた有効画素の平均の暗電流に、乗算し、有効画素信号から減算するとすれば、固定雑音の暗電流むらは減算できないが、画面メモリの量は削減できる。
　そこで、（１）所定以下のレベルの映像信号を走査線内（水平周期内で、１次元）で平均する事、（２）所定以下のレベルの映像信号を画面内（水平周期間で、２次元）で平均する事、（３）所定以下のレベルの映像信号を画面間（垂直周期間で、３次元）で平均する事、等の（１）、（２）、または（３）のいずれかの固定雑音低減方法と、映像信号の画面（垂直周期）間の相関と動きベクトルとをを検出し、所定以上の相関で所定以下の動きベクトルの映像信号は相関の高い部分同士を画面間で平均する等のランダム雑音低減方法との、２種類の雑音低減方法を併用する場合に適用できる。
　また、高輝度映像信号がなければ水平スミアも少ないので、Ｈ―ＯＢ部分の平均が暗電流の１／ｆ雑音成分であることを利用し、高輝度映像信号がない走査線内の所定以下のレベルの映像信号を走査線内で平均し、Ｈ―ＯＢ部分の平均の走査線間の変動分を減算すれば、画面内平均のラインメモリの量は削減できる。また、高輝度映像信号があり、水平スミアがあったとしても、Ｈ―ＯＢ部分の平均が高輝度映像信号がある走査線内の映像信号に共通の水平スミア成分と暗電流の１／ｆ雑音成分との合計であることを利用し、Ｈ―ＯＢ部分の平均の走査線間の変動分を減算すれば、水平スミア成分と暗電流の１／ｆ雑音成分が減衰し、画面内平均のラインメモリの量は削減できる。
　次に、図２Ａと、図３Ａと、図５Ｃを用いて、Ｖ－ＯＢの垂直画素間で２番目に小さい信号の検出と、スミア補正用のＯＢ代表値を検出する処理動作について説明する。
　図２Ａと図３Ａにおいて、ＣＰＵ６は、ラインメモリ部４３，４４に最小値信号の上限値、２番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい（以下で述べる各値についても、同様の基準で数値化されたものである）。
　比較部４２は、ラインメモリ部４３に記憶されている上限値とＶ－ＯＢ領域の１ライン目（以下Ｖ－ＯＢ１）の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ－ＯＢ１の映像信号）を各画素の最小値の信号としてラインメモリ部４３に記憶する（開始ステップ６１、最小値記憶ステップ６２）。
　比較部４１は、Ｖ－ＯＢ２の映像信号の画素の値とラインメモリ部４４に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をラインメモリ部４４に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部４２に送られる。比較部４２は、大きい方の信号の値と２番目に小さい信号としてラインメモリ部４３に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部４３に記憶する（２番目に小さい値記憶ステップ６３）。
　同様に、比較部４１は、Ｎライン目（Ｎは３以上の自然数）のＶ－ＯＢＮの映像信号の画素の値とラインメモリ部４４の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部４４に記憶する。値が大きい方の信号は各画素の比較１の信号として、比較部４２に出力する（比較１信号出力ステップ６４）。
　比較部４２は、２番目に小さい信号の値と比較１信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号（比較２信号）としてラインメモリ部４３に記憶する（比較２信号記憶ステップ６５）。
　比較部４２が最後のＶ－ＯＢの比較処理を終了すると、ラインメモリ部４３は、比較２信号をスミア補正用のＯＢ代表値信号として加算器４５に出力し（ＯＢ代表値出力ステップ６６）、代表値検出処理を終了する（終了ステップ６７）。
　上記図３Ａの説明のように、ＯＢ代表値信号は、比較部５５にも入力されてＯＢ代表値の最大値を算出され、比較部５６にも入力されてＯＢ代表値の最小値が算出され、減算器５７は、ＯＢ代表値の最大値とＯＢ代表値の最小値との差をとり、差分値をＶ－ＯＢの垂直スミアとしてＣＰＵ６に出力する。
　スミア量が所定の基準量以上なら、有効画素の横のＨ－ＯＢに漏れ込む水平スミアも－８０ｄＢ程度の垂直スミアと同程度大きい。しかし、Ｖ－ＯＢに漏れ込む垂直スミアからＶ－ＯＢのＨ－ＯＢに漏れ込む水平スミアは、－１６０ｄＢ程度で無視できる。
　したがって、図３Ａの平均部４７でＶ－ＯＢのＨ－ＯＢを加算平均し、基準メモリ部４８に記憶しておいた基準Ｖ－ＯＢのＨ－ＯＢ加算平均を、Ｄ．ＡＧＣ部５０で温度やＡＦＥ（ Analog Front End ）の増幅度を補正した基準Ｈ－ＯＢと、除算器５１で比をとれば、その垂直周期の暗電流増倍量が算出できる。
　基準メモリ部４８に記憶しておいた基準Ｖ－ＯＢのＨ－ＯＢ加算平均と、有効画素の基準暗電流との、減算器４６での差分を、有効画素ＯＢ差分基準暗電流として画面メモリ部４９に記憶しておき、有効画素基準暗電流と暗電流増倍量とを乗算器５２で乗算すれば、その垂直周期の有効画素ＯＢ差分暗電流が算出できる。そして、算出された有効画素ＯＢ差分暗電流とＯＢ代表値とを加算器４５で加算し、減算器１９に出力する。
　なお、図３Ａの平均部４７で加算平均を算出するかわりに、図３Ｂの比較部５４を用い、Ｈ－ＯＢの最小値を算出しても良い。
　スミア量が所定の基準量以下なら、有効画素の横のＨ－ＯＢに漏れ込む水平スミアも、－８０ｄＢ程度の垂直スミアと同程度と小さく、無視できる。したがって、平均部４７で有効画素の横のＨ－ＯＢを加算平均し、基準メモリ部４８に記憶しておいた基準の有効画素の横のＨ－ＯＢ加算平均を、Ｄ．ＡＧＣ部５０で温度やＡＦＥの増幅度を補正した基準Ｈ－ＯＢと、除算器５１で比をとれば、その水平周期の暗電流増倍量が算出できる。
　基準メモリ部４８に記憶しておいた基準Ｈ－ＯＢ加算平均と、有効画素の基準暗電流との差分を、減算器４６で算出し、算出した差分を有効画素ＯＢ差分基準暗電流として画面メモリ４９に記憶しておき、記憶した有効画素ＯＢ差分基準暗電流と暗電流増倍量とを乗算器５２で乗算する。この乗算の結果、その水平周期の有効画素ＯＢ差分暗電流が算出できる。さらに、算出した水平周期の有効画素ＯＢ差分暗電流とＯＢ代表値とを加算器４５で加算し、加算した値を減算器１９に出力する。
　なお、図３Ａの平均部４７で加算平均を算出するかわりに、図３Ｃの比較部５４を用い、Ｈ－ＯＢの最小値を算出しＨ－ＯＢの最小値の比をとり、その水平周期の暗電流増倍量を算出しても良い。
　同様に、図２Ａと、図３Ｂ、図３Ｃ、及び、図５Ｄを用いて、Ｖ－ＯＢの２番目に小さい信号の検出と、暗電流増倍量算出用のＯＢ代表値を検出する処理動作について説明する。
　図２Ａ、図３Ｂ、図３Ｃ、及び、図５Ｄにおいて、ＣＰＵ６は、比較部５３及び５４に、最小値信号の上限値と２番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい。なお、以下で述べる各値についても、同様の基準で数値化されたものである。
　比較部５４は、設定されている上限値とＶ－ＯＢ領域の映像信号の各画素の値とを比較し、値が小さい方の信号（Ｖ－ＯＢの映像信号）をＶ－ＯＢの最小値の信号としてラインメモリ部４４に記憶し、設定する。そして、値が大きい方の信号を、比較部５３に出力する（開始ステップ７１、最小値記憶ステップ７２）。
　比較部５３は、大きい方の信号の値と、２番目に小さい信号として設定されている上限値とを比較し、小さい方の信号をＶ－ＯＢの２番目に小さい信号としてラインメモリ部４３に記憶し、設定する（２番目に小さい値記憶ステップ７３）。
　同様に、比較部５３は、Ｎライン目のＶ－ＯＢＮの映像信号の画素の値と、ラインメモリ部４４の最小値とを各画素間で比較し、値が小さいほうの信号を各画素間最小値の信号としてラインメモリ部４４に記憶する。値が大きい方の信号は、各画素の比較１の信号として、比較部４２に出力する（比較１信号出力ステップ７４）。
　比較部５４が最後のＶ－ＯＢの比較処理を終了すると、比較部５３は、２番目に小さい信号を暗電流増倍量設定用のＯＢ代表値信号として除算器５１に出力し（ＯＢ代表値出力ステップ７６）、代表値検出処理を終了する（終了ステップ７７）。
　上記図３Ｂの説明では、２番目に小さい信号を代表値として検出したが、水平（Ｈ）スミアが少なく黒キズが少ないＥＭ－ＣＣＤを用い、図３Ｃに示す様に、ラインメモリ部４４から最小値を検出し垂直（Ｖ）スミア含むＯＢ代表値とし、比較部５５と比較部５６からＶスミア含むＯＢ代表値の最大値と最小値と差をＶスミア量として検出し、比較部５４からＨ－ＯＢの最小値を検出し、暗電流増倍量を各水平周期信号から検出すれば、暗電流増倍量は、１／ｆ変動とＨスミアとを加算したものとなる。また、Ｈスミアと比例するＶスミアが少ない場合には、Ｈスミアの水平周期内の変動は無視できるので、減算器１９で暗電流とＨスミアを減算することにより、暗電流むら、Ｖスミア、Ｈスミア、及び１／ｆ変動を減算したこととなり、その結果、雑音が低減し、実効的な感度が向上する。
　さらに、図３Ｄの実施例の実施例について説明する。図３Ｄは、図３Ｃの構成に、除算器５８と加算器５９と基準メモリ部６０とを追加したものである。そして、図１ＡのＦＥＰ４内部に存在するＯＢメモリ部４０５、及びＤ．ＡＧＣ部４０６から出力され（図１Ａでは図示及び説明をしていない）、ＤＡＣ（ Digital to Analog Converter ）部４０７を介してＣＤＳ４０１に出力し、ＣＤＳ４０１をオフセットさせるためのＯＢ暗電流を、ＯＢ暗電流粗補正として利用し、除算器５８と基準メモリ部６０とでＯＢ暗電流粗補正の暗電流増倍量を検出する。また検出した暗電流増倍量と、除算器５１で検出したＯＢ暗電流詳細補正の暗電流増倍量とを、加算器５９で加算して暗電流増倍量とする。このような動作そのものは複雑となるが、例えば、図１Ａや図１Ｂのような、本発明の撮像装置の全体構成のＦＥＰ４、４’、１０、及び１２、並びに、増倍検出を含む映像信号処理部５の映像信号階調（ｂｉｔ数）は最小限で済む。
　つまり、Ｖ－ＯＢライン内のＨ－ＯＢには、有効画素の高輝度信号の垂直スミア成分も水平スミア成分もないので、Ｖ－ＯＢの暗電流の代表値として、Ｖ－ＯＢライン内のＨ－ＯＢを加算平均し、非増倍時の基準温度のＥＭ－ＣＣＤのＶ－ＯＢライン内のＨ－ＯＢを加算平均し、温度補正したものをＶ－ＯＢの暗電流の代表値で除算することで、暗電流の各画面Ｖ－ＯＢ時の増倍率が検出でき、各垂直周期の増倍率が推定できる。
　または、Ｖ－ＯＢの最小値からＮ番目の値にも、有効画素の高輝度信号の垂直スミア成分も水平スミア成分もないので、Ｖ－ＯＢの暗電流の代表値として、Ｖ－ＯＢの最小値からＮ番目の値を算出し、非増倍時のＶ－ＯＢの最小値からＮ番目の値を算出し温度補正したものを除算しても、暗電流の各画面Ｖ－ＯＢ時の増倍率が検出でき、各垂直周期の増倍率が推定できる。
　垂直周期の増倍率の揺らぎ成分とは、非増倍時の基準温度のＥＭ－ＣＣＤのＶ－ＯＢの暗電流の代表値を温度補正したものを、Ｖ－ＯＢの暗電流の代表値で除算し、除算することによって推定した暗電流の増倍率の、各Ｖ－ＯＢと前後のＶ－ＯＢの平均との相違である。増倍率の揺らぎ成分は、増倍率にほぼ比例する。それに対し、熱雑音は、利得に比例する。したがって、簡易には、増倍率の揺らぎ成分にほぼ比例する上記増倍率と、熱雑音に比例する上記利得を、比例増加させれば、ＡＧＣ量の増加による熱雑音も、固体撮像素子の電子増倍ゆらぎによる１／ｆ雑音も、同等に目立たなくなる。これにより、電子増倍度の低下による暗電流のすだれ状の固定雑音との低減と合わせて、より高い実効的な感度を獲得できる。さらに、より高い実効的な感度を獲得することができた結果、蓄積時間が少なくてすむため、動くものの監視が容易になる。
　次に、図３Ｅに示す実施例について説明する。図３Ｅと図３Ｂとの相違は、加算器６３が追加されたことである。そこで、加算器６３以外の詳細動作の説明は省略する。図３Ｅは加算器６３が追加されたことにより、基準メモリ４８と除算器５１とに、ＣＣＤ撮像素子のＶ－ＯＢのＨ－ＯＢの２番目に小さい信号ではなく、ＣＣＤ撮像素子のＶ－ＯＢのＨ－ＯＢの２番目に小さい信号と２番目に小さい信号との加算和が基準となり、暗電流増倍量が算出される。この結果、暗電流が異常に少ない画素がないＣＣＤ撮像素子であれば、２番目に小さい信号への雑音の影響が半減し、より高精度な暗電流増倍量が算出できる。
　また図３Ｅに図示しないが、比較部５３のＬ出力に比較部５５を追加し、加算器６３の入力を比較部５３のＳ出力と比較部５４のＳ出力ではなく、比較部５３のＳ出力と比較部５５のＳ出力とにする。この結果、ＣＣＤ撮像素子のＶ－ＯＢのＨ－ＯＢに暗電流が異常に少ない画素が１つある場合であっても、ＣＣＤ撮像素子のＶ－ＯＢのＨ－ＯＢの２番目に小さい信号とＶ－ＯＢのＨ－ＯＢの３番目に小さい信号への雑音の影響が半減し、より高精度な暗電流増倍量が算出できる。
　以上、ＥＭ－ＣＣＤ等の撮像素子を用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外のＣＣＤ撮像素子、例えば、ＩＴ（ Interline Transfer ）－ＣＣＤ撮像素子等を用いた撮像装置に広く適用することができることは言うまでもない。
　ＯＢを備えるＣＣＤ撮像素子と利得可変増幅（ＡＧＣ）部とラインメモリ部と画面メモリ部とを有する固体撮像装置の撮像方法において、暗電流量に強く相関する検出量として、Ｖ－ＯＢの垂直画素の最小値（スミア代表値）の水平方向最小値、またはＶ－ＯＢの最小値、またはＶ－ＯＢのＨ－ＯＢの最小値のいずれかを暗電流量の代表値として、暗電流量の代表値の画面間の循環平均を、暗電流量の平均値とし、（１）画面間の循環平均の暗電流量の平均値に正に相関して、有効画素信号の利得可変増幅量を制御するか、若しくは蓄積時間を制御する。または、（２）各画面の暗電流量に正に相関して、有効画素信号の暗電流成分の利得可変増幅量を制御し有効画素信号から減算する。または、（３）画面間の循環平均の暗電流量の平均値と各画面の暗電流量との比に負に相関して、有効画素信号の利得可変増幅量を制御して、垂直周期より長い周期の増倍揺らぎを補正する。
　つまり、垂直周期で利得可変増幅量を低くすることにより、電子増倍率の増加による増倍ゆらぎを抑制する。これにより、映像信号のふらつきの雑音を減衰させる。垂直周期の増倍ゆらぎと暗電流ゆらぎとは抑制されている。
　増倍ゆらぎと暗電流ゆらぎ以外の雑音が少ない状態で相関を比例とすれば、増倍ゆらぎと暗電流ゆらぎとは無視できる少なさに抑制されるので、有効画素信号の暗電流成分の減算量は一定でも良い。
　具体的には、暗電流量に強く相関する検出量として、スミア代表値として検出している、Ｖ－ＯＢの垂直画素の最小値をの水平方向に最小値を暗電流量の代表値として算出する。またはＶ－ＯＢの最小値を検出し暗電流量の代表値としても良い。またはＶ－ＯＢのＨ－ＯＢの最小値を検出し暗電流量の代表値としても良い。
　本発明の実施例１で説明したように、図３Ａから図３Ｄの実施例には、暗電流増倍量を検出する機能がある。そこで、画面内で循環平均するレジスタと加算器と係数器からなる平均部６８と、画面間で循環平均するレジスタと加算器と係数器からなる平均部６９を、実施例１の検出部に追加した図３Ａから図３Ｄの全体の構成にすれば良い。この場合、平均部６８と平均部６９以外の構成と動作は、実施例１と同一なので説明を省略する。
　図３Ａから図３Ｄにおいて、検出部１８Ａ～１８Ｄから出力される水平周期暗電流増倍量または画面内平均暗電流増倍量から、平均部６８の循環平均で、画面内平均暗電流増倍量または画面間平均暗電流増倍量として算出され、外部（図１ＡのＣＰＵ６若しくは図１ＢのＣＰＵ６’）に出力すると共に平均部６９に出力される。そして、平均部６９に入力された電流増倍量は、平均部６９の循環平均で、画面間平均暗電流増倍量として算出され、図１ＡのＣＰＵ６若しくは図１ＢのＣＰＵ６’に出力される。
　図１Ａ若しくは図１Ｂにおいて、ＣＰＵ６若しくはＣＰＵ６’は、垂直転送駆動部（ｗ／ＴＧ）１３若しくは１３’を制御し、蓄積時間を制御する。また、ＣＰＵ６（若しくはＣＰＵ６’）はＦＥＰの４（若しくは、４，１０，１２）を制御し、利得可変増幅を制御する。また、ＣＰＵ６（若しくはＣＰＵ６’）は、増倍検出含む映像信号処理部５（若しくは映像信号処理部５’）を制御し、有効画素信号の暗電流成分の利得可変増幅を制御し、有効画素信号から減算し、出力する。
　また、ＯＢを備えるＣＣＤ撮像素子、並びに、ＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳと、暗電流補正と信号の利得を調整する利得可変増幅（ＡＧＣ）部と、及びデジタル映像信号Ｖｉに変換するＡＤＣと、からなるＦＥＰとを有する固体撮像装置の撮像方法において、ＦＥＰでのＨ－ＯＢクランプを中止して、ＦＰＧＡ等で構成された検出部（図３Ａ－図３Ｅ）で、Ｈ－ＯＢのＭ（Ｍは自然数）ケの上位Ｎ（ＮはＭ未満の自然数）ケ除いた値（Ｍ－Ｎ）ケの平均を（暗電流の増倍揺らぎ成分の）Ｈ－ＯＢ代表値として、当該ラインの有効画素から減算して、各Ｈ－ＯＢのＮケの白キズを除外してペデスタルレベルを安定させる。
　また、前記Ｈ－ＯＢの代表値と、前記Ｈ－ＯＢの代表値の、垂直周期以上の平均との比、または前記Ｈ－ＯＢの代表値の垂直周期内の循環平均と前記Ｈ－ＯＢの代表値の垂直周期以上の平均との比に、負に相関して前記ＦＥＰの利得可変増幅を制御して、暗電流の水平周期から垂直周期の間の周期の増倍揺らぎをＡＧＣで補正する。この結果、上位Ｎケを除けば、白キズの影響はほとんどなくなる。ここで、（Ｍ－Ｎ）ケの平均とするので、（Ｍ－Ｎ）ケ以下の短い周期の暗電流の揺らぎ影響はほとんどなくなる。なお、ＳＤＴＶでは、Ｈ－ＯＢは一般に２０ケ程度、Ｍは一般に１７程度、Ｎは一般に４程度である。また、水平有効画素１９２０のＨＤＴＶでは、Ｈ－ＯＢは一般に５５ケ程度、Ｍは一般に３６ケ程度、Ｎは一般に１０程度である。また、白キズの多い撮像素子では、Ｎを増やし、白キズの少ない撮像素子ではＮを減らした方が良い。
　つまり、各Ｈ－ＯＢのＮケの白キズを除外してペデスタルレベルを安定させ、水平周期の電子増倍ゆらぎを打ち消して、映像信号の横引き雑音を減衰させる。
　例えば、水平スミアにより、Ｈ－ＯＢの最大値のＮ番目から（Ｎ＋４）番目までの平均と、最小値から～最小値の４番目までの平均とが同一レベル上昇するのに対し、電荷増倍によりＨ－ＯＢの最大値のＮ番目から（Ｎ＋４）番目までの平均 AVmaxn-n+4 と、最小値から最小値の４番目までの平均 AVmin-+4 とが、暗電流と白キズとのレベルに比例して上昇するので、下記式４が電荷増倍率となる。
Figure JPOXMLDOC01-appb-M000004
　そして、ＯＢを備えるＣＣＤ撮像素子と、利得可変増幅（ＡＧＣ）部と、ラインメモリ部と、画面メモリ部とを有する固体撮像装置の撮像方法において、（１）暗電流量に強く相関する検出量のＶ－ＯＢの最小値の循環平均に正に相関して、有効画素信号の利得可変増幅を制御するか、若しくは蓄積時間を制御する。また、（２）暗電流量に強く相関する検出量のＶ－ＯＢの最小値の循環平均に正に相関して、有効画素信号の暗電流成分の利得可変増幅を制御し有効画素信号から減算する。
　つまり、利得可変増幅を高くするか、若しくは蓄積時間を長くするか、どちらかの方法によって暗電流成分を多く減算し、これによって電子増倍率の増加による増倍ゆらぎを抑制する、この結果、映像信号の横引き雑音を減衰させることができる。
　具体的には、本発明の一実施例の暗電流とスミアと増倍むらとの検出含むＯＢの代表値を検出する検出部の内部構成を示すブロック図の図３Ｄに、実施例１で説明した暗電流増倍量を検出する機能があるので、画面内で循環平均するレジスタと加算器と係数器からなる平均部６８と、画面間で循環平均するレジスタと加算器と係数器からなる平均部６９を、実施例１の検出部に追加した図３Ｄの全体の構成にすれば良い。
　平均部６８と平均部６９以外の構成と動作は、実施例１と同一なので説明を省略する。
　平均部６８と平均部６９を備えた図３Ｄにおいて、水平周期暗電流増倍量または画面内平均暗電流増倍量から、平均部６８の循環平均によって、画面内平均暗電流増倍量または画面間平均暗電流増倍量を算出し、平均部６９の循環平均によって、画面間平均暗電流増倍量を算出し、図１Ａ（若しくは、図１Ｂ）のＣＰＵ６に出力する。
　図１Ａ（若しくは、図１Ｂ）において、ＣＰＵ６は垂直転送駆動部（ｗ／ＴＧ）１３を制御し蓄積時間を制御する。また、ＣＰＵ６は、ＦＥＰの４を制御し利得可変増幅を制御する。また、ＣＰＵ６は、増倍検出処理部を含む映像信号処理部５を制御し、有効画素信号の暗電流成分の利得可変増幅を制御し、有効画素信号から減算する。
　そして、（１）水平周期暗電流増倍量または水平周期暗電流増倍量の画面内の循環平均量と、画面間平均暗電流増倍量との比に負に相関して、有効画素信号の利得可変増幅を制御する。つまり、水平周期で利得可変増幅を低くすることにより、電子増倍率の増加による増倍ゆらぎを抑制する。この結果、映像信号の横引き雑音を減衰させる。
　このように、水平周期の増倍ゆらぎと暗電流ゆらぎとは抑制されており、増倍ゆらぎと暗電流ゆらぎ以外の雑音が少ない状態で相関を比例とすれば、増倍ゆらぎと暗電流ゆらぎとは無視できる少なさに抑制されるので、有効画素信号の暗電流成分の減算量は一定でも良い。
　または、水平周期暗電流増倍量の画面間の循環平均量に正に相関して、有効画素信号の利得可変増幅を制御するか蓄積時間を制御する。つまり、利得可変増幅を高くするか蓄積時間を長くすることにより、電子増倍率の増加による増倍ゆらぎと暗電流ゆらぎを抑制する事により、映像信号の横引き雑音を減衰させる。増倍ゆらぎと暗電流ゆらぎは抑制されている。相関を比例とすれば、増倍ゆらぎと暗電流ゆらぎとは無視できるので、有効画素信号の暗電流成分の減算量は一定で良い。
　また、（２）水平周期暗電流増倍量の画面間の循環平均量と、各画面内の水平周期暗電流増倍量の比に負に相関して、有効画素信号の利得可変増幅を制御する。つまり、各画面で利得可変増幅を低くすることにより、電子増倍率の増加による増倍ゆらぎと暗電流ゆらぎとを抑制する。この結果、映像信号の各画面のふらつき雑音を減衰させる。
　このように、各画面の増倍ゆらぎと暗電流ゆらぎとは抑制されており、増倍ゆらぎと暗電流ゆらぎ以外の雑音が少ない状態で相関を比例とすれば、増倍ゆらぎと暗電流ゆらぎとは無視できる少なさに抑制されるので、有効画素信号の暗電流成分の減算量は一定でも良い。
　さらに、図６はＨ－ＯＢクランプレベルへの飛び込みを示す模式図である。図６は、縦軸がＨ－ＯＢのクランプレベルを示し、横軸の単位はサンプリング周期である。飛び込みは、静電結合または電磁結合、電源またはＧＮＤの電位変動で発生する。図６の様な、Ｈ－ＯＢクランプレベルへの飛び込みを示す模式図の様に、Ｈ－ＯＢが２０ケでＭが１７ケのＨ－ＯＢで、ＡＤＣが１２ｂｉｔの４０９６階調で、暗電流平均（ｄ）を１８０（なお、暗電流の平均値１８０は、ＣＣＤによって異なる。）とした場合に、最大片側振幅６４０の減衰振動の飛び込みの波形変動があっても、単純平均は２１３である。この場合の誤差３３に対し、本発明の一実施例の最大値削除平均は１７５であるから誤差は５（ｄ－５）である。また、本発明の一実施例の最大値最小値削除平均は１８６であるから誤差は６（ｄ＋６）である。また、本発明の一実施例の最大値最小値２ケ削除平均は１８１であるから誤差は１（ｄ＋１）で、誤差が階調分解能まで低減することなる。従って、本発明の一実施例を適用すれば、誤差が著しく減少して事実上無視できるようになる。なお、図６において、破線部では、レベルが（ｄ－３２０）であるが、レンジ不足で、０（ｄ－１８０）となる。
　その結果、サンプリング位相と減衰振動の飛び込み波形の位相が揺らいでもＨ－ＯＢクランプレベルが変動することがなくなり、水平周期単位の映像のペデスタルレベルの変動つまり低周波数雑音がなくなり、暗部の画質が改善する。さらに、クランプ位相は飛び込みが少ない位相に設定してあるが、位相が揺らいで、飛び込みが増加しても、上述の様に、誤差が低減される。
　上記実施例１、２、３によれば、ＣＭＧ駆動波形を改善して水平スミアが無視できるようになったＥＭ－ＣＣＤ及び水平スミアの少ないＩＴ－ＣＣＤのＨＤＴＶの低周波数雑音低減で有効となる。
　１：撮像装置、　２：光学系、　２’：色分解光学系、　３，３’，７，９：ＣＣＤ撮像素子、　４，４’，１０，１２：ＦＥＰ、　５，５’：増倍検出処理部を含む映像信号処理部、　６：ＣＰＵ、　８：温度センサ、　１３：垂直転送駆動部（ｗ／ＴＧ）、　１４，１５，１５’，１６：ＣＭＧ駆動部、　１７：冷却部、　１８，１８’，１８Ａ，１８Ｂ，１８Ｃ，１８Ｄ，１８Ｅ，３７，３９：検出部、　１９，１９’，３８，４０，４６，４６’，５７：減算器、　４５，５９，６３：加算器、５１，５８：除算器、５２：乗算器、　４７，６８，６９：平均部、　４３，４４：ラインメモリ部、４８，６０：基準メモリ部、　４９：画像メモリ部、
４１，４２，５３，５４，５５，５６：比較部、　２２：差分部、　２３：ＬＰＦ、　２４，２５：二乗部、　２６，２７：累積部、　２８：係数付比較部、　２９：除算部、　３０，５０：デジタルＡＧＣ（Ｄ．ＡＧＣ）部、　３１：映像信号処理部、　３２：映像メモリ部、　３３：相関検出部、　３４：出力回路。

Claims (10)

  1. 　ＣＣＤ撮像素子と該ＣＣＤ撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記ＣＣＤ撮像素子の受光面の上部または下部または左または右の少なくとも一方の遮光した画素から出力される信号を取得する第２の取得部とを有する撮像装置において、ＡＧＣ部と、前記第２の取得部で取得した遮光した画素から出力される信号の代表値を算出する手段と、前記第１の取得部で取得した有効画素から出力される暗電流成分を記憶する画面メモリと、前記記憶した有効画素信号の暗電流成分を利得可変増幅し有効画素信号から減算する手段と、前記第１の取得部で取得した有効画素から出力される有効画素信号を記憶するラインメモリと、を有し、前記代表値に相関して有効画素信号の利得可変増幅を制御することと、前記代表値に正に相関して前記記憶した有効画素信号の暗電流成分の利得可変増幅を制御し有効画素信号から減算することと、との少なくとも一方を行う事を特徴とする撮像方法。
  2. 　請求項１の撮像方法において、前記代表値の垂直周期以上の平均に正に相関して有効画素信号の垂直周期以上の利得可変増幅を制御することと、前記代表値の水平周期の値と前記代表値の垂直周期以上の平均との比または前記代表値の画面内の循環平均と前記代表値の垂直周期以上の平均との比に負に相関して有効画素信号の水平周期の利得可変増幅を制御することと、前記代表値の垂直周期に応じて有効画素信号の暗電流成分の垂直周期の利得可変増幅を制御し有効画素信号から減算することと、前記代表値の水平周期の値または前記代表値の画面内の循環平均と前記代表値の垂直周期以上の平均との比に正に相関して有効画素信号の暗電流成分の有効画素信号の水平周期の利得可変増幅を制御し有効画素信号から減算すること、との少なくとも一方を行う事を特徴とする撮像方法。
  3. 　請求項２の撮像方法において、前記撮像装置が電子増倍型ＣＣＤ撮像素子と可変電圧電子増倍電極駆動部とを有し、
    　前記第２の取得部で取得した遮光した画素から出力される信号の代表値の現在値と電子増倍しないように低い電子増倍電極電圧時に記憶しておいた前記第２の取得部で取得した遮光した画素から出力される信号の代表値を撮像素子測定温度で補正した暗電流の想定値との比を非電子増倍時に記憶しておいた有効画素の基準の暗電流に、乗算し、有効画素信号から減算する事を特徴とする撮像方法。
  4. 　請求項３の撮像方法において、前記撮像装置が温度測定手段を有し、前記撮像素子がＶ－ＯＢとＨ－ＯＢを有し、
    　Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比を非電子増倍時に記憶しておいた画面メモリの各有効画素の基準の暗電流に乗算し、有効画素信号から減算する事と、現在のＶ－ＯＢの垂直画素間の代表値の最小値と最大値との差を垂直スミアとして垂直スミアが所定値以下ならＨ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＨ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比を非電子増倍時に記憶しておいた画面メモリの有効画素の基準の暗電流に、乗算し、有効画素信号から減算する事と、の少なくとも一方を行うことを特徴とする撮像方法。
  5. 　請求項２の撮像方法において、前記撮像装置が、前記第１の取得部で取得した有効画素から出力される有効画素信号を記憶する画面メモリと蓄積時間を制御する手段とを有し、前記代表値の画面間循環平均に正に相関して前記有効画素信号の利得可変増幅を制御するか、前記代表値の画面間循環平均に正に相関して蓄積時間を制御するかの少なくとも一方を行う事を特徴とする撮像方法。
  6. 　請求項１の撮像方法において、前記撮像装置が電子増倍型ＣＣＤ撮像素子と可変電圧電子増倍電極駆動部とを有し、
    　前記記憶した代表値と走査線信号間の相関部分の平均の比の自乗積分と走査線信号間の相関部分の平均の差の自乗積分との合計等の走査線信号間の相関部分の平均の誤差の自乗積分と走査線信号間の相関部分の差の自乗積分を比較し、走査線信号間の相関部分の差の自乗積分が走査線信号間の相関部分の平均の誤差の２倍になるように垂直周期以上の平均の利得可変増幅を高くすることと、有効画素信号の垂直周期の利得可変増幅を低くすることと、有効画素信号の水平周期の利得可変増幅を低くすることと、垂直周期以上の平均の電子増倍電極振幅値を低く制御すること、との少なくとも一方を行う事を特徴とする撮像方法。
  7. 　請求項６の撮像方法において、前記撮像装置が温度測定手段を有し、前記撮像素子がＶ－ＯＢとＨ－ＯＢを有し、
    　所定以下のレベルの映像信号を走査線内で平均する事と、所定以下のレベルの映像信号を画面内で平均する事と、所定以下のレベルの映像信号を画面間で平均する事と、映像信号の画面間の相関と動きベクトルとをを検出し、所定以上の相関で所定以下の動きベクトルの映像信号は相関の高い部分同士を画面間で平均する事と、の少なくとも一方を行う固体撮像装置の撮像方法において、Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比を有効画素の平均の基準の暗電流に乗算し、有効画素信号から減算する事を特徴とする撮像方法。
  8. 　請求項６の撮像方法において、前記撮像装置が温度測定手段を有し、前記撮像素子がＶ－ＯＢとＨ－ＯＢを有し、
    　Ｖ－ＯＢの暗電流の現在の代表値と非電子増倍時に記憶しておいたＶ－ＯＢの暗電流の代表値を撮像素子測定温度で補正した暗電流の想定値との比（各垂直周期の電子増倍率）、または、前記非増倍時のＶ－ＯＢの暗電流の代表値を算出し温度補正したものを除算し推定した暗電流の増倍率の各Ｖ－ＯＢと前後のＶ－ＯＢの平均との比、または、画面メモリの有効画素の基準の暗電流に、前記非増倍時のＶ－ＯＢの暗電流の代表値を算出し温度補正したものを除算し推定した暗電流の増倍率を乗算し有効画素信号から減算し、１Ｈラインと前画面の同一ラインと上下のラインと相関検出し、１Ｈラインと最も相関の高いライン間の信号比の二乗積分と１Ｈラインと最も相関の高いライン間の信号差分の二乗積分との比、または１Ｈラインと最も相関の高いライン間の信号差分の低周波数成分レベルと高周波数成分レベルとの比、または現在の利得可変増幅の値と前記電子増倍の想定値との比との少なくとも一方で電子増倍電極振幅と利得可変増幅の画面内平均値とを制御し、映像信号の所定レベルを一定にする事を特徴とする撮像方法。
  9. 　請求項６の撮像方法において、前記撮像装置が温度測定手段と雑音除去部と１４ｂｉｔ以上のＡＤＣとを有し、少なくとも電子増倍持に、現在の走査線の映像信号の非循環平均成分を、１画面前の走査線の映像信号の非循環平均成分と１画面前の１Ｈ前走査線の映像信号の非循環平均成分と１画面前の１Ｈ後の走査線の映像信号の非循環平均成分との相関を比較する手段を有し、相関の高い位置同士の非循環平均成分の比の二乗の累積を算出する手段と、相関の高い位置同士の非循環平均成分の差の二乗の累積とを算出する手段と、比の二乗の累積と差の二乗の累積との比を算出する手段または、相関の高い位置同士の非循環平均成分の差の二乗の低周波数成分レベルと高周波数成分との比を算出する手段または現在の利得可変増幅の値と前記電子増倍の想定値との比を算出する手段のすくなくとも一方を有し、前記比が所定値以上になるように利得可変増幅の画面内平均値と電子増倍電極振幅値とを制御する手段と、映像信号の（平均値またはスポット除くピーク値またはピーク値等の）所定レベルを一定に制御する手段とを有する事を特徴とする撮像装置。
  10. 　請求項１の撮像方法において、前記ＣＣＤ撮像素子がＨ－ＯＢを有し、前記撮像装置がＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳと暗電流補正と信号の利得を調整するＡＧＣ部とデジタル映像信号Ｖｉに変換するＡＤＣからなるＦＥＰとデジタル映像信号処理回路とを有し、前記デジタル映像信号処理回路でＨＯＢのＭケの上位Ｎケを除いたＭ－Ｎケの平均をＨ－ＯＢの代表値として、当該ラインの有効画素から前記Ｈ－ＯＢの代表値を減算することと、前記Ｈ－ＯＢの代表値と前記Ｈ－ＯＢの代表値の垂直周期以上の平均との比または前記Ｈ－ＯＢの代表値の垂直周期内の循環平均と前記Ｈ－ＯＢの代表値の垂直周期以上の平均との比に負に相関して前記ＦＥＰの利得可変増幅を制御することを特徴とする撮像方法。
PCT/JP2009/006890 2008-12-24 2009-12-15 撮像方法および撮像装置 WO2010073541A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010543809A JP5520833B2 (ja) 2008-12-24 2009-12-15 撮像方法および撮像装置
US13/110,332 US8860863B2 (en) 2008-12-24 2011-05-18 Image pickup method and image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-328384 2008-12-24
JP2008328384 2008-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/110,332 Continuation US8860863B2 (en) 2008-12-24 2011-05-18 Image pickup method and image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2010073541A1 true WO2010073541A1 (ja) 2010-07-01

Family

ID=42287198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006890 WO2010073541A1 (ja) 2008-12-24 2009-12-15 撮像方法および撮像装置

Country Status (3)

Country Link
US (1) US8860863B2 (ja)
JP (1) JP5520833B2 (ja)
WO (1) WO2010073541A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150144A (ja) * 2012-01-19 2013-08-01 Hitachi Kokusai Electric Inc 撮像方法および撮像装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239861A (ja) * 2012-05-14 2013-11-28 Freebit Co Ltd 画像撮影システム
JP2014017724A (ja) * 2012-07-10 2014-01-30 Sumitomo Electric Ind Ltd 撮像装置
JP6880709B2 (ja) * 2016-12-20 2021-06-02 株式会社リコー 光電変換装置、光電変換方法及び画像形成装置
US11039089B2 (en) * 2019-03-27 2021-06-15 Indian Institute Of Technology Ropar Thermal imaging for identifying a defect in a material
CN114630054A (zh) * 2020-12-14 2022-06-14 瑞昱半导体股份有限公司 具有图像闪烁检测机制的图像获取装置及其图像闪烁检测方法
CN113469297B (zh) * 2021-09-03 2021-12-14 深圳市海邻科信息技术有限公司 图像篡改检测方法、装置、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225286A (ja) * 1997-11-07 1999-08-17 Matsushita Electric Ind Co Ltd 光電変換装置及び固体撮像素子
JP2008109639A (ja) * 2006-09-25 2008-05-08 Hitachi Kokusai Electric Inc 撮像装置および撮像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107824A (ja) 1990-08-28 1992-04-09 Tokyo Electron Ltd 洗浄用部材の洗浄方法
JPH0767038A (ja) 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
CN1260956C (zh) 1997-11-07 2006-06-21 松下电器产业株式会社 光电变换器与固态摄像元件
JP2000152098A (ja) * 1998-11-10 2000-05-30 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2002232382A (ja) 2001-01-29 2002-08-16 Hitachi Kokusai Electric Inc 直交周波数分割多重変調方式伝送装置の基準信号再生方法及びその伝送装置
JP2003009000A (ja) * 2001-06-21 2003-01-10 Fuji Photo Film Co Ltd 撮像装置
JP4107824B2 (ja) 2001-10-04 2008-06-25 株式会社日立国際電気 Ｏｆｄｍ受信装置のアンテナ方向調整方法及びその装置
JP2005109772A (ja) * 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法
JP4358182B2 (ja) 2005-11-29 2009-11-04 株式会社日立国際電気 撮像装置およびその雑音低減方法
JP2007150828A (ja) * 2005-11-29 2007-06-14 Pentax Corp 固定パターンノイズ除去装置
JP4932578B2 (ja) 2006-04-27 2012-05-16 株式会社日立国際電気 撮像装置の感度補正方法および撮像装置
KR100849475B1 (ko) 2006-04-27 2008-07-30 가부시키가이샤 히다치 고쿠사이 덴키 촬상장치 및 촬상장치의 감도 보정방법
JP2008054281A (ja) * 2006-07-26 2008-03-06 Matsushita Electric Ind Co Ltd 撮像回路の自動調整装置
US7800663B2 (en) 2006-09-25 2010-09-21 Hitachi Kokusai Electric Inc. Image pickup device and image pickup method
JP2008124725A (ja) * 2006-11-10 2008-05-29 Toshiba Corp 固体撮像素子の駆動装置及びその駆動方法
JP4642036B2 (ja) * 2007-02-27 2011-03-02 株式会社日立国際電気 撮像装置およびその雑音低減方法
JP2010016475A (ja) * 2008-07-01 2010-01-21 Mitsubishi Electric Corp 固体撮像装置および三板式固体撮像装置
JP5195289B2 (ja) * 2008-10-30 2013-05-08 パナソニック株式会社 撮像装置
JP5312246B2 (ja) * 2009-07-24 2013-10-09 キヤノン株式会社 撮像装置及び制御方法
US8570406B2 (en) * 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225286A (ja) * 1997-11-07 1999-08-17 Matsushita Electric Ind Co Ltd 光電変換装置及び固体撮像素子
JP2008109639A (ja) * 2006-09-25 2008-05-08 Hitachi Kokusai Electric Inc 撮像装置および撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150144A (ja) * 2012-01-19 2013-08-01 Hitachi Kokusai Electric Inc 撮像方法および撮像装置

Also Published As

Publication number Publication date
JP5520833B2 (ja) 2014-06-11
US8860863B2 (en) 2014-10-14
US20110216223A1 (en) 2011-09-08
JPWO2010073541A1 (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
KR100617781B1 (ko) 이미지 센서의 화질 개선장치 및 방법
US8988561B2 (en) Imaging apparatus having temperature sensor within image sensor wherein apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
JP5520833B2 (ja) 撮像方法および撮像装置
KR100825076B1 (ko) 촬상장치 및 그 잡음저감방법
KR101252275B1 (ko) 고체촬상소자의 신호처리장치 및 방법과 촬상장치
WO2009064537A1 (en) Method and system for noise management for spatial processing in digital image/video capture systems
JP2010081511A (ja) 撮像装置、設定値変更方法およびプログラム
US8576307B2 (en) Imaging device having a characteristic converting section
JP2013150144A (ja) 撮像方法および撮像装置
US8842187B2 (en) Image processing device, image processing method, and solid-state imaging device
JP5612001B2 (ja) 画像処理装置及び固体撮像装置
JP2008109639A (ja) 撮像装置および撮像方法
JP5411322B2 (ja) 撮像装置および撮像方法
JP5195289B2 (ja) 撮像装置
JP5500702B2 (ja) 撮像方法および撮像装置
JP4642036B2 (ja) 撮像装置およびその雑音低減方法
JP5395710B2 (ja) 撮像装置
JP5784669B2 (ja) 撮像装置
JP2013153380A (ja) 撮像装置および撮像方法
JP2010193112A (ja) 画像処理装置およびディジタルスチルカメラ
JP2019004403A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834355

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010543809

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09834355

Country of ref document: EP

Kind code of ref document: A1