WO2007091369A1 - 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム - Google Patents

固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム Download PDF

Info

Publication number
WO2007091369A1
WO2007091369A1 PCT/JP2006/324434 JP2006324434W WO2007091369A1 WO 2007091369 A1 WO2007091369 A1 WO 2007091369A1 JP 2006324434 W JP2006324434 W JP 2006324434W WO 2007091369 A1 WO2007091369 A1 WO 2007091369A1
Authority
WO
WIPO (PCT)
Prior art keywords
dark current
solid
pattern noise
pixel
fixed pattern
Prior art date
Application number
PCT/JP2006/324434
Other languages
English (en)
French (fr)
Inventor
Toshinobu Shibano
Kazuo Hashiguchi
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to US12/223,670 priority Critical patent/US20090046180A1/en
Priority to EP06834189A priority patent/EP1986424A4/en
Publication of WO2007091369A1 publication Critical patent/WO2007091369A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present invention relates to a fixed pattern noise removing device that removes a fixed pattern noise component caused by dark current from an imaging signal output from a solid-state imaging device, and a solid-state imaging device and an electronic apparatus including the fixed pattern noise removing device.
  • the present invention also relates to a fixed pattern noise removal program for causing a computer to function as a fixed pattern noise removal device that removes a fixed pattern noise component caused by an imaging signal force dark current output from a solid-state imaging device. To do.
  • CCD Charge Coupled Device
  • a logarithmic conversion type solid-state imaging device In order to solve such a problem, a logarithmic conversion type solid-state imaging device is used.
  • the incident light quantity is logarithmically converted to output an imaging signal, so that a dynamic range of incident light that can be converted into an imaging signal is widened.
  • Logarithmic conversion type solid-state imaging devices generally perform logarithmic conversion using the current characteristics of the weak inversion region of the MOS transistor.
  • Non-Patent Document 1 discloses a method for improving such a problem. That is, Non-Patent Document 1 formulates the output of the logarithmic conversion type solid-state imaging device, shows the cause of fixed pattern noise divided into three variation elements of offset, gain, and dark current, A method for correcting a variation element is disclosed.
  • Non-Patent Document 1 In the conventional fixed pattern noise removal method disclosed in Non-Patent Document 1, two types of high illumination conditions where a photocurrent large enough to ignore the dark current is generated in the photodiode, and only the dark current is a photo Imaging is performed in advance under the three types of conditions of the light shielding state generated in the diode, and based on the results, offset, gain, and dark current variation factors included in the output of the logarithmic conversion type solid-state imaging device are corrected. .
  • Non-Patent Document 1 in the logarithmic conversion type solid-state imaging device, the relationship between the photocurrent X generated in the photodiode for each pixel and the logarithmic response output y is expressed by the following equation (101). This comes out.
  • a represents an offset
  • b represents a gain
  • c represents a dark current.
  • the offset a, gain b, and dark current c vary from pixel to pixel, thereby generating fixed pattern noise.
  • these offset a, gain b, and dark current c are calculated for each pixel and applied to Equation (101) for correction. The correct relationship between photocurrent X and logarithmic response output y is obtained.
  • FIG. 4 is a block diagram showing the configuration of a conventional fixed pattern noise removal apparatus.
  • a series of calibration operations described later are performed prior to the actual imaging operation.
  • the imaging surface of the solid-state imaging device 2 is irradiated with uniform light having an illuminance L1, which will be described later.
  • the output over a plurality of frames of the solid-state imaging device 2 under this condition is arithmetically averaged for each pixel to remove random noise components, and the result is recorded in the frame memory 31.
  • the imaging surface of the solid-state imaging device 2 is irradiated with uniform light having an illuminance L2, which will be described later.
  • the output over a plurality of frames of the solid-state imaging device 2 under this condition is arithmetically averaged for each pixel to remove random noise components, and the result is recorded in the frame memory 32.
  • the imaging surface of the solid-state imaging device 2 is in a light shielding state.
  • the output over a plurality of frames of the solid-state imaging device 2 under this condition is arithmetically averaged for each pixel to remove random noise components, and the result is recorded in the frame memory 33.
  • the illuminance L1 and the illuminance L2 described above are obtained when the uniform light having the illuminance on the imaging surface of the solid-state imaging device 2 is incident on the imaging surface of the solid-state imaging device 2.
  • Photocurrent force generated in the upper photodiode The illuminance is sufficiently larger than the dark current of the photodiode. Specifically, the illuminance is such that the ratio of photocurrent to dark current is at least 100 times.
  • the uniform light is adjusted so that the illuminance L1 is at least 10 times the illuminance L2 compared to the illuminance L2.
  • the offset a, gain b, and dark current c of the equation (101) are determined for each pixel from the imaging signals recorded in the frame memories 31 to 33 according to the procedure described below. To calculate. First, from the imaging signal y recorded in the frame memory 31 and the imaging signal y recorded in the frame memory 32, the gain b is calculated for each pixel from the equation (102). Formula (
  • X is the photocurrent when the imaging surface of solid-state image sensor 2 is irradiated with uniform light of illuminance L1.
  • X in the equation (102) represents the image of the solid-state image sensor 2.
  • the value of 2 can also be obtained as a linear force indicating the relationship between illuminance and photocurrent for each image sensor, obtained in advance by measurement, etc., and the photocurrent value corresponding to the illuminance L1 and illuminance L2 obtained in advance.
  • the parameter calculation unit 34 may be pre-stored, and a detection unit that detects the photocurrent generated in the photodiode or the illuminance of the irradiation light is provided in the solid-state imaging device 2, and the detection result of the detection unit is used as a basis. Alternatively, the parameter calculation unit 34 may obtain it. If the above method is difficult, use the values of illuminance Ll and illuminance L2 directly instead of photocurrents X and X. May be.
  • Equation (101) not the relationship between photocurrent X and logarithmic response output y, but the relationship between illuminance L and logarithmic response output y when photocurrent X is replaced with illuminance L is obtained. .
  • the offset a is calculated from the image signal y recorded in the frame memory 31 using Equation (103).
  • the photocurrent X in (103) should be replaced with the illuminance L1.
  • Equation (104) represents the limit illuminance depending on the dark current value, not the dark current itself.
  • the photocurrent value that the light of the limit illuminance can be generated in the photodiode of each pixel becomes equal to the dark current value of the pixel.
  • c can be treated as the limit illuminance.
  • the imaging signal is corrected using the offset a, gain b, and dark current c recorded for each pixel in the frame memory 61, the frame memory 62, and the frame memory 63, respectively.
  • the offset correction unit 71 performs a subtraction process for each pixel using the offset a recorded in the frame memory 61 with respect to the output y of the solid-state imaging device 2 represented by Expression (101). As a result, an imaging signal Y unrelated to the offset a is obtained (see Equation (105)).
  • the gain correction unit 72 records the output Y of the offset correction unit 71 in the frame memory 62.
  • the dark current correction unit 73 performs frame measurement on the exponential conversion signal of the output Y of the gain correction unit 72.
  • the dark current c recorded in the memory 63 is used to perform subtraction processing for each pixel.
  • the configuration of the dark current correction unit 73 is shown in FIG.
  • Reference numeral 73A in FIG. 5 indicates a linearization unit, and reference numeral 73B indicates a subtraction unit.
  • the linear key section 73A uses an exponential function to output Y line of the gain correction section 72.
  • the unit 73B performs a subtraction process for each pixel using the dark current c recorded in the frame memory 63 with respect to the output of the linear display unit 73A. As a result, an imaging signal Y unrelated to dark current c is obtained.
  • Non-Patent Document 1 Bhaskar Choubey, Satoshi Aoyama, Dileepan Joseph, Stephen Otim andSteve Collins, "An Electronic Calibration Scheme for Logarithmic CMOSPixels," Proceedings of the IEEE International Symposium on circuits and Systems, vol. IV, pp. 856-9 , May 2004
  • the present invention provides a fixed pattern noise removing device and a fixed pattern noise removing device capable of effectively removing a fixed pattern noise component caused by dark current regardless of the temperature of the solid-state imaging device.
  • An object of the present invention is to provide a solid-state imaging device and an electronic apparatus including the above.
  • the present invention provides a computer as a fixed pattern noise removal device that can effectively remove a fixed pattern noise component caused by dark current regardless of the temperature of a solid-state imaging device. The purpose is to provide a fixed pattern denoising program to function.
  • a fixed pattern noise removing apparatus is a fixed pattern noise removing apparatus that removes a fixed pattern noise component caused by a dark current from an imaging signal output from a solid-state imaging device.
  • a light-shielding pixel of the solid-state image sensor that is calculated based on an output signal of the light-shielding pixel of the solid-state image sensor that is acquired in advance.
  • the dark current of the photoelectric element included in the effective pixel of the solid-state image sensor calculated based on the first dark current that is a dark current and the output signal of the effective pixel of the solid-state image sensor acquired in advance in the absence of incident light.
  • a third dark current that is a negative current of a photoelectric element included in the light-shielded pixel of the solid-state image sensor, which is calculated based on an output signal of the light-shielded pixel of the solid-state image sensor at the time of imaging.
  • the fixed pattern noise component caused by the dark current is removed from the output signal of the effective pixel of the solid-state imaging device at the time of imaging.
  • the first dark current, second dark current, and third By using the dark current, it is possible to predict the dark current generated at the time of actual imaging in the photoelectric element included in the effective pixel of the solid-state image sensor, so that the dark current is caused regardless of the temperature of the solid-state image sensor.
  • the fixed pattern noise component can be effectively removed.
  • the solid-state imaging device may be a logarithmic conversion type solid-state imaging device that logarithmically converts the amount of incident light. In this case, the effect of the present invention appears more remarkably.
  • the first dark current and the second dark current may each include a storage unit that stores the first dark current and the second dark current in a linear form. You may provide the memory
  • the third dark current is in a linear form
  • a temperature coefficient is calculated based on a ratio between the first dark current and the third dark current
  • the second dark current and the temperature are calculated.
  • the product with the coefficient may be subtracted from the signal obtained by linearly processing the signal based on the output signal of the effective pixel of the solid-state imaging device at the time of imaging.
  • a signal power obtained by linearly processing a signal based on an output signal of an effective pixel of the solid-state imaging device at the time of imaging is calculated by multiplying the product of the first period for calculating the temperature coefficient by the second dark current and the temperature coefficient.
  • the third dark current is in logarithmic form, and a temperature coefficient is calculated from the difference between the first dark current and the third dark current, and the second dark current and the temperature
  • the signal obtained by linearly processing the signal based on the output signal of the effective pixel of the solid-state imaging device at the time of imaging may be subtracted from the signal obtained by linearly adding the sum to the coefficient.
  • the first period for calculating the temperature coefficient, and a signal obtained by linearly adding the sum of the second dark current and the temperature coefficient are displayed at the time of imaging.
  • There is a second period for subtracting the signal power obtained by linearly processing the signal based on the output signal of the effective pixel of the solid-state imaging device, and the first period and the second period are alternately repeated. Good.
  • the light-shielding pixels may be arranged in a pixel array.
  • the output signal of the light-shielded pixel can be sequentially used by performing scanning in the same manner as the output signal of the effective pixel.
  • the light-shielding pixels may be arranged outside the pixel array. In this case, there is an advantage that the output signal of the light-shielded pixel without performing scanning can be used independently. Further, if the light-shielded pixel is larger than the pixel in the pixel array, the dark current of the photodiode in the pixel can be obtained.
  • the calculation accuracy is improved when calculating the temperature coefficient using the output signal of the light-shielded pixel. If the light-shielding pixel is smaller than the pixels in the pixel array, there is an advantage that the area occupied by the chip of the light-shielding pixel can be reduced.
  • a solid-state imaging device includes a solid-state imaging device and an imaging signal force output from the solid-state imaging device, and a fixed pattern noise component caused by a dark current.
  • an electronic apparatus includes the solid-state imaging device.
  • the solid pattern noise elimination program according to the present invention is a program for causing a computer to function as the fixed pattern noise elimination apparatus having the above-described configuration.
  • the solid pattern noise elimination program according to the present invention can be realized without using a dedicated device.
  • the fixed pattern caused by the dark current regardless of the temperature of the solid-state imaging device. Noise components can be effectively removed.
  • FIG. 1 is a block diagram showing a configuration example of a solid-state imaging apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a configuration example of a dark current correction unit provided in the fixed pattern noise removing apparatus shown in FIG. 1 in the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration example of a dark current correction unit provided in the fixed pattern noise removal device shown in FIG. 1 in the second embodiment of the present invention.
  • FIG. 4 is a block diagram showing a configuration of a conventional fixed pattern noise removing apparatus.
  • FIG. 5 is a block diagram showing a configuration of a dark current correction unit provided in the fixed pattern noise removal device shown in FIG.
  • FIG. 6A is a diagram showing a pixel arrangement of the solid-state image sensor.
  • FIG. 6B is a diagram showing a pixel arrangement of the solid-state image sensor.
  • FIG. 6C is a diagram showing a pixel arrangement of the solid-state image sensor.
  • FIG. 6D is a diagram showing a pixel arrangement of the solid-state image sensor.
  • FIG. 1 is a block diagram showing a configuration example of a solid-state imaging device according to the present invention.
  • a solid-state imaging device 1 shown in FIG. 1 includes a solid-state imaging device 2, a correction data calculation unit 3, and a fixed pattern noise removal device 4.
  • the fixed pattern noise removing device 4 includes a correction data storage unit 6, an offset correction unit 71, a gain correction unit 72, and a dark current correction unit 73.
  • the output of the solid-state imaging device 1 is reproduced as video on the image display device 5 after the fixed pattern noise removal device 4 removes the fixed pattern noise.
  • the solid-state image sensor 2 is a logarithmic conversion type solid-state image sensor, and images a subject. Specifically, the solid-state image sensor 2 logarithmically converts the amount of light when the light emitted or reflected by the subject is incident on the surface of the solid-state image sensor through an optical system such as a lens to a luminance level. As a result, the solid-state imaging device 2 generates and outputs an imaging signal representing the image of the subject. On the imaging surface of the solid-state imaging device 2, pixels having photodiodes are arranged in a two-dimensional array.
  • the pixels of the solid-state imaging device 2 have a distinction between light-shielded pixels and effective pixels.
  • the difference between the light-shielded pixel and the effective pixel is whether the upper part of the photodiode is covered with metal wiring or the like, and other pixel structures are usually the same. Therefore, the pixels of the solid-state imaging device 2 are usually arranged in an array as shown in FIG. 6A.
  • the imaging signals of the light-shielded pixels arranged in the pixel array in FIG. 6A are sequentially scanned as in the case of the effective pixels. Be available.
  • each effective pixel is indicated by a V ⁇ rectangle without hatching
  • each shading pixel is indicated by a hatched rectangle! / ⁇ .
  • the solid-state imaging device As described later, not only the effective pixel imaging signal but also the light shielding pixel imaging signal is used, but it is not always necessary to use all the light shielding pixel imaging signals. For example, a plurality of light-shielded pixels that are not easily affected by incident light because they are surrounded by other light-shielded pixels may be selected, and only the image signal of the selected light-shielded pixel may be used as the image signal of the light-shielded pixel.
  • the light-shielded pixels may be arranged outside the pixel array.
  • the light-shielding pixel is arranged outside the pixel array, there is an advantage that an image pickup signal of the light-shielding pixel can be used independently without performing scanning.
  • the light-shielded pixels arranged outside the pixel array may have a different size from the pixels in the pixel array.
  • the shaded pixels G arranged outside the pixel array are connected to the image in the pixel array.
  • the size is larger than the elementary size, the dark current value of the photodiode in the pixel increases, so the effect of dark current shot noise is reduced.
  • the light-shielded pixel G placed outside the pixel array is made smaller than the pixels in the pixel array.
  • the imaging operation by the solid-state imaging device 2 is mainly performed using effective pixels that generate an imaging signal corresponding to the above-described incident light.
  • the solid-state imaging device according to the present invention not only the effective pixel imaging signal but also the shading pixel imaging signal is used.
  • imaging signal refers to both an imaging signal for an effective pixel and an imaging signal for a light-shielded pixel.
  • the relationship between the photocurrent X generated in the photodiode for each pixel and the logarithmic response output y is expressed by the following equation (1).
  • a represents an offset
  • b represents a gain
  • c represents a dark current.
  • the correction data storage unit 6 stores the correction data of offset a, gain b, and dark current c calculated by the correction data calculation unit 3. This operation will be described later.
  • the offset correction unit 71 uses the offset correction data read from the correction data storage unit 6 to remove the fixed pattern noise component caused by the offset variation from the output of the solid-state imaging device 2.
  • the gain correction unit 72 uses the gain correction data read from the correction data storage unit 6 to remove fixed pattern noise components caused by gain variations from the output of the offset correction unit 71.
  • the dark current correction unit 73 uses the dark current correction data read from the correction data storage unit 6 to remove fixed pattern noise components caused by dark current variations from the output of the gain correction unit 72. Details of the removal of these various fixed pattern noise components will be described later.
  • the solid-state imaging device 1 shown in FIG. 1 performs a series of calibration operations described later prior to the actual imaging operation.
  • the calibration operation is performed in the correction data calculation unit 3 and the result is recorded in the correction data storage unit 6. Further, the calibration operation may be performed once at the time of shipping inspection after the solid-state imaging device 2 and the fixed pattern noise removing device 4 are manufactured.
  • the correction data calculation unit 3 can be realized by using a general-purpose workstation, a personal computer, a tester for shipping inspection, or the like, and can be externally attached to the solid-state imaging device, that is, the component force of the solid-state imaging device 1 can be removed. Is possible. If the correction data calculation unit 3 is realized by using a semiconductor memory or LSI, the correction data calculation unit 3 is mounted inside the fixed pattern noise removal device 4, that is, the correction data calculation unit 3 is fixed pattern noise removal. It can also be a component of device 4.
  • the imaging surface of the solid-state imaging device 2 is irradiated with uniform light having an illuminance L1, which will be described later.
  • the output over a plurality of frames of the solid-state imaging device 2 is arithmetically averaged for each pixel to remove random noise components, and the result is stored in the storage device in the correction data calculation unit 3 To record.
  • the imaging surface of the solid-state imaging device 2 is irradiated with uniform light having an illuminance L2, which will be described later.
  • the output over a plurality of frames of the solid-state imaging device 2 under this condition is arithmetically averaged for each pixel to remove random noise components, and the result is recorded in the storage device in the correction data calculation unit 3.
  • the imaging surface of the solid-state imaging device 2 is in a light-shielding state.
  • the output over a plurality of frames of the solid-state imaging device 2 under this condition is arithmetically averaged for each pixel to remove random noise components, and the result is recorded in the storage device in the correction data calculation unit 3.
  • the temperature of the solid-state imaging device 2 in the calibration operation is constant during the imaging and uniformly T inside the device.
  • the above illuminance L1 and illuminance L2 are fixed.
  • the photocurrent generated in the photodiode on the imaging surface of the solid-state imaging device 2 is The illuminance is sufficiently larger than the dark current. Specifically, the illuminance is such that the ratio of photocurrent to dark current is at least 100 times.
  • the uniform light is adjusted so that the illuminance L1 is at least 10 times the illuminance L2 compared to the illuminance L2.
  • the correction data calculation unit 3 calculates the offset a, gain b, dark current of equation (1) from the imaging results under the above conditions recorded in the storage device in the correction data calculation unit 3.
  • c is calculated for each pixel according to the procedure described below.
  • the gain b is calculated for each pixel from Expression (2) based on the imaging result y under the first condition and the imaging result y under the second condition. X in equation (2)
  • Equation (2) is the illuminance L on the imaging surface of the solid-state image sensor 2
  • the value can be obtained from a straight line that shows the relationship between illuminance and photocurrent for each image sensor, obtained in advance by measurement, etc., and the photocurrent corresponding to the illuminance L1 and illuminance L2 obtained in advance. Correct the value
  • the data calculation unit 3 may be prestored and memorized
  • the photocurrent generated in the photodiode or the detection unit that detects the illuminance of the irradiated light is provided in the solid-state imaging device 2, and the detection result of the detection unit
  • the parameter calculation unit 34 may obtain it based on the above. If the above method is difficult, light Instead of the currents x and x, the values of illuminance Ll and illuminance L2 may be used directly. In this case, the formula (1
  • the photoelectric current X in equation (3) may be replaced with the illuminance L1.
  • the dark current c (T) that depends on the temperature T of the solid-state imaging device 2 during imaging is calculated.
  • the photocurrent value that can be generated is equal to the dark current value of the pixel.
  • c (T) is treated as the limit illuminance at temperature T.
  • the imaging signal is corrected using the offset a, gain b, and dark current c (T) recorded for each pixel in the correction data storage unit 6.
  • T dark current
  • the photocurrent X generated by the photodiode for each pixel and the logarithmic response during the actual imaging operation can be expressed by the following equation (5).
  • Equation 12 [0057] In equation (5), a is an offset, b is a gain, and c (T) is a solid-state image during actual imaging operation.
  • Offset a, gain b, and dark current c (T) vary from pixel to pixel.
  • the offset correction unit 71 performs subtraction processing for each pixel using the offset a recorded in the correction data storage unit 6 with respect to the output ⁇ of the solid-state imaging device 2 during the actual imaging operation. As a result, an image signal ⁇ unrelated to offset a is obtained (see Equation (6)).
  • the gain correction unit 72 stores the output ⁇ of the offset correction unit 71 in the correction data storage unit 6.
  • the image signal of the shading pixel is ⁇
  • Equation (8) c ( ⁇ ) is the dark current of an effective pixel that os act actuates at the temperature ⁇ of the solid-state image sensor 2 during actual imaging operation, and X is the solid-state image sensor during actual imaging operation. This represents the photoelectric current of 2 effective pixels.
  • c (T) is the temperature of the solid-state imaging device 2 during actual imaging operation Tob act
  • the solid-state imaging device 2 sequentially outputs the effective pixel imaging signal ⁇ and the shading pixel imaging signal ⁇ in a time os ob series.
  • the offset correction unit 71 and the gain correction unit 72 perform pipeline processing on the imaging signals of the effective pixels and the light-shielded pixels output in time series. Therefore, the gain correcting unit 72 sequentially outputs the effective pixel imaging signal ⁇ and the light-shielded pixel imaging signal ⁇ in time series.
  • the dark current correction unit 73 operates in such a manner that the gain correction unit 72 performs imaging signal ⁇
  • FIG. 7 One configuration example of the dark current correction unit 73 is shown in FIG.
  • 3B denotes a subtracting unit
  • 73C, 73D, 73G, and 73H denote switches
  • 73E denotes a dividing unit
  • 73F denotes a temperature coefficient storage unit
  • 731 denotes a multiplying unit.
  • the linear display unit 73A outputs the dark current c (T) of the light-shielded pixel.
  • the division unit 73E outputs the dark current c (T) of the light-shielded pixel output from the linear input unit 73A and the correction data.
  • the ratio of the dark current c (T) of the light-shielded pixels recorded in the data storage unit 6 is obtained as the temperature coefficient ⁇
  • Equation (11) the dark current c at the absolute temperature T can be expressed as in Equation (11). Therefore, the temperature coefficient ⁇ shown in Equation (10) can be expressed by Equation (13) using ⁇ in Equation (12). ).
  • q is the elementary charge
  • N is the activation energy
  • k is the Boltzmann constant. I is a picture
  • the temperature coefficient storage unit 73F stores the temperature coefficient K output from the division unit 73E.
  • the temperature coefficient storage unit 73F does not output the temperature coefficient ⁇ to the multiplication unit 731 in the first period described above, and outputs the temperature coefficient ⁇ to the multiplication unit 731 in the second period described above.
  • the operation of the dark current correction unit 73 in the second period will be described.
  • the gain correction unit 72 outputs the imaging signal ⁇ of the effective pixel
  • the switch 73C and the switch 73D in the dark current correction unit 73 are opened, and the switch 73G and the switch 73H are short-circuited.
  • the multiplication unit 731 performs dark current c of the effective pixel at the temperature T recorded in the correction data storage unit 6.
  • the product of (T) and the temperature coefficient K stored in the temperature coefficient storage unit 73F is calculated.
  • Linear The unit 73A linearizes the imaging signal ⁇ of the effective pixel with an exponential function.
  • Expression (15) is represented by Expression (15).
  • I is a dark current coefficient specific to each effective pixel.
  • Equation 15 the dark current of the effective pixel at act T at the actual imaging temperature shown in the first term of Equation (15) is given by the third term of Equation (15). Based on the product of the temperature coefficient K shown in the equation (13) and the dark current c ( ⁇ ) of the effective pixel at the calibration temperature ⁇ cal os cal
  • the dark current correction unit 73 repeats the two periods of the first period and the second period described above alternately at an appropriate interval, so that the time of dark current due to the temperature variation of the solid-state image sensor 2 is increased. It is possible to respond to changes. Therefore, the fixed pattern noise component caused by the dark current can be effectively removed regardless of the temperature of the solid-state imaging device 2.
  • a second embodiment of the present invention will be described below with reference to FIG.
  • the second embodiment of the present invention differs from the first embodiment of the present invention only in the partial operation sequence of the correction data calculation unit 3 and the internal configuration and operation of the dark current correction unit 73. Below, these differences will be described in detail.
  • the solid-state imaging device 1 shown in FIG. 1 performs a series of calibration operations described later prior to the actual imaging operation. I do.
  • the calibration operation is executed in the correction data calculation unit 3, and the result is The result is recorded in the correction data storage unit 6.
  • the logarithmic values of offset a, gain b, and dark current c (T) calculated by the procedure described in the first embodiment of the present invention are recorded in the correction data storage unit 6 respectively.
  • the correction data calculation unit 3 calculates the dark current ln [c (T)] expressed in the logarithmic form shown in the equation (16) instead of the equation (4), and the result is stored in the correction data storage unit 6. Recorded cal
  • the imaging signal is corrected using the offset a, gain b, and dark current ln [c (T)] recorded for each pixel in the correction data storage unit 6. See Figure 1 below cal
  • FIG. 3 shows a configuration example of the dark current correction unit 73 in the second embodiment of the present invention.
  • 73A is a linearization unit
  • 73B is a subtraction unit
  • 73C, 73D, 73G, and 73H are switches
  • 73J is a subtraction unit
  • 73F is a temperature coefficient storage unit
  • 73K is an addition unit.
  • the operation of the dark current correction unit 73 is similar to that of the first embodiment of the present invention.
  • the operation of the dark current correction unit 73 in the first period will be described.
  • the gain correction unit 72 outputs the imaging signal ⁇ of the light-shielded pixel
  • Equation (11) the dark current c at the absolute temperature T can be expressed as shown in Equation (11). Therefore, the logarithmic temperature coefficient In ( ⁇ ) shown in Equation (17) can be expressed by using ⁇ in Equation (12): It can be expressed by equation (18).
  • the temperature coefficient storage unit 73F stores the logarithmic temperature coefficient 1 ⁇ ( ⁇ ) output from the subtraction unit 73J.
  • the temperature coefficient storage unit 73F does not output the logarithmic form of the temperature coefficient In ( K ) to the adder 73K in the first period, and adds the logarithmic form of the temperature coefficient 1 ⁇ ( ⁇ ) in the second period. Output to part 73K.
  • the calorie calculation unit 73K is a logarithmic effective image at the temperature T recorded in the correction data storage unit 6.
  • the linearization unit 73A performs linearization processing with an exponential function on the imaging signal ⁇ of the effective pixel and the output of the addition unit 73K.
  • the subtractor 73B subtracts the linearized output of the adder 73K from the image signal ⁇ of the effective pixel that has been linearized from the outputs of the linearizer 73A, as shown in Equation (14). Output ⁇ .
  • equation (18) if both sides of equation (18) are exponentially converted, equation (13
  • Equation (14) when Equations (8) and (13) are substituted into Equation (14), and Equations (11) and (12) are further substituted, ⁇ is the same as that in the first embodiment of the present invention (15 ).
  • the offset variation or gain variation force of the imaging signal output from the solid-state imaging device 2 is offset when it can be determined that it is practically not necessary to be corrected.
  • the unit 71 and the gain correction unit 72 can be omitted independently from each other as appropriate, even in the case of a block configuration module.Even in this case, the fixed pattern noise due to dark current can be removed well, and the imaging screen with little roughness can be obtained. Can be obtained.
  • Each block in the fixed pattern noise removing apparatus 4 described above is a functional block. Therefore, the fixed pattern noise removing apparatus according to the present invention can be realized by configuring each block in the fixed pattern noise removing apparatus 4 with a dedicated circuit, and the computer functions as the fixed pattern noise removing apparatus 4 described above.
  • the fixed pattern noise elimination apparatus according to the present invention can also be realized by executing a fixed pattern noise elimination program for causing the computer to execute the program.
  • the fixed pattern noise removal program transmits data via a wired or wireless communication path that may be supplied to the computer through a computer-readable recording medium storing the fixed pattern noise removal program. It may be supplied to the computer through the communication network and stored in the memory in the computer.
  • the solid-state imaging device is a logarithmic conversion type solid-state imaging device.
  • a solid-state imaging device other than the logarithmic conversion type solid-state imaging device for example, a linear conversion type solid-state imaging device. This is not as significant as the logarithmic conversion type solid-state image sensor, but also the dark current due to temperature fluctuations of the solid-state image sensor. Since problems related to time fluctuations occur, the present invention is also applied to a fixed pattern noise removing apparatus that removes fixed pattern noise components caused by dark current from the output signals of solid-state imaging elements other than logarithmic conversion type solid-state imaging elements. Can be applied.
  • logarithmic conversion when applying the present invention to a fixed pattern noise removing apparatus that removes a fixed pattern noise component caused by dark current from an output signal of a linear conversion type solid-state imaging device, logarithmic conversion is considered.
  • the subtraction process shown in the above equation (17) is performed when calculating the temperature coefficient in the dark current correction, whereas in the case of a linear conversion solid-state image sensor.
  • a division process is performed instead of the subtraction process.
  • the second term of the equation (14) when the second term of the equation (14) is calculated, an addition process of the dark current value of the logarithmic effective pixel and the logarithmic temperature coefficient is performed.
  • a multiplication process of the dark current value of the linear effective pixel and the linear temperature coefficient is performed instead of the addition process.
  • the fixed pattern noise removal device can be used by being incorporated in a solid-state imaging device as a device that removes a fixed pattern noise component caused by dark current from an imaging signal output by a solid-state imaging device. it can.
  • the solid-state imaging device can be used by being incorporated in various electronic devices such as a digital still camera and a movie camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　本発明に係る固定パターン雑音除去装置４は、予め取得した固体撮像素子２の遮光画素の出力信号を元に算出され補正データ記憶部６に記憶されている第１暗電流と、入射光が無い状態で予め取得した固体撮像素子２の有効画素の出力信号を元に算出され補正データ記憶部６に記憶されている第２暗電流と、撮像時の固体撮像素子２の遮光画素の出力信号を元に算出される第３暗電流とを用いて、撮像時の固体撮像素子２の有効画素の出力信号から暗電流に起因する固定パターン雑音成分を除去する。このような構成によると、固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる。

Description

明 細 書
固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パタ ーン雑音除去プログラム
技術分野
[0001] 本発明は、固体撮像素子が出力する撮像信号から暗電流に起因する固定パター ン雑音成分の除去を行う固定パターン雑音除去装置並びにこれを備える固体撮像 装置及び電子機器に関する。また、本発明は、コンピュータを、固体撮像素子が出 力する撮像信号力 暗電流に起因する固定パターン雑音成分の除去を行う固定パ ターン雑音除去装置として機能させるための固定パターン雑音除去プログラムに関 する。
背景技術
[0002] 今日、ディジタルスチルカメラやムービーカメラなどの撮影装置が広く普及して!/、る 。これらの撮影装置には、被写体を撮像する固体撮像素子として、主に、 CCD (Char ge Coupled Device)が備えられている。 CCDでは、通常、撮像信号に変換可能な 入射光のダイナミックレンジが狭い。そのため、 CCDによって撮像された画像内に、 被写体の白とびや黒つぶれなどが生じるおそれがある。これらの白とびや黒つぶれ は、画像の品質を損ねるものであるため、出来る限り生じないようにすることが好まし い。
[0003] このような問題を解決するために、対数変換型固体撮像素子が用いられている。対 数変換型固体撮像素子では、入射光量を対数変換して撮像信号を出力するため、 撮像信号に変換可能な入射光のダイナミックレンジが広くなる。対数変換型固体撮 像素子は、一般に、 MOSトランジスタの弱反転領域の電流特性を利用して対数変換 を行っている。
[0004] しかし、対数変換型固体撮像素子の出力には、対数変換を行う MOSトランジスタ、 画素内信号読み出し回路、コラム読み出し回路等の特性がばらつくことに起因する 固定パターン雑音が含まれているため、対数変換型固体撮像素子によって撮像され た画像の品質が上記固定パターン雑音によって大きく損なわれるという問題がある。 [0005] このような問題を改善する方法が、非特許文献 1に開示されている。すなわち、非 特許文献 1は、対数変換型固体撮像素子の出力の定式ィ匕を行い、固定パターン雑 音の原因をオフセット，ゲイン，暗電流という 3つのばらつき要素に分解して示した後 、各ばらつき要素の補正方法を開示している。この非特許文献 1に開示されている従 来の固定パターン雑音除去方法では、暗電流が無視できるほどの大きな光電流がフ オトダイオードに発生する 2種類の高照度条件と、暗電流のみがフォトダイオードに発 生する遮光状態との 3種類の条件であらかじめ撮像を行い、その結果を元に、対数 変換型固体撮像素子の出力に含まれるオフセット，ゲイン，暗電流の各ばらつき要素 の補正を行う。
[0006] 非特許文献 1によると、対数変換型固体撮像素子においては、画素毎のフォトダイ オードで発生する光電流 Xと、対数応答出力 yとの関係は、以下の式（101)で表すこ とがでさる。
[数 1] y = a + b ln (c + x) ■■■ ( 1 0 1 )
[0007] 式（101)において、 aはオフセット、 bはゲイン、 cは暗電流を表す。対数変換型固 体撮像素子では、これらのオフセット a,ゲイン b,暗電流 cが、画素毎にばらつくこと によって、固定パターン雑音が発生する。非特許文献 1で開示されている従来の固 定パターン雑音除去方法では、これらのオフセット a,ゲイン b,暗電流 cを画素毎に 算出し、式（101)に適用して補正を行うことにより、光電流 Xと対数応答出力 yとの正 しい関係を求めている。
[0008] 非特許文献 1で開示されている従来の固定パターン雑音除去方法の詳細について 、図 4を参照して以下に説明する。図 4は、従来の固定パターン雑音除去装置の構 成を示すブロック図である。従来の固定パターン雑音除去方法では、実際の撮像動 作に先立って、後述する一連のキャリブレーション動作を行う。
[0009] キャリブレーション動作では、暗電流が無視できるほどの大きな光電流がフォトダイ オードに発生する 2種類の高照度条件と、暗電流のみがフォトダイオードに発生する 遮光条件との 3種類の条件であらかじめ撮像を行う。 [0010] 第 1の条件では、固体撮像素子 2の撮像面に、後述する照度 L1の一様光を照射す る。この条件における固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術 平均してランダムノイズ成分を除去し、その結果をフレームメモリ 31に記録する。
[0011] 第 2の条件では、固体撮像素子 2の撮像面に、後述する照度 L2の一様光を照射す る。この条件における固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術 平均してランダムノイズ成分を除去し、その結果をフレームメモリ 32に記録する。
[0012] 第 3の条件では、固体撮像素子 2の撮像面を遮光状態にする。この条件における 固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ 成分を除去し、その結果をフレームメモリ 33に記録する。
[0013] 上述の照度 L1および照度 L2は、固体撮像素子 2の撮像面上でこれらの照度とな る一様光が固体撮像素子 2の撮像面に入射したとき、固体撮像素子 2の撮像面上の フォトダイオードに発生する光電流力 フォトダイオードの暗電流と比較して十分大き くなる照度とする。具体的には、光電流と暗電流の比が少なくとも 100倍となる照度と する。また照度 L1は照度 L2と比較して少なくとも 10倍の照度となるように、一様光を 調整する。
[0014] 次に、パラメータ算出部 34において、上述のフレームメモリ 31ないし 33に記録され た撮像信号より、式（101)のオフセット a,ゲイン b,暗電流 cを、以下に述べる手順で 画素毎に算出する。初めにフレームメモリ 31に記録された撮像信号 yとフレームメモ リ 32に記録された撮像信号 yとから、式（102)よりゲイン bを画素毎に算出する。式（
2
102)の Xは、固体撮像素子 2の撮像面に照度 L1の一様光を照射したときの光電流
1
であって、照度 L1の値によって定まる。また、式（102)の Xは、固体撮像素子 2の撮
2
像面に照度 L2の一様光を照射したときの光電流であって、照度 L2の値によって定 まる。光電流 X、 X
1 2の値は、測定等により予め得られた、撮像素子毎の照度と光電流 の関係を示す直線力も求めることができ、予め求めておいた照度 L1と照度 L2に対 応する光電流値をパラメータ算出部 34があら力じめ記憶していてもよぐフォトダイォ ードに発生する光電流あるいは照射光の照度を検出する検出部を固体撮像素子 2 に設け当該検出部の検出結果を元にパラメータ算出部 34が求めてもよい。上記の 方法が困難な場合は、光電流 X、 Xの代わりに、照度 Ll、照度 L2の値を直接用い ても良い。この場合、式（101)においては、光電流 Xと対数応答出力 yとの関係では なく光電流 Xを照度 Lと置き換えたときの、照度 Lと対数応答出力 yとの関係を求める ことになる。
[数 2] b = … （ 1 0 2 )
Figure imgf000006_0001
[0015] 次に、フレームメモリ 31に記録された撮像信号 yから、式（103)よりオフセット aを画
1
素毎に算出する。ゲイン bの算出において、光電流の代わりに照度を用いた場合、式
( 103)の光電流 Xを照度 L1に置き換えれば良い。
[数 3] a = yx—ろ ln lx, ) · · · ( 1 0 3 )
[0016] 最後に、フレームメモリ 33に記録された撮像信号 yから、式（104)より暗電流 cを画 d
素毎に算出する。ゲイン bの算出において、光電流の代わりに照度を用いた場合、式 ( 104)において cは、暗電流そのものではなぐ暗電流値に依存する限界照度を表 す。言い換えれば、限界照度の光が各画素のフォトダイオードにおいて発生させ得る 光電流値は、当該画素の暗電流値と等しくなる。以降において、光電流の代わりに 照度を用いた場合は、 cを限界照度として扱えば良い。
[数 4] yd ~ a
c - exp 0 4 )
b ノ
[0017] 上述の手順で算出されたオフセット a,ゲイン b,暗電流 cを、夫々フレームメモリ 61、 フレームメモリ 62およびフレームメモリ 63に記録する。
[0018] 上述のキャリブレーション動作により、実際の撮像動作に先立って、暗電流が無視 できるほどの大きな光電流がフォトダイオードに発生する 2種類の高照度条件と、暗 電流のみがフォトダイオードに発生する遮光条件との 3種類の条件であら力じめ撮像 を行った結果を用いて、オフセット a,ゲイン b,暗電流 cが画素毎に算出され、夫々フ レームメモリ 61、フレームメモリ 62およびフレームメモリ 63に記録される。
[0019] 実際の撮像動作では、フレームメモリ 61、フレームメモリ 62およびフレームメモリ 63 に画素毎に夫々記録されたオフセット a,ゲイン b,暗電流 cを用いて、撮像信号の補 正を行う。以下では図 4を参照して、実際の撮像動作時の撮像信号の補正手順を説 明する。オフセット補正部 71は、式（101)で表される固体撮像素子 2の出力 yに対し 、フレームメモリ 61に記録されたオフセット aを用いて、画素毎に減算処理を行う。そ の結果、オフセット aと無関係の撮像信号 Yが得られる (式（105)を参照)。
1
[数 5]
Yl ^= y-a = b\n[c + x) … （ 1 0 5 ) [0020] ゲイン補正部 72は、オフセット補正部 71の出力 Yに対し、フレームメモリ 62に記録
1
されたゲイン bを用いて、画素毎に除算処理を行う。その結果、ゲイン bと無関係の撮 像信号 Yが得られる (式（106)を参照)。
2
[数 6]
Y2 =Yt/b = \n(c + x) ··· ( 1 0 6 ) [0021] 暗電流補正部 73は、ゲイン補正部 72の出力 Yの指数変換信号に対し、フレームメ
2
モリ 63に記録された暗電流 cを用いて、画素毎に減算処理を行う。ここで、暗電流補 正部 73の構成を図 5に示す。図 5の符号 73Aは線形化部を、符号 73Bは減算部を それぞれ示す。線形ィ匕部 73Aは、指数関数を用いてゲイン補正部 72の出力 Yの線
2 形化を画素毎に行い、ゲイン補正部 72の出力 Yの指数変換信号を出力する。減算
2
部 73Bは、線形ィ匕部 73Aの出力に対し、フレームメモリ 63に記録された暗電流 cを用 いて、画素毎に減算処理を行う。その結果、暗電流 cと無関係の撮像信号 Yが得ら
3 れる (式（107)を参照)。
[数 7]
73 = exp(Y2)-c = x ··· ( 1 0 7 ) 非特許文献 1 : Bhaskar Choubey, Satoshi Aoyama, Dileepan Joseph, Stephen Otim a ndSteve Collins, "An Electronic Calibration Scheme for Logarithmic CMOSPixels, " Proceedings of the IEEE International Symposium on circuits and Systems, vol. IV, pp. 856-9, May 2004
発明の開示
発明が解決しょうとする課題
[0022] しかし、固体撮像素子 2のフォトダイオードに発生する暗電流は、温度の上昇と共に 指数関数的に増大するため、キャリブレーション動作時の固体撮像素子 2の温度と、 実際の撮像時の固体撮像素子 2の温度が、固体撮像素子自身の内部発生熱や、外 部からの熱の影響で異なると、フレームメモリ 63に記録された暗電流 cと、実際の撮 像時のフォトダイオードに発生する暗電流とがー致しなくなる。従って、非特許文献 1 に開示されている固定パターン雑音除去方法を用いて、暗電流に起因する固定バタ ーン雑音成分の除去を行っても、固定パターン雑音は効果的に除去されない。特に 低照度条件で、キャリブレーション動作時の固体撮像素子 2の温度と、実際の撮像時 の固体撮像素子 2の温度とが大きく異なると、撮影画面上に暗電流に起因する固定 パターン雑音が大きく現れ、撮影画面の品質が大きく損なわれるという問題がある。
[0023] 本発明は、上記の問題点に鑑み、固体撮像素子の温度に関わらず、暗電流に起 因する固定パターン雑音成分を効果的に除去することができる固定パターン雑音除 去装置並びにこれを備える固体撮像装置及び電子機器を提供することを目的とする 。また、本発明は、上記の問題点に鑑み、コンピュータを、固体撮像素子の温度に関 わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる 固定パターン雑音除去装置として機能させるための固定パターン雑音除去プロダラ ムを提供することを目的とする。
課題を解決するための手段
[0024] 上記目的を達成するために本発明に係る固定パターン雑音除去装置は、固体撮 像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去す る固定パターン雑音除去装置であって、予め取得した前記固体撮像素子の遮光画 素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の 暗電流である第 1暗電流と、入射光が無い状態で予め取得した前記固体撮像素子 の有効画素の出力信号を元に算出される前記固体撮像素子の有効画素が有する光 電素子の暗電流である第 2暗電流と、撮像時の前記固体撮像素子の遮光画素の出 力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の喑電 流である第 3暗電流とを用いて、撮像時の前記固体撮像素子の有効画素の出力信 号から暗電流に起因する固定パターン雑音成分を除去している。これにより、予め出 力信号を取得した時の固体撮像素子の温度と実際の撮像時の固体撮像素子の温 度とがー致しない場合でも、第 1暗電流、第 2暗電流、及び第 3暗電流を用いることで 、前記固体撮像素子の有効画素が有する光電素子に実際の撮像時に発生する暗 電流を予測することができるので、前記固体撮像素子の温度に関わらず、暗電流に 起因する固定パターン雑音成分を効果的に除去することができる。
[0025] また、前記固体撮像素子が、入射光の光量を対数変換する対数変換型固体撮像 素子であってもよい。この場合、本発明の効果がより顕著に現れる。
[0026] また、上記各構成の固定パターン雑音除去装置において、前記第 1暗電流と前記 第 2暗電流とをそれぞれ線形形式で記憶する記憶部を備えてもよぐ前記第 1暗電流 と前記第 2暗電流とをそれぞれ対数形式で記憶する記憶部を備えてもよい。
[0027] 前者の場合、前記第 3暗電流が線形形式であって、前記第 1暗電流と前記第 3暗 電流との比カゝら温度係数を算出し、前記第 2暗電流と前記温度係数との積を、撮像 時の前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号か ら減算するようにしてもよい。さらに、前記温度係数を算出する第一の期間と、前記第 2暗電流と前記温度係数との積を、撮像時の前記固体撮像素子の有効画素の出力 信号に基づく信号を線形処理した信号力も減算する第二の期間とがあり、前記第一 の期間と前記第二の期間とを交互に繰り返すようにしてもよい。
[0028] 後者の場合、前記第 3暗電流が対数形式であって、前記第 1暗電流と前記第 3暗 電流との差カゝら温度係数を算出し、前記第 2暗電流と前記温度係数との和を線形ィ匕 した信号を、撮像時の前記固体撮像素子の有効画素の出力信号に基づく信号を線 形処理した信号力 減算するようにしてもよい。さらに、前記温度係数を算出する第 一の期間と、前記第 2暗電流と前記温度係数との和を線形ィ匕した信号を、撮像時の 前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号力 減 算する第二の期間とがあり、前記第一の期間と第二の期間とを交互に繰り返すように してちよい。
[0029] また、上記各構成の固定パターン雑音除去装置において、前記遮光画素が画素ァ レイに配置されるようにしてもよい。この場合、前記遮光画素の出力信号は、前記有 効画素の出力信号と同様に、走査を行うことで順次利用可能となる。また、上記各構 成の固定パターン雑音除去装置において、前記遮光画素が画素アレイの外部に配 置されるようにしてもよい。この場合、走査を行うことなぐ前記遮光画素の出力信号 を独立に利用できるという利点があり、さらに、前記遮光画素を前記画素アレイ内の 画素より大きいサイズにすると、画素内のフォトダイオードの暗電流値が大きくなるた め、暗電流ショットノイズの影響が小さくなり、前記遮光画素の出力信号を用いて温 度係数を算出する際に、算出精度が向上するという利点があり、これに対して、前記 遮光画素を前記画素アレイ内の画素より小さいサイズにすると、遮光画素のチップ占 有面積を小さくできるという利点がある。
[0030] さらに、上記各構成の固定パターン雑音除去装置において、光電素子の暗電流を 光電素子の暗電流値に依存する限界照度に置き換え、第 1暗電流を第 1限界照度 に置き換え、第 2暗電流を第 2限界照度に置き換え、第 3暗電流を第 3限界照度に置 き換えてもよい。また、上記目的を達成するために本発明に係る固体撮像装置は、 固体撮像素子と、前記固体撮像素子が出力する撮像信号力 暗電流に起因する固 定パターン雑音成分を除去する上記各構成の固定パターン雑音除去装置とを備え るようにする。また、上記目的を達成するために本発明に係る電子機器は、上記固体 撮像装置を備えるようにする。また、上記目的を達成するために本発明に係る固体パ ターン雑音除去プログラムは、コンピュータを、上記各構成の固定パターン雑音除去 装置として機能させるためのプログラムにする。力かるプログラムを用いることで、専 用装置によらずとも本発明に係る固体パターン雑音除去プログラムを実現することが できる。
発明の効果
[0031] 本発明によると、固体撮像素子の温度に関わらず、暗電流に起因する固定パター ン雑音成分を効果的に除去することができる。
図面の簡単な説明
[0032] [図 1]は、本発明に係る固体撮像装置の一構成例を示すブロック図である。
[図 2]は、本発明の第 1実施形態において、図 1に示す固定パターン雑音除去装置 が備える暗電流補正部の一構成例を示すブロック図である。
[図 3]は、本発明の第 2実施形態において、図 1に示す固定パターン雑音除去装置 が備える暗電流補正部の一構成例を示すブロック図である。
[図 4]は、従来の固定パターン雑音除去装置の構成を示すブロック図である。
[図 5]は、図 4に示す固定パターン雑音除去装置が備える暗電流補正部の構成を示 すブロック図である。
[図 6A]は、固体撮像素子の画素配置を示す図である。
[図 6B]は、固体撮像素子の画素配置を示す図である。
[図 6C]は、固体撮像素子の画素配置を示す図である。
[図 6D]は、固体撮像素子の画素配置を示す図である。
符号の説明
[0033] 1 固体撮像装置
2 固体撮像素子
3 補正データ算出部
4 固定パターン雑音除去装置
5 画像表示装置
6 補正データ記憶部
31〜33 フレームメモリ
34 パラメータ算出部
61〜63 フレームメモリ
71 オフセット補正部
72 ゲイン補正部
73 暗電流補正部
73A 線形化部 73B 減算部
73C、 73D スィッチ
73E 除算部
73F 温度係数記憶部
73G、 73H スィッチ
731 乗算部
73J 減算部
73K 加算部
発明を実施するための最良の形態
[0034] (第 1実施形態）
本発明の第 1実施形態について図 1を参照して以下に説明する。図 1は、本発明に 係る固体撮像装置の一構成例を示すブロック図である。図 1に示す固体撮像装置 1 は、固体撮像素子 2と、補正データ算出部 3と、固定パターン雑音除去装置 4とを備 えている。そして、固定パターン雑音除去装置 4は、補正データ記憶部 6と、オフセッ ト補正部 71と、ゲイン補正部 72と、暗電流補正部 73とを備えている。固体撮像装置 1の出力は、固定パターン雑音除去装置 4において固定パターン雑音を除去された 後、画像表示装置 5上で映像として再生される。
[0035] 固体撮像素子 2は、対数変換型固体撮像素子であり、被写体を撮像する。具体的 には、固体撮像素子 2は、被写体が発するもしくは反射する光がレンズ等の光学系を 介して固体撮像素子面に入射する際の光量を輝度レベルに対数変換する。これによ り、固体撮像素子 2は、被写体の画像を表す撮像信号を生成し、出力する。固体撮 像素子 2の撮像面上には、フォトダイオードを有する画素が二次元アレイ状に配置さ れている。
[0036] 固体撮像素子 2の画素には、遮光画素と有効画素との区別がある。遮光画素と有 効画素の差異はフォトダイオードの上部をメタル配線等で覆われている力覆われて いないかであり、その他の画素構造は通常同一である。したがって、固体撮像素子 2 の画素は通常図 6Aに示すようにアレイ状に配置する。図 6Aの画素アレイに配置さ れた遮光画素の撮像信号は、有効画素の撮像信号と同様に、走査を行うことで順次 利用可能となる。なお、図 6A〜図 6Dにおいては、各有効画素を斜線の入っていな Vヽ長方形で示し、各遮光画素を斜線の入って!/ヽる長方形で示して!/ヽる。
[0037] 本発明に係る固体撮像装置では、後述するように、有効画素の撮像信号のみなら ず遮光画素の撮像信号を用いるが、必ずしも全ての遮光画素の撮像信号を用いる 必要はない。例えば、他の遮光画素で囲まれているため入射光の影響を受けにくい 遮光画素を複数選択し、その選択した遮光画素の撮像信号のみを遮光画素の撮像 信号として用いてもよい。
[0038] また、図 6Bに示すように、遮光画素を画素アレイの外部に配置してもよい。遮光画 素を画素アレイの外部に配置した場合は、走査を行うことなぐ遮光画素の撮像信号 を独立に利用できるという利点がある。さらには、図 6Cや図 6Dに示すように、画素ァ レイの外部に配置した遮光画素を、画素アレイ内の画素とは異なるサイズとしてもよ い。図 6Cのように、画素アレイの外部に配置した遮光画素 Gを、画素アレイ内の画
B
素より大きいサイズとした場合は、画素内のフォトダイオードの暗電流値が大きくなる ため、暗電流ショットノイズの影響が小さくなり、遮光画素 Gの撮像信号を用いて温
B
度係数を算出する際に、算出精度が向上するという利点がある。図 6Dのように、画素 アレイの外部に配置した遮光画素 Gを、画素アレイ内の画素より小さいサイズとした
S
場合は、遮光画素のチップ占有面積を小さくできるという利点がある。
[0039] 固体撮像素子 2による撮像動作は、主として前述の入射光に応じた撮像信号を生 成する有効画素を用いて行われる。本発明に係る固体撮像装置では、有効画素の 撮像信号のみならず遮光画素の撮像信号を用いる。以下では、単に撮像信号という 場合は、有効画素の撮像信号と遮光画素の撮像信号の両方を指すものとする。
[0040] 対数変換型固体撮像素子である固体撮像素子 2においては、画素毎のフォトダイ オードで発生する光電流 Xと、対数応答出力 yとの関係は、以下の式（1)で表すこと ができる。なお、式（1)において、 aはオフセット、 bはゲイン、 cは暗電流を表す。
[数 8] y = a + b ln (c + ) … ( 1 ) [0041] 補正データ算出部 3は固体撮像素子 2の撮像信号より、オフセット a,ゲイン b,喑電 流 cの各補正データを算出する。補正データ算出部 3の動作の詳細につ 、ては後述 する。
[0042] 補正データ記憶部 6は、補正データ算出部 3で算出されたオフセット a,ゲイン b,暗 電流 cの各補正データを記憶する。この動作につ 、ては後述する。
[0043] オフセット補正部 71は、補正データ記憶部 6から読み出されたオフセット補正デー タを用いて、固体撮像素子 2の出力から、オフセットばらつきに起因する固定パター ン雑音成分の除去を行う。ゲイン補正部 72は、補正データ記憶部 6から読み出され たゲイン補正データを用いて、オフセット補正部 71の出力から、ゲインばらつきに起 因する固定パターン雑音成分の除去を行う。暗電流補正部 73は、補正データ記憶 部 6から読み出された暗電流補正データを用いて、ゲイン補正部 72の出力から、暗 電流ばらつきに起因する固定パターン雑音成分の除去を行う。これら各種の固定パ ターン雑音成分の除去の詳細については後述する。
[0044] 図 1に示す固体撮像装置 1は、実際の撮像動作に先立って、後述する一連のキヤリ ブレーシヨン動作を行う。キャリブレーション動作は、補正データ算出部 3において実 行され、その結果は補正データ記憶部 6に記録される。また、キャリブレーション動作 は、固体撮像素子 2および固定パターン雑音除去装置 4の製造後、出荷検査時に、 一度行えば良い。このため、補正データ算出部 3は、汎用ワークステーション、パーソ ナルコンピュータ、もしくは出荷検査用のテスター等を用いて実現し、固体撮像装置 に外付けする即ち固体撮像装置 1の構成要素力も外すことが可能である。また、補正 データ算出部 3を半導体メモリや LSIを用いて実現すれば、補正データ算出部 3を固 定パターン雑音除去装置 4の内部に搭載すること即ち補正データ算出部 3を固定パ ターン雑音除去装置 4の構成要素とすることも可能である。
[0045] キャリブレーション動作では、暗電流が無視できるほどの大きな光電流がフォトダイ オードに発生する 2種類の高照度条件と、暗電流のみがフォトダイオードに発生する 遮光条件との 3種類の条件であらかじめ撮像を行う。
[0046] 第 1の条件では、固体撮像素子 2の撮像面に、後述する照度 L1の一様光を照射す る。この条件における固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術 平均してランダムノイズ成分を除去し、その結果を補正データ算出部 3内の記憶装置 に記録する。
[0047] 第 2の条件では、固体撮像素子 2の撮像面に、後述する照度 L2の一様光を照射す る。この条件における固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術 平均してランダムノイズ成分を除去し、その結果を補正データ算出部 3内の記憶装置 に記録する。
[0048] 第 3の条件では、固体撮像素子 2の撮像面を遮光状態にする。この条件における 固体撮像素子 2の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ 成分を除去し、その結果を補正データ算出部 3内の記憶装置に記録する。
[0049] ここで、キャリブレーション動作における固体撮像素子 2の温度は、撮像中一定か つ素子内部で一様に T であったとする。また、上述の照度 L1および照度 L2は、固
cal
体撮像素子 2の撮像面上でこれらの照度となる一様光が固体撮像素子 2の撮像面に 入射したとき、固体撮像素子 2の撮像面上のフォトダイオードに発生する光電流が、 フォトダイオードの暗電流と比較して十分大きくなる照度とする。具体的には、光電流 と暗電流の比が少なくとも 100倍となる照度とする。また、照度 L1は照度 L2と比較し て少なくとも 10倍の照度となるように、一様光を調整する。
[0050] 次に、補正データ算出部 3は、補正データ算出部 3内の記憶装置に記録された、上 述の各条件における撮像結果より、式（1)のオフセット a、ゲイン b、暗電流 cを、以下 に述べる手順で画素毎に算出する。初めに第 1の条件における撮像結果 yと第 2の 条件における撮像結果 yとにより、式（2)よりゲイン bを画素毎に算出する。式（2)の X
2
は、固体撮像素子 2の撮像面に照度 L1の一様光を照射したときの光電流であって、
1
照度 L1の値によって定まる。また、式（2)の Xは、固体撮像素子 2の撮像面に照度 L
2
2の一様光を照射したときの光電流であって、照度 L2の値によって定まる。なお、遮 光画素における光電流 X、 Xの値は零としている。有効画素における光電流 X、 Xの
1 2 1 2 値は、測定等により予め得られた、撮像素子毎の照度と光電流の関係を示す直線か ら求めることができ、予め求めておいた照度 L1と照度 L2に対応する光電流値を補正 データ算出部 3があら力じめ記憶していてもよぐフォトダイオードに発生する光電流 あるいは照射光の照度を検出する検出部を固体撮像素子 2に設け当該検出部の検 出結果を元にパラメータ算出部 34が求めてもよい。上記の方法が困難な場合は、光 電流 x、 xの代わりに、照度 Ll、照度 L2の値を直接用いても良い。この場合、式（1
1 2
)においては、光電流 Xと対数応答出力 yとの関係ではなく光電流 Xを照度 Lと置き換 えたときの、照度 Lと対数応答出力 yとの関係を求めることになる。
[数 9]
Figure imgf000016_0001
[0051] 次に、第 1の条件における撮像結果 yから、式（3)よりオフセット aを画素毎に算出
1
する。ゲイン bの算出において、光電流の代わりに照度を用いた場合、式（3)の光電 流 Xを照度 L1に置き換えれば良い。
[数 10] = yl - b ln yx ■■■ ( 3 )
[0052] 最後に、第 3の条件における撮像結果 yから、式 (4)よりキャリブレーション動作に d
おける撮像時の固体撮像素子 2の温度 T に依存する暗電流 c(T )を算出する。ゲイ
cai cal
ン bの算出において、光電流の代わりに照度を用いた場合、式 (4)において c(T )は
cal
、暗電流そのものではなぐ温度 τ のときの暗電流値に依存する限界照度を表す。
cal
言い換えれば、限界照度の光が温度 T のときの各画素のフォトダイオードにおいて
cal
発生させ得る光電流値は、当該画素の暗電流値と等しくなる。以降において、光電 流の代わりに照度を用いた場合は、 c(T )を温度 T のときの限界照度として扱えば
cal cal
良い。
[数 11]
( 4 )
Figure imgf000016_0002
[0053] 上述の手順で算出されたオフセット a,ゲイン b,暗電流 c(T )を夫々補正データ記
cai
憶部 6に記録する。
[0054] 上述のキャリブレーション動作により、実際の撮像動作に先立って、暗電流が無視 できるほどの大きな光電流がフォトダイオードに発生する 2種類の高照度条件と、暗 電流のみがフォトダイオードに発生する遮光条件との 3種類の条件であら力じめ撮像 を行った結果を用いて、オフセット a,ゲイン b,暗電流 c(T )が画素毎に算出され、夫
cal
々補正データ記憶部 6に記録される。
[0055] 実際の撮像動作では、補正データ記憶部 6において画素毎に記録されたオフセッ ト a,ゲイン b,暗電流 c(T )を用いて、撮像信号の補正を行う。以下では図 1を参照し
cal
て、実際の撮像動作時の撮像信号の補正手順を説明する。
[0056] 暗電流の温度依存性を考慮すると、対数変換型固体撮像素子である固体撮像素 子 2においては、画素毎のフォトダイオードで発生する光電流 Xと、実際の撮像動作 時の対数応答出力 φとの関係は、以下の式（5)で表すことができる。
[数 12]
Figure imgf000017_0001
[0057] 式（5)において、 aはオフセット、 bはゲイン、 c(T )は実際の撮像動作時の固体撮
act
像素子 2の温度 T における暗電流を表す。対数変換型固体撮像素子では、これら
act
のオフセット a,ゲイン b,暗電流 c(T )が、画素毎にばらつくことによって、固定パター
act
ン雑音が発生する。
[0058] オフセット補正部 71は、実際の撮像動作時の固体撮像素子 2の出力 φに対し、補 正データ記憶部 6に記録されたオフセット aを用いて、画素毎に減算処理を行う。その 結果、オフセット aと無関係の撮像信号 Ψが得られる (式 (6)を参照)。
1
[数 13]
Ψ, ^ - a = b ln[c{Tact )+ x] … ( 6 ) [0059] ゲイン補正部 72は、オフセット補正部 71の出力 Ψに対し、補正データ記憶部 6に
1
記録されたゲイン bを用いて、画素毎に除算処理を行う。その結果、ゲイン bと無関係 の撮像信号 Ψが得られる (式 (7)を参照)。
2
[数 14] ^2 = l b = \n[c{Tact ) + x ( 7 )
[0060] 上述のようにして、オフセットおよびゲインばらつきの補正が行われた撮像信号 Ψ
2 のうち、有効画素の撮像信号を Ψ
os、遮光画素の撮像信号を Ψ
obとすると、これらの撮 像信号はそれぞれ式 (8)および式（9)で表せる。
[数 15]
^ = 1に( )+ ∞] … ( 8 )
Ψο6 = ΐφ。 ,)] … ( 9 )
[0061] 式 (8)において、 c (Τ )は実際の撮像動作時の固体撮像素子 2の温度 Τ におけ os act act る有効画素の暗電流、 X は実際の撮像動作時の固体撮像素子 2の有効画素の光電 流を表す。式（9)において、 c (T )は実際の撮像動作時の固体撮像素子 2の温度 T ob act
における遮光画素の暗電流を表す。
act
[0062] 固体撮像素子 2は、有効画素の撮像信号 Ψ と遮光画素の撮像信号を Ψ とを時 os ob 系列で順次出力する。オフセット補正部 71およびゲイン補正部 72は、時系列で出力 された有効画素と遮光画素の撮像信号に対しパイプライン処理を行う。従って、ゲイ ン補正部 72は有効画素の撮像信号 Ψ および遮光画素の撮像信号 Ψ を時系列で os ob 順次出力する。暗電流補正部 73の動作は、ゲイン補正部 72が遮光画素の撮像信 号 Ψ
obを出力する間に温度係数を算出する第一の期間における動作と、ゲイン補正 部 72が有効画素の撮像信号 Ψ を出力する間に第一の期間で算出された温度係数 os
を用いて暗電流の補正を行う第二の期間における動作とに分けられる。
[0063] 暗電流補正部 73の一構成例を図 2に示す。図 2の符号 73Aは線形ィ匕部を、符号 7
3Bは減算部を、符号 73C, 73D, 73G, 73Hはスィッチを、符号 73Eは除算部を、 符号 73Fは温度係数記憶部を、符号 731は乗算部をそれぞれ示す。
[0064] 初めに、上述の第一の期間における暗電流補正部 73の動作を説明する。ゲイン補 正部 72が遮光画素の撮像信号 Ψ を出力する際、暗電流補正部 73内のスィッチ 73 ob
Cおよびスィッチ 73Dは短絡され、スィッチ 73Gおよびスィッチ 73Hは開放される。線 形化部 73Aは遮光画素の撮像信号 Ψ を指数関数で線形化処理を行う。この処理
ob
により、線形ィ匕部 73Aは遮光画素の暗電流 c (T )を出力する。
ob act
[0065] 除算部 73Eは線形ィ匕部 73Aから出力された遮光画素の暗電流 c (T )と、補正デ
ob act
ータ記憶部 6に記録された遮光画素の暗電流 c (T )との比を求め、温度係数 κとし
ob cal
て出力する (式（10)を参照)。なお、固定パターン雑音除去処理に用いる遮光画素 が複数ある場合は、温度係数 κが複数求まるので、それらを算術平均するとよい。
[数 16]
y 。 … ( 1 0 )
Cob V cal )
[0066] 一般に絶対温度 Tにおける暗電流 cは、式（11)のように表すことができるため、式（ 10)に示す温度係数 κは、式（12)の εを用いると、式（13)で表すことができる。ここ で qは電荷素量、 Nは活性化エネルギー、 kはボルツマン定数を示す。また、 Iは画
0 素毎に固有の暗電流係数である。
[数 17] c = 70 eXp(-¾ … （1 1 )
kT
s(r) = exp (- … （1 2 )
ki
K = ^ ... ( 1 3 )
）
[0067] 温度係数記憶部 73Fは、除算部 73Eから出力された温度係数 Kを記憶する。温度 係数記憶部 73Fは、上述の第一の期間では温度係数 Κを乗算部 731に出力せず、 上述の第二の期間では温度係数 κを乗算部 731に出力する。
[0068] 次に、上述の第二の期間における暗電流補正部 73の動作を説明する。ゲイン補正 部 72が有効画素の撮像信号 Ψ を出力する際、暗電流補正部 73内のスィッチ 73C およびスィッチ 73Dは開放され、スィッチ 73Gおよびスィッチ 73Hは短絡される。乗 算部 731は、補正データ記憶部 6に記録された温度 T における有効画素の暗電流 c
cal
(T )と、温度係数記憶部 73Fに記憶された温度係数 Kとの積を算出する。線形ィ匕 部 73Aは有効画素の撮像信号 Ψ を指数関数で線形化処理を行う。減算部 73Βは
、線形ィ匕部 73Aの出力から乗算部 731の出力を有効画素毎に減算することで、 Ψを
3 出力する (式 (14)を参照)。
[数 18] = cxP( os ) - Kcos (Tcal) … （1 4 )
[0069] 式（14)に式（8)および式（13)を代入し、さらに式（11)および式（12)を代入すると 、 Ψは式（15)で表される。ここで I は有効画素毎に固有の暗電流係数である。
3 os
[数 19] = xos … （1 5 )
Figure imgf000020_0001
[0070] 式（15)から明らかなように、式（15)の第 1項に示した実際の撮像時の温度 T に act おける有効画素の暗電流は、式（15)の第 3項に示した式（13)で示す温度係数 Kと キャリブレーション時の温度 Τ における有効画素の暗電流 c (Τ )との積によってキ cal os cal
ヤンセルされる。これにより、暗電流と無関係の撮像信号 Ψが得られる。
3
[0071] 暗電流補正部 73は、上述の第一の期間と第二の期間との二つの期間を適当な間 隔で交互に繰り返すことにより、固体撮像素子 2の温度変動による暗電流の時間変 動に対して追随対応が可能となる。したがって、固体撮像素子 2の温度に関わらず、 暗電流に起因する固定パターン雑音成分を効果的に除去することができる。
[0072] (第 2実施形態）
本発明の第 2実施形態について図 1を参照して以下に説明する。本発明の第 2実 施形態は、本発明の第 1実施形態に対して、補正データ算出部 3の一部の動作並び に暗電流補正部 73の内部構成及び動作が異なるだけであるので、以下ではこれら の相違点に絞って詳細に説明する。
[0073] 本発明の第 1実施形態と同様に、本発明の第 2実施形態においても図 1に示す固 体撮像装置 1は、実際の撮像動作に先立って、後述する一連のキャリブレーション動 作を行う。キャリブレーション動作は、補正データ算出部 3において実行され、その結 果は補正データ記憶部 6に記録される。
[0074] キャリブレーション動作では、本発明の第 1実施形態で説明した手順で算出された オフセット a,ゲイン b,暗電流 c(T )の対数値を夫々補正データ記憶部 6に記録する cal
。即ち、補正データ算出部 3において、式 (4)の代わりに式（16)に示す対数形式で 表された暗電流 ln[c(T )]が算出され、その結果が補正データ記憶部 6に記録され cal
る。
[数 20] ln[c(rca/)] = ^ - ( 1 6 )
b
[0075] 実際の撮像動作では、補正データ記憶部 6において画素毎に記録されたオフセッ ト a,ゲイン b,暗電流 ln[c(T )]を用いて、撮像信号の補正を行う。以下では図 1を参 cal
照して、実際の撮像動作時の撮像信号の補正手順を説明する。ただし、オフセット補 正部 71およびゲイン補正部 72の動作は、本発明の第 1実施形態と同様であるので 説明を省略する。
[0076] 本発明の第 2実施形態における暗電流補正部 73の一構成例を図 3に示す。図 3の 73Aは線形化部を、 73Bは減算部を、 73C, 73D, 73G, 73Hはスィッチを、 73Jは 減算部を、 73Fは温度係数記憶部を、 73Kは加算部をそれぞれ示す。
[0077] 暗電流補正部 73の動作は、本発明の第 1実施形態と同様に、ゲイン補正部 72が 遮光画素の撮像信号 Ψ
obを出力する間に温度係数を算出する第一の期間における 動作と、ゲイン補正部 72が有効画素の撮像信号 Ψ を出力する間に第一の期間で 算出された温度係数を用いて暗電流の補正を行う第二の期間における動作とに分け られる。
[0078] 初めに、上述の第一の期間における暗電流補正部 73の動作を説明する。ゲイン補 正部 72が遮光画素の撮像信号 Ψ を出力する際、暗電流補正部 73内のスィッチ 73 ob
Cおよびスィッチ 73Dは短絡され、スィッチ 73Gおよびスィッチ 73Hは開放される。減 算部 73Jはゲイン補正部 72から出力された対数形式の遮光画素の暗電流 ln[c (T ob act
)]と、補正データ記憶部 6に記録された対数形式の遮光画素の暗電流 In [c (T )]と の差を求め、対数形式の温度係数 1η ( κ )として出力する（式（17)を参照)。
[数 21]
hW ( 1 7 )
Figure imgf000022_0001
一般に絶対温度 Tにおける暗電流 cは、式（11)のように表すことができるため、式 ( 17)に示す対数形式の温度係数 In ( κ )は、式（12)の εを用いると、式（18)で表す ことができる。
[数 22]
Figure imgf000022_0002
[0080] 温度係数記憶部 73Fは、減算部 73Jから出力された対数形式の温度係数 1η ( κ )を 記憶する。温度係数記憶部 73Fは、上述の第一の期間では対数形式の温度係数 In ( K )を加算部 73Kに出力せず、上述の第二の期間では対数形式の温度係数 1η ( κ )を加算部 73Kに出力する。
[0081] 次に、上述の第二の期間における暗電流補正部 73の動作を説明する。ゲイン補正 部 72が有効画素の撮像信号 Ψ を出力する際、暗電流補正部 73内のスィッチ 73C およびスィッチ 73Dは開放され、スィッチ 73Gおよびスィッチ 73Hは短絡される。カロ 算部 73Kは、補正データ記憶部 6に記録された温度 T における対数形式の有効画
cai
素の暗電流 ln[c (T ；)]と、温度係数記憶部 73Fに記憶された ln ( K )との和を算出 os cal
する。線形化部 73Aは有効画素の撮像信号 Ψ と加算部 73Kの出力とに対し、夫々 指数関数で線形化処理を行う。減算部 73Bは、線形ィ匕部 73Aの出力のうち、線形ィ匕 された有効画素の撮像信号 Ψ から、線形化された加算部 73Kの出力を減算するこ とで、式（14)に示す Ψを出力する。ここで、式（18)の両辺を指数変換すると式（13
3
)となる。従って、式（14)に式 (8)および式（13)を代入し、さらに式（11)および式（1 2)を代入すると、 Ψは本発明の第 1実施形態と同様の式（15)で表される。
3
[0082] 本発明の第 1実施形態と同様、式（15)力も明らかなように、式（15)の第 1項に示し た実際の撮像時の温度 T における有効画素の暗電流は、式（15)の第 3項に示した act
式（13)で示す温度係数 κとキャリブレーション時の温度 T における有効画素の暗 cal
電流 c (T )との積によってキャンセルされる。これにより、暗電流と無関係の撮像信 os cal
号 Ψが得られる。
3
[0083] なお、図 1に示す固体撮像装置 1においては、固体撮像素子 2から出力される撮像 信号のオフセットばらつき或いはゲインばらつき力 実用上補正の必要が無い程小さ いと判断できる場合は、オフセット補正部 71およびゲイン補正部 72は、適宜ブロック 構成カゝらそれぞれ独立して省略して良ぐその際にも、暗電流起因による固定パター ン雑音を良好に除去して、ざらつきの少な 、撮像画面を得ることができる。
[0084] 上述した固定パターン雑音除去装置 4内の各ブロックは、いずれも機能ブロックで ある。したがって、固定パターン雑音除去装置 4内の各ブロックを専用回路で構成す ることによって本発明に係る固定パターン雑音除去装置を実現することができ、コン ピュータを上述した固定パターン雑音除去装置 4として機能させるための固定パター ン雑音除去プログラムを、コンピュータが実行することによつても本発明に係る固定パ ターン雑音除去装置を実現することができる。
[0085] 上記固定パターン雑音除去プログラムは、上記固定パターン雑音除去プログラムを 格納しているコンピュータ読み取り可能な記録媒体を通じてコンピュータに供給され てもよぐ有線または無線の通信路を介してデータを伝送する通信ネットワークを通じ てコンピュータに供給されてもよぐあら力じめコンピュータ内のメモリに格納されてい てもよい。
[0086] なお、本発明は上述した実施形態に限定されるものではなぐ請求項に示した範囲 で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的 手段を組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれ る。
[0087] 例えば、上述した実施形態では固体撮像素子を対数変換型固体撮像素子とした 力 対数変換型固体撮像素子以外の固体撮像素子 (例えば、線形変換型固体撮像 素子が挙げられる。また、 MOS型のみならず CCD型も含む。）についても、対数変 換型固体撮像素子ほど顕著ではないが、固体撮像素子の温度変動による暗電流の 時間変動に関する問題が生じるため、対数変換型固体撮像素子以外の固体撮像素 子の出力信号から、暗電流に起因する固定パターン雑音成分の除去を行う固定バタ ーン雑音除去装置にも本発明を適用することができる。
[0088] 例えば、線形変換型固体撮像素子の出力信号から、暗電流に起因する固定バタ ーン雑音成分の除去を行う固定パターン雑音除去装置に本発明を適用することを考 えると、対数変換型固体撮像素子の場合には、暗電流補正において温度係数を算 出する際、上述した式（17)に示す減算処理が行われるのに対して、線形変換型固 体撮像素子の場合には当該減算処理の代わりに除算処理が行われることになる。ま た、対数変換型固体撮像素子の場合には、式 (14)の第 2項を計算する際、対数形 式の有効画素の暗電流値と対数形式の温度係数との加算処理が行われるのに対し て、線形変換型固体撮像素子の場合には当該加算処理の代わりに線形形式の有効 画素の暗電流値と線形形式の温度係数との乗算処理が行われることになる。
産業上の利用可能性
[0089] 本発明に係る固定パターン雑音除去装置は、固体撮像素子が出力する撮像信号 から暗電流に起因する固定パターン雑音成分の除去を行う装置として、固体撮像装 置に組み込んで利用することができる。また、固体撮像装置は、ディジタルスチルカメ ラ、ムービーカメラ等の各種電子機器に組み込んで利用することができる。

Claims

請求の範囲
[1] 固体撮像素子が出力する撮像信号力 暗電流に起因する固定パターン雑音成分 を除去する固定パターン雑音除去装置において、
予め取得した前記固体撮像素子の遮光画素の出力信号を元に算出される前記固 体撮像素子の遮光画素が有する光電素子の暗電流である第 1暗電流と、
入射光が無い状態で予め取得した前記固体撮像素子の有効画素の出力信号を元 に算出される前記固体撮像素子の有効画素が有する光電素子の暗電流である第 2 暗電流と、
撮像時の前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮 像素子の遮光画素が有する光電素子の暗電流である第 3暗電流とを用いて、 撮像時の前記固体撮像素子の有効画素の出力信号力 暗電流に起因する固定パ ターン雑音成分を除去することを特徴とする固定パターン雑音除去装置。
[2] 前記固体撮像素子が、入射光の光量を対数変換する対数変換型固体撮像素子で ある請求項 1に記載の固体パターン雑音除去装置。
[3] 前記第 1暗電流と前記第 2暗電流とをそれぞれ線形形式で記憶する記憶部を備え る請求項 1に記載の固体パターン雑音除去装置。
[4] 前記第 3暗電流が線形形式であって、
前記第 1暗電流と前記第 3暗電流との比から温度係数を算出し、
前記第 2暗電流と前記温度係数との積を、撮像時の前記固体撮像素子の有効画 素の出力信号に基づく信号を線形処理した信号力 減算する請求項 3に記載の固 定パターン雑音除去装置。
[5] 前記温度係数を算出する第一の期間と、
前記第 2暗電流と前記温度係数との積を、撮像時の前記固体撮像素子の有効画 素の出力信号に基づく信号を線形処理した信号力も減算する第二の期間とがあり、 前記第一の期間と前記第二の期間とを交互に繰り返す請求項 4に記載の固定バタ ーン雑音除去装置。
[6] 前記第 1暗電流と前記第 2暗電流とをそれぞれ対数形式で記憶する記憶部を備え る請求項 1に記載の固体パターン雑音除去装置。
[7] 前記第 3暗電流が対数形式であって、
前記第 1暗電流と前記第 3暗電流との差から温度係数を算出し、
前記第 2暗電流と前記温度係数との和を線形ィ匕した信号を、撮像時の前記固体撮 像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算する請求 項 6に記載の固定パターン雑音除去装置。
[8] 前記温度係数を算出する第一の期間と、
前記第 2暗電流と前記温度係数との和を線形ィ匕した信号を、撮像時の前記固体撮 像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算する第二 の期間とがあり、
前記第一の期間と第二の期間とを交互に繰り返す請求項 7に記載の固定パターン 雑音除去装置。
[9] 前記遮光画素が画素アレイに配置されている請求項 1に記載の固定パターン雑音 除去装置。
[10] 前記遮光画素が画素アレイの外部に配置されている請求項 1に記載の固定パター ン雑音除去装置。
[11] 前記遮光画素が前記画素アレイ内の画素より大きいサイズである請求項 10に記載 の固定パターン雑音除去装置。
[12] 前記遮光画素が前記画素アレイ内の画素より小さいサイズである請求項 10に記載 の固定パターン雑音除去装置。
[13] 請求項 1に記載の固定パターン雑音除去装置にお!、て、
光電素子の暗電流を光電素子の暗電流値に依存する限界照度に置き換え、 第 1暗電流を第 1限界照度に置き換え、
第 2暗電流を第 2限界照度に置き換え、
第 3暗電流を第 3限界照度に置き換える固定パターン雑音除去装置。
[14] 固体撮像素子と、
前記固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音 成分を除去する請求項 1〜13のいずれかに記載の固定パターン雑音除去装置とを 備えることを特徴とする固体撮像装置。 請求項 14に記載の固体撮像装置を備えることを特徴とする電子機器。
コンピュータを、請求項 1〜13のいずれかに記載の固定パターン雑音除去装置とし て機能させるための固定パターン雑音除去プログラム。
PCT/JP2006/324434 2006-02-10 2006-12-07 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム WO2007091369A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/223,670 US20090046180A1 (en) 2006-02-10 2006-12-07 Fixed-Pattern Noise Elimination Apparatus, Solid-State Image Sensing Apparatus, Electronic Appliance, and Fixed-Pattern Noise Elimination Program
EP06834189A EP1986424A4 (en) 2006-02-10 2006-12-07 FIXED PATTERN DISHWASHING DEVICE, SOLID BODY IMAGE SETUP, ELECTRONIC DEVICE AND SOLID STATE DISPOSAL PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006033208A JP4555785B2 (ja) 2006-02-10 2006-02-10 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム
JP2006-033208 2006-02-10

Publications (1)

Publication Number Publication Date
WO2007091369A1 true WO2007091369A1 (ja) 2007-08-16

Family

ID=38344976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/324434 WO2007091369A1 (ja) 2006-02-10 2006-12-07 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム

Country Status (6)

Country Link
US (1) US20090046180A1 (ja)
EP (1) EP1986424A4 (ja)
JP (1) JP4555785B2 (ja)
KR (1) KR100981943B1 (ja)
TW (1) TWI345911B (ja)
WO (1) WO2007091369A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544516B2 (en) 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
JP5326793B2 (ja) * 2009-05-14 2013-10-30 ソニー株式会社 静脈撮像装置、静脈画像補間方法およびプログラム
US8564697B2 (en) * 2009-10-21 2013-10-22 Himax Imaging, Inc. Black level calibration method and system
JP5409291B2 (ja) * 2009-11-19 2014-02-05 富士フイルム株式会社 固体撮像素子、撮像装置
JP5404346B2 (ja) * 2009-11-30 2014-01-29 Ｈｏｙａ株式会社 撮像装置、電子スコープ、及び電子内視鏡システム
JP2013003238A (ja) * 2011-06-14 2013-01-07 Sony Corp 映像信号処理回路、映像信号処理方法、表示装置、及び、電子機器
US8698922B2 (en) * 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
KR20140010553A (ko) 2012-07-13 2014-01-27 삼성전자주식회사 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법
CA2906956A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Calibration using distal cap
US9426395B2 (en) 2014-03-25 2016-08-23 Samsung Electronics Co., Ltd. Methods of calibrating knee-point and logarithmic slope in linear-logarithmic image sensors
WO2017089363A1 (en) 2015-11-26 2017-06-01 Koninklijke Philips N.V. Dark current compensation
KR102253023B1 (ko) * 2017-03-10 2021-05-17 에스케이하이닉스 주식회사 옵티컬 블랙 영역을 구비하는 이미지 센서 및 이를 이용한 다크 레벨 보상 방법
JP2018166242A (ja) * 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器
US10630919B2 (en) * 2018-02-05 2020-04-21 Novatek Mircoelectronics Corp. Image sensing apparatus and black level correction method thereof and computer readable medium
FR3090258A1 (fr) * 2018-12-12 2020-06-19 Stmicroelectronics Sa Procédé et dispositif d’estimation de niveau de bruit de rangées d’obscurité de référence d’un capteur d’images
CN111385497A (zh) * 2018-12-27 2020-07-07 天津大学青岛海洋技术研究院 一种应用于脉冲式图像传感器的固定模式噪声消除方法
CN110797364B (zh) * 2019-11-08 2022-01-11 京东方科技集团股份有限公司 一种探测基板、探测面板及光电检测装置
US20240314462A1 (en) * 2023-03-16 2024-09-19 Cista System Corp. Apparatus and method of dark current calibration and correction

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178212A (ja) * 1992-12-11 1994-06-24 Olympus Optical Co Ltd 固体撮像素子の暗時出力補正装置
JPH08307775A (ja) * 1995-05-12 1996-11-22 Canon Inc 撮像装置
JPH09181977A (ja) * 1995-12-22 1997-07-11 Matsushita Electric Ind Co Ltd 固体撮像装置
JPH11126894A (ja) * 1997-08-12 1999-05-11 Hewlett Packard Co <Hp> Ｃｍｏｓイメージセンサの暗電流補正方法
JP2003134400A (ja) * 2001-08-02 2003-05-09 Canon Inc 固体撮像装置及び固体撮像システム
JP2003189191A (ja) * 2001-12-20 2003-07-04 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2003324657A (ja) * 2002-05-02 2003-11-14 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
JP2005223133A (ja) * 2004-02-05 2005-08-18 Canon Inc 固体撮像装置およびそれを用いた撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287056B2 (ja) * 1993-03-24 2002-05-27 ソニー株式会社 固体撮像装置
US6101287A (en) * 1998-05-27 2000-08-08 Intel Corporation Dark frame subtraction
US6721005B1 (en) * 1998-12-03 2004-04-13 Sony Corporation Solid state image sensor having different structures for effective pixel area and optical black area
JP4284752B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 固体撮像素子
JP3897520B2 (ja) * 2000-07-11 2007-03-28 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7667760B2 (en) * 2002-05-02 2010-02-23 Honda Giken Kogyp Kabushiki Kaisha Image sensor output correction device
JP4314827B2 (ja) * 2003-01-16 2009-08-19 株式会社ニコン 撮像装置
JP4242691B2 (ja) * 2003-04-15 2009-03-25 オリンパス株式会社 固体撮像装置
JP4396425B2 (ja) * 2004-07-07 2010-01-13 ソニー株式会社 固体撮像装置及び信号処理方法
JP4379230B2 (ja) * 2004-07-07 2009-12-09 ソニー株式会社 固体撮像素子装置及び信号処理方法
US7639291B2 (en) * 2005-05-27 2009-12-29 Aptina Imaging Corporation Dark current/channel difference compensated image sensor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178212A (ja) * 1992-12-11 1994-06-24 Olympus Optical Co Ltd 固体撮像素子の暗時出力補正装置
JPH08307775A (ja) * 1995-05-12 1996-11-22 Canon Inc 撮像装置
JPH09181977A (ja) * 1995-12-22 1997-07-11 Matsushita Electric Ind Co Ltd 固体撮像装置
JPH11126894A (ja) * 1997-08-12 1999-05-11 Hewlett Packard Co <Hp> Ｃｍｏｓイメージセンサの暗電流補正方法
JP2003134400A (ja) * 2001-08-02 2003-05-09 Canon Inc 固体撮像装置及び固体撮像システム
JP2003189191A (ja) * 2001-12-20 2003-07-04 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2003324657A (ja) * 2002-05-02 2003-11-14 Honda Motor Co Ltd イメージセンサの出力補正装置
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
JP2005223133A (ja) * 2004-02-05 2005-08-18 Canon Inc 固体撮像装置およびそれを用いた撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1986424A4 *

Also Published As

Publication number Publication date
TW200812380A (en) 2008-03-01
JP4555785B2 (ja) 2010-10-06
EP1986424A1 (en) 2008-10-29
KR20080085193A (ko) 2008-09-23
TWI345911B (en) 2011-07-21
US20090046180A1 (en) 2009-02-19
KR100981943B1 (ko) 2010-09-13
JP2007214932A (ja) 2007-08-23
EP1986424A4 (en) 2011-04-27

Similar Documents

Publication Publication Date Title
WO2007091369A1 (ja) 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム
US7999866B2 (en) Imaging apparatus and processing method thereof
JP4798400B2 (ja) 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置
US8988561B2 (en) Imaging apparatus having temperature sensor within image sensor wherein apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
US8405744B2 (en) Image-capturing apparatus, image-capturing method, and program
JP5959834B2 (ja) 撮像装置
JP5479561B2 (ja) 撮像装置及びその駆動方法
JP2004015712A (ja) 固体撮像装置及びその固定パターン雑音除去方法
JP2008109501A (ja) 撮像装置及び補正方法
US7349015B2 (en) Image capture apparatus for correcting noise components contained in image signals output from pixels
JP5207926B2 (ja) 撮像装置及びその制御方法
JP2016167773A (ja) 撮像装置及び撮像装置の処理方法
JP2005311736A (ja) 固体撮像装置および固体撮像装置の駆動方法
JP6004656B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2008288723A (ja) 撮像装置、撮像方法、プログラムおよび集積回路
JP2014175778A (ja) 撮像装置および撮像方法
JP2013102288A (ja) 撮像装置及び撮像装置の制御方法
JP7134786B2 (ja) 撮像装置および制御方法
JP2009302850A (ja) 固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法
JP2008236787A (ja) 固体撮像装置及びその固定パターン雑音除去方法
WO2018124056A1 (ja) 撮像装置及びその制御方法
JP2004088306A (ja) 固体撮像装置
JP2010166479A (ja) 撮像装置及び撮像画像の補正方法
JP5551510B2 (ja) 電子増倍率の測定方法及び撮像装置
JP2009171493A (ja) つなぎ段差補正方法、つなぎ段差補正装置およびデジタルカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020087018874

Country of ref document: KR

Ref document number: 2006834189

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12223670

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE