WO2011042948A1 - 撮像装置の欠陥検出方法及び撮像装置 - Google Patents

撮像装置の欠陥検出方法及び撮像装置 Download PDF

Info

Publication number
WO2011042948A1
WO2011042948A1 PCT/JP2009/067353 JP2009067353W WO2011042948A1 WO 2011042948 A1 WO2011042948 A1 WO 2011042948A1 JP 2009067353 W JP2009067353 W JP 2009067353W WO 2011042948 A1 WO2011042948 A1 WO 2011042948A1
Authority
WO
WIPO (PCT)
Prior art keywords
defective pixel
value
pixel
output signal
blinking
Prior art date
Application number
PCT/JP2009/067353
Other languages
English (en)
French (fr)
Inventor
洋 荻野
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2009/067353 priority Critical patent/WO2011042948A1/ja
Priority to CN200980161818.9A priority patent/CN102550017B/zh
Priority to JP2011535224A priority patent/JP5631325B2/ja
Priority to US12/892,815 priority patent/US8208046B2/en
Publication of WO2011042948A1 publication Critical patent/WO2011042948A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present invention relates to a technology for correcting a defective pixel of an imaging device.
  • an imaging element such as a CCD or a CMOS may cause a local sensitivity failure of a semiconductor in the manufacturing process or after the manufacturing.
  • a charge output corresponding to the amount of incident light can not be obtained from that pixel, and therefore, it appears as white and black points irrelevant to the subject on the imaging screen.
  • Such pixels that output white points and black points unrelated to the subject are so-called defective pixels. Detecting defective pixels in advance is performed in order to correct image quality deterioration caused by such defective pixels by signal processing.
  • defective pixels included in the manufactured imaging device are detected, and position data of the detected defective pixels are stored in a non-volatile memory.
  • defective pixels included in the imaging device are detected.
  • a pixel white point defective pixel
  • a pixel black dot defective pixel
  • the position data of the detected white point defective pixel or black point defective pixel is stored in the non-volatile memory.
  • a defective pixel is identified based on position data stored in the non-volatile memory, and an image signal obtained by imaging an object is corrected by signal processing.
  • Flashing defective pixels may be dependent on temperature or accumulation time, or may not be dependent on temperature or accumulation time, and the generation mechanism is various.
  • the blinking defective pixel behaves as if it were a normal pixel at one time, a white point defective pixel at some time, and so on. Therefore, in any of the manufacturing process of the imaging device and the self measurement function of the imaging device, it is not possible to detect all the blinking defective pixels only by detecting the defective pixels once each. Then, there is a problem that a defective pixel is turned on at the time of main imaging for recording an image obtained by photographing an object, and a blinking defective pixel becomes apparent and the photographed image is deteriorated.
  • the defective pixel address of the imaging device is detected based on a plurality of image signals obtained under the same conditions, and the number of times it is determined that there is a defect is predetermined.
  • a technique is disclosed for detecting a pixel address that is equal to or more than the number of times as a final defective pixel address.
  • the present invention detects as a defective pixel when a pixel signal regarded as a defective pixel is output from the blinking defective pixel, and detects as a normal pixel when a normal pixel signal is output from the blinking defective pixel. It is an object of the present invention to provide a defective pixel detection device capable of
  • the imaging device of the present invention outputs an image sensor which photoelectrically converts incident light from a subject, and an output signal value of a blinking defective pixel which outputs an abnormal value signal unsteadily in the image sensor.
  • Correction means for correcting the output signal value of the peripheral pixel, determination means for determining whether the output signal value of the blinking defective pixel is an abnormal value, and the output signal of the blinking defective pixel by the determination means When the value is determined to be an abnormal value, the correction means controls the output signal value of the blinking defective pixel to be corrected, and the determination means determines that the output signal value of the blinking defective pixel is not an abnormal value.
  • controlling means for controlling the correction means not to correct the output signal value of the blinking defective pixel when it is determined.
  • a defective pixel correction method is a defective pixel correction method of an imaging device including an imaging device for photoelectrically converting incident light from a subject, wherein the imaging device outputs an abnormal value signal in an unsteady manner. Correcting the output signal value of the blinking defective pixel using the output signal value of the peripheral pixel, and determining whether the output signal value of the blinking defective pixel is an abnormal value, the blinking defective pixel Control is performed so that the output signal value of the blinking defective pixel is corrected in the correction step when it is determined that the output signal value of the pixel is an abnormal value, and it is determined that the output signal value of the blinking defective pixel is not an abnormal value A control step of controlling not to correct the output signal value of the blinking defective pixel in the correction step when it is turned on.
  • FIG. 7 is a flowchart for describing detection processing of a blinking defective pixel in the first embodiment. It is a figure which shows an example of the pixel array of an image pick-up element, and an output signal.
  • FIG. 16 is a flowchart for describing detection processing of a blinking defective pixel in the second embodiment.
  • FIG. 16 is a block diagram for explaining a defective pixel detection unit in a third embodiment.
  • FIG. 14 is a diagram for explaining a method of filtering processing in the third embodiment.
  • FIG. 18 is a block diagram for explaining a threshold value determination circuit in the third embodiment.
  • FIG. 18 is a diagram for explaining a flaw level conversion circuit in the threshold value judgment circuit in the third embodiment.
  • FIG. 7 is a flowchart for describing detection processing of a blinking defective pixel in the first embodiment. It is a figure which shows an example of the pixel array of an image pick-up element, and an output signal.
  • FIG. 16 is a flowchart for describing detection
  • FIG. 18 is a block diagram for explaining a correlation determination circuit in a third embodiment.
  • FIG. 18 is a diagram for explaining a flaw level conversion circuit in the correlation determination circuit in the third embodiment.
  • FIG. 18 is a block diagram for explaining a defective pixel correction unit in a third embodiment.
  • FIG. 18 is a block diagram for explaining a threshold value calculation unit in the fourth embodiment.
  • FIG. 1 is a block diagram of an image pickup apparatus equipped with a defective pixel correction apparatus according to a first embodiment of the present invention.
  • an object image incident through an optical system 201 including a lens and an aperture and a mechanical shutter 202 is photoelectrically converted by an image sensor 203 such as a CCD or a CMOS.
  • an image sensor 203 such as a CCD or a CMOS.
  • Low-frequency noise is removed by the CDS circuit 204 from the analog signal output from the imaging element 203, and the analog signal is converted into a digital signal by the A / D converter 205.
  • the optical system 201, the mechanical shutter 202, and the imaging device 3 are driven by a drive circuit 207.
  • the timing signal generation circuit 206 generates timing signals for operating the CDS circuit 203 and the A / D converter 204.
  • the digital signal converted by the A / D converter 205 is input to the defective pixel detection and correction unit 208.
  • the defective pixel detection / correction unit 208 interpolates the signal value output from the defective pixel using the defective pixel detection unit 2081 (determination unit) that detects the defective pixel, using the signal value output from the peripheral pixels of the defective pixel.
  • it includes a defective pixel correction unit 2082 (correction unit) that performs defective pixel correction processing.
  • the image signal output from the defective pixel detection / correction unit 208 is input to the signal processing circuit 209.
  • a signal processing circuit 209 performs signal processing of an imaging system such as color separation, aperture correction, gamma correction, white balance, and the like on the input image signal.
  • the digital image signal during signal processing by the signal processing circuit 209 is temporarily stored in the image memory 210.
  • the image data subjected to signal processing by the signal processing circuit 209 is recorded on the recording medium 211 by the recording circuit 212.
  • the recording medium 211 is a memory card or the like that is detachably attached to the imaging device.
  • the image data subjected to signal processing by the signal processing circuit 209 is displayed by the display circuit 214 on the image display device 213.
  • a system control unit 215 configured by a CPU or the like controls the entire imaging apparatus.
  • the ROM 216 is a program describing a control method executed by the system control unit 215, control data such as parameters and tables used when executing the program, addresses of normal defective pixels (non-flashing defective pixels) and blinking defective pixels Remember etc.
  • the program stored in the ROM 216 (storage means), control data, address data of normal defective pixels and blinking defective pixels, and the like can be transferred to the RAM 217 (storage means) and temporarily stored.
  • the address data of the normal defective pixel and the blinking defective pixel stored in the ROM 216 is an address corresponding to each imaging device checked in the manufacturing process of the imaging device 3, but is limited to this. It is not a thing. For example, after the imaging element 3 is incorporated into an imaging device, information regarding a defective pixel may be newly created by the defective pixel detection unit 2081 and stored in the ROM 216.
  • system control unit 215 refers to the control program, control data, control data, address data of normal defective pixels and blinking defective pixels, etc. transferred temporarily from the ROM 216 to the RAM 217 in the flow of FIG. Execute by controlling.
  • step S101 the defective pixel detection unit 2081 of the defective pixel detection / correction unit 208 refers to the address information of the normal defective pixel temporarily stored in the RAM 217, and each digital signal input from the A / D converter 205 It is determined whether the pixel is a normal defective pixel.
  • step S101 If it is determined in step S101 that the target pixel of the input digital signal is a normal defective pixel, the process proceeds to step S105, and the defective pixel correction unit 2082 performs defective pixel correction processing, and processing is performed.
  • the image data is output to the signal processing circuit 209. If it is determined in step S101 that the target pixel of the input digital signal is not a normal defective pixel, the process proceeds to step S102.
  • step S102 the defective pixel detection unit 2081 refers to the address information of the blinking defective pixel temporarily stored in the RAM 17, and determines whether the target pixel of the input digital signal is a blinking defective pixel. If it is determined in step S102 that the target pixel of the input digital signal is a blinking defective pixel, the process proceeds to step S103. If it is determined in step S102 that the target pixel of the input digital signal is not a blinking defective pixel, the defective pixel correction processing by the defective pixel correction unit 2082 is not performed, and the input pixel value is directly processed It outputs to the circuit 209 and ends the processing.
  • step S103 the defective pixel detection processing by the defective pixel detection unit 2081 is performed to calculate a value indicating the degree of the defect, and the process proceeds to step S104.
  • step S104 whether the value of the input pixel signal is an abnormal value by comparing the value indicating the degree of defect obtained by the defective pixel detection process in step S103 with a threshold set to an arbitrary value It is determined whether or not. The threshold will be described later.
  • step S104 If it is determined in step S104 that the value of the input pixel signal is an abnormal value, the process proceeds to step S105, assuming that the pixel is acting as a defective pixel.
  • step S105 the defective pixel correction unit 2082 performs defective pixel correction processing, outputs the processed image data to the signal processing circuit 209, and ends the processing. If it is determined in step S104 that the value of the input pixel signal is not an abnormal value, the defective pixel correction processing by the defective pixel correction unit 2082 is not performed assuming that a normal pixel signal is output. . Then, the value of the input pixel is output as it is to the signal processing circuit 209, and the process is ended.
  • defective pixel detection processing (calculation processing of a value indicating the degree of defect) by the defective pixel detection unit 2081 in step S103 of FIG. 2 will be described.
  • the defective pixel detection method using a median filter is shown as an example, it is not limited to this, It can change suitably in the range which does not deviate from the summary of the present invention.
  • a median filter is performed on the input target pixel data and the data of surrounding pixels. Execute the process The median filter process executed here extracts the median value of the same color image data in the range of 5 ⁇ 5 pixels in height and width with respect to the input target pixel (for example, R (x + 2, y + 2)), and the value of the target pixel Perform processing to replace the extracted median value. If the target pixel is located at the four corners of the image sensor 3 and the range of 5 ⁇ 5 pixels can not be taken, the maximum range (for example, the 3 ⁇ 3 pixel range) around the target pixel can be obtained. Median filtering is performed.
  • the normal defective pixel address data temporarily stored in the RAM 217 it is determined whether or not there is a normal defective pixel within the range where median filtering is performed.
  • median filtering is performed using pixel data other than the normal defective pixel, excluding the normal defective pixel as a calculation target. For example, in FIG. 3A, when the target pixel is R (x + 2, y + 2), it is within a range of 5 x 5 pixels across from the upper left R (x, y) to the lower right R (x + 4, y + 4). The central value of the R pixel to receive light is to be determined.
  • median filtering is performed using pixel data excluding R (x + 4, y). Also, for each of the pixels that receive G and B, median filter processing is performed within the range of 5 ⁇ 5 pixels in the vertical and horizontal directions, as in the case of the R pixel.
  • the median-filtered value is image data which is smoothed by removing high frequency components without the influence of defective pixels. Therefore, by performing processing for obtaining the absolute value of the difference between the smoothed pixel data and the original pixel data, it is possible to obtain the protruding value and the high frequency component due to the blinking defective pixel.
  • FIG. 3B and FIG. 3C show an example in which the blinking defective pixel behaves as a defective pixel and in the case where a high frequency component is present on the blinking defective pixel.
  • FIG. 3B shows input data when the blinking defective pixel behaves as a defective pixel, and the central R (x + 2, y + 2) pixel is a blinking defective pixel.
  • the value (255) in parentheses is the output signal level.
  • FIG. 3C shows input data when a high frequency component is present on the blinking defective pixel, and the central R (x + 2, y + 2) pixel is the blinking defective pixel.
  • the threshold used in step S104 in FIG. 2 includes the component (output value of equation 2) by the blinking defective pixel included in the output value after the absolute value processing of this difference and the component (output value of equation 3) by the high frequency component. Set in consideration of it.
  • the output due to the defect in FIG. 3B is regarded as a defect
  • the output due to the high frequency component in FIG. 3C is not regarded as a defect (for example, a value According to Equations 2 and 4, the value is 100 or more and less than 215).
  • the output value is an abnormal value for each pixel determined to be a blinking defective pixel in advance. Then, even if the pixel is a blinking defective pixel, when the output value is not an abnormal value, the reproducibility of the image can be improved by leaving the original normal output value.
  • Example 2 In the first embodiment, an example in which a defect is detected for a blinking defective pixel detected in the manufacturing process of the imaging device has been described. However, in the blinking defective pixel, blinking is performed after detection in the manufacturing process of the imaging device. There are pixels that become defective pixels, and there are blinking defective pixels that are not detected in the manufacturing process because the period of blinking is long. Therefore, in the second embodiment, even for undetected defective pixels which are not detected as normal defective pixels or blinking defective pixels in the manufacturing process, whether or not they are defective pixels with respect to the signal output from the image pickup element for each photographing Perform detection of As in the first embodiment, the blinking defective pixel detected in the manufacturing process of the imaging device is again detected as to whether it is a defective pixel or not.
  • threshold values used to detect defective pixels are prepared for the blinking defective pixels detected in the manufacturing process and pixels not detected as normal defective pixels or blinking defective pixels.
  • a threshold used to detect a defective pixel with respect to a blinking defective pixel is a first threshold
  • a threshold used to detect a defective pixel with respect to an undetected defective pixel is a second threshold.
  • system control unit 215 refers to the control program temporarily transferred from the ROM 216 to the RAM 217 and stored temporarily, the control data, the address data of the normal defective pixel and the blinking defective pixel, etc. Execute by controlling.
  • step S401 the defective pixel detection unit 2081 of the defective pixel detection and correction unit 208 refers to the address information of the normal defective pixel temporarily stored in the RAM 217, and each digital signal input from the A / D converter 205 It is determined whether the pixel is a normal defective pixel.
  • step S401 If it is determined in step S401 that the target pixel of the input digital signal is a normal defective pixel, the process proceeds to step S406, and the defective pixel correction unit 2082 performs defective pixel correction processing, and the process is performed.
  • the image data is output to the signal processing circuit 209. If it is determined in step S401 that the target pixel of the input digital signal is not a normal defective pixel, the process proceeds to step S402.
  • step S402 defective pixel detection processing is performed by the defective pixel detection unit 2081 on the target pixel of the input digital signal to calculate a value indicating the degree of defect, and the process proceeds to step S403.
  • the defective pixel detection result (calculation result of the value indicating the degree of defect) in step S402 is temporarily stored in the RAM 217 and referred to in the processing of the subsequent stage.
  • step S403 the defective pixel detection unit 2081 refers to the address information of the blinking defective pixel temporarily stored in the RAM 217, and determines whether the target pixel of the input digital signal is a blinking defective pixel. If it is determined in step S403 that the target pixel of the input digital signal is a blinking defective pixel, the process proceeds to step S404. If it is determined in step S403 that the target pixel of the input digital signal is not a blinking defective pixel, the process proceeds to step S405.
  • step S404 it is determined whether the value indicating the degree of defect calculated in step S402 is equal to or greater than the first threshold value for the target pixel determined to be a blinking defective pixel in step S403. That is, it is determined whether the blinking defective pixel behaves as a defective pixel. If it is determined in step S404 that the value indicating the degree of defect of the target pixel is equal to or greater than the first threshold, the process proceeds to step S406, assuming that the pixel is acting as a defective pixel. In step S406, the defective pixel correction unit 2082 performs defective pixel correction processing, outputs the processed image data to the signal processing circuit 209, and ends the processing.
  • step S404 If it is determined in step S404 that the value indicating the degree of defect of the target pixel is less than the first threshold, it is assumed that a normal pixel signal is output, and the defective pixel correction by the defective pixel correction unit 2082 is performed. Do not process. Then, the value of the input pixel is output as it is to the signal processing circuit 209, and the process is ended.
  • step S405 it is determined whether the value indicating the degree of defect calculated in step S402 is equal to or greater than the second threshold value for the target pixel determined not to be a blinking defective pixel in step S403. If it is determined in step S405 that the value indicating the degree of defect of the target pixel is equal to or greater than the second threshold, the process proceeds to step S406 as a non-detected defective pixel. In step S406, the defective pixel correction unit 2082 performs defective pixel correction processing, outputs the processed image data to the signal processing circuit 209, and ends the processing.
  • step S405 If it is determined in step S405 that the value indicating the degree of defect of the target pixel is less than the second threshold, it is assumed that a normal pixel signal is output, and the defective pixel correction by the defective pixel correction unit 2082 is performed. Do not process. Then, the value of the input pixel is output as it is to the signal processing circuit 209, and the process is ended.
  • the first threshold needs to be set to a level at which an output due to a high frequency component such as an edge having a relatively smaller amplitude than the blinking defective pixel is not detected as a defect.
  • the second threshold used for detecting the defective pixel of the undetected defective pixel it is necessary to set the second threshold used for detecting the defective pixel of the undetected defective pixel to a value which is relatively difficult to be judged as the defective pixel as compared with the first threshold. This is because a pixel whose defect is not detected in the manufacturing process having a dominant number with respect to the number of pixels of the imaging device is a defect erroneously detected with respect to a pixel which is detected in advance as a blinking defective pixel in the manufacturing process This is because the ill effect on the image quality is great.
  • the second threshold value for example, a subject similar to a blinking defective pixel such as a point light source, such as a star serving as a subject when shooting a night scene, a light of a building, etc. is set as a value not determined as a defective pixel.
  • FIG. 3D shows an example of defective pixel detection using a median filter in the case where there is a point light source-like subject similar to the blinking defective pixel.
  • FIG. 3D shows input data when there is a point light source-like subject similar to the blinking defective pixel, and the central R (x + 2, y + 2) pixel is a detection target pixel.
  • the value (200) in parentheses is the output signal level.
  • the calculation result of Expression 6 is an output value obtained by the defective pixel detection unit 2081 in step S402 in FIG. 4 when there is a point light source-like subject similar to the blinking defective pixel.
  • the calculation result of equation 6 in the presence of a point light source subject is larger in value than the calculation result of equation 4 in the presence of high frequency components, and is a value that is likely to be erroneously determined as a defective pixel I understand.
  • the output from the defective pixel in FIG. 3B is regarded as a defect, and the blinking defect in FIG.
  • the component by the subject such as a point light source similar to the pixel is a value not regarded as a defect.
  • the second threshold is a value relatively larger than the first threshold (from Eq. 2 and Equation 6, it is 140 or more and less than 215, different from the first threshold and larger than the first threshold) I assume.
  • the second threshold value in view of the subject similar to the defective pixel, it is possible to minimize the adverse effect due to the erroneous detection and to detect the defective pixel having a large amplitude which greatly adversely affects the image quality.
  • the amplitude of the defective pixel to be detected and the signal deterioration due to the defective pixel correction for the erroneously detected pixel Is set to any value that can reduce the adverse effect on image quality most. By setting in this manner, an optimal output image can be obtained.
  • the threshold used for defect pixel detection is changed depending on whether the detection target is a blinking defect pixel or an undetected defect pixel, but the present invention is not limited to this.
  • one or more gains may be applied to make the blinking defective pixel relatively easy to be determined as a defect. It is good.
  • the output value of the target pixel is abnormal each time a pixel determined to be a blinking defective pixel in advance.
  • the output value of the target pixel is not an abnormal value, it is possible to leave the original normal output value as much as possible.
  • detecting a defective pixel also for a pixel that has become a defective pixel after the detection of the defective pixel in the manufacturing process it is also possible to detect a newly generated defective pixel.
  • Example 3 In the third embodiment, an example using a defective pixel detection method different from that in the second embodiment will be described.
  • the configuration of the defective pixel detection circuit 2081 is different, the other configuration is basically the same as that of the second embodiment described above.
  • the defective pixel detection method of the present embodiment is characterized in that edge and noise are distinguished from defective pixels by extracting a signal in a desired spatial frequency band.
  • FIG. 5 is a block diagram of the defective pixel detection circuit 2081 in the third embodiment. Hereinafter, this will be described in detail with reference to FIG. In the present embodiment, the case of detecting the blinking defect generated in the G pixel will be described as an example.
  • digital image data is input to the defective pixel detection circuit 2081 from the A / D conversion circuit 205.
  • zero values are inserted in addition to G pixels of the input image data.
  • LPF processing is performed with filter coefficients such as (1, 2, 1) in the vertical direction of the image data.
  • LPF processing in the vertical direction as shown in FIG. 6B, the zero value pixels are interpolated from the pixels in the vertical direction, and the pixels above and below the defective pixel are interpolated using the data of the defective pixel.
  • LPF processing in the horizontal direction LPF circuit 503
  • LPF processing in the horizontal direction as shown in FIG. 6C, pixels of zero value are interpolated from the pixels in the horizontal direction, and pixels on the left and right of the defective pixel are interpolated using data of the defective pixel.
  • an LPF process is performed on the image data in the 135 ° direction.
  • the zero value pixel is interpolated from the 135 ° direction pixel, and the adjacent pixel of the defective pixel in the 135 ° direction is interpolated using the data of the defective pixel.
  • Ru is performed on the 45-degree direction of the image data.
  • the 45-degree direction LPF processing as shown in FIG. 6E, the zero value pixel is interpolated from the 45-degree direction pixel, and the 45-degree adjacent pixel of the defective pixel is interpolated using the data of the defective pixel.
  • a horizontal band pass filter (band pass filter, hereinafter referred to as BPF) circuit 506 for cutting a DC component the output data of the vertical direction LPF circuit 502 with respect to the horizontal direction ( ⁇ 1, 0, 2, 0, Perform BPF processing with filter coefficients such as -1).
  • BPF band pass filter
  • FIG. 6F since the BPF processing is performed in the direction orthogonal to the LPF processing, the pixel interpolated using the data of the defective pixel is not referred to.
  • BPF processing is performed on the output data of the horizontal direction LPF circuit 503 in the vertical direction.
  • FIG. 6 (g) shows the direction of the BPF process.
  • the 45-degree direction BPF circuit 508 performs BPF processing on the output data of the 135-degree direction LPF circuit 504 in the 45-degree direction.
  • the direction of the BPF process is illustrated in FIG. Further, in the 135 ° direction BPF circuit 509, BPF processing is performed on the output data of the 45 ° direction LPF circuit 505 in the 135 ° direction.
  • the direction of the BPF process is illustrated in FIG.
  • An ABS (absolute value) circuit 510 outputs an absolute value of output data of the horizontal BPF circuit 506.
  • the ABS circuit 511 outputs the absolute value of the output data of the vertical BPF circuit 507.
  • the ABS circuit 512 outputs the absolute value of the output data of the 45-degree direction BPF circuit 508.
  • the ABS circuit 513 outputs the absolute value of the output data of the 135 ° direction BPF circuit 509.
  • the digital image data output from the A / D conversion circuit 205 is input to the luminance signal generation circuit 514.
  • the luminance signal generation circuit 514 generates a luminance signal Y from image data having a Bayer array of R, G, and B based on the following Expression 7.
  • the white scratch / black scratch determination circuit 518 refers to a sign indicating positive or negative, and indicates a scratch flag 519 (1 bit) indicating whether it is a scratch or not, or a black scratch (white dot defect pixel) A black and white flag 520 (1 bit) is output to distinguish whether the pixel is a black dot defect pixel).
  • the blemish flag 519 is 1 if all the BPF processing results have the same code, or 0 if the code is even one.
  • the scratch flag 519 is 0, it indicates that the target pixel is not a defective pixel, and when 1 indicates that the target pixel is a defective pixel.
  • the white scratch / black scratch determination circuit 518 supplies the scratch flag 519 to the selector 521.
  • the selector 521 operates using the supplied flaw flag 519 as a selection signal.
  • the black-and-white flag 520 is 1 indicating that the target pixel is a white scratch if all the BPF processing results have a positive code, and a black scratch if all the BPF processing results have a negative code. It becomes 0 which shows.
  • the white scratch / black scratch determination circuit 518 supplies the black / white flag 520 to the threshold determination circuit 515.
  • the threshold determination circuit 515 compares the absolute value of the BPF processing result in four directions input from the ABS circuits 510 to 513 with an arbitrarily set threshold (the first threshold, the second threshold). It is determined whether the target pixel is a defective pixel.
  • the flaw level conversion circuit 701 calculates the flaw level (defect level) with reference to the absolute value of the BPF processing result in the horizontal direction input from the ABS circuit 510. Further, the flaw level conversion circuit 702 refers to the absolute value of the BPF processing result in the vertical direction input from the ABS circuit 511, and similarly computes the flaw level. The flaw level conversion circuit 703 refers to the absolute value of the BPF processing result in the 45-degree direction input from the ABS circuit 512 to similarly calculate the flaw level. The flaw level conversion circuit 704 refers to the absolute value of the BPF processing result in the 135-degree direction input from the ABS circuit 513 to similarly calculate the flaw level.
  • FIG. 8 is a diagram for explaining the processing of the scratch level conversion circuits 701 to 704.
  • the horizontal axis in FIG. 8 indicates the absolute value (that is, the value indicating the degree of defect) after BPF processing input from the ABS circuits 510 to 513 to the scratch level conversion circuits 701 to 704.
  • the vertical axis in FIG. 8 is the output (8 bits) of the defect level conversion circuits 701 to 704, and indicates the defect level (defect level) of the defective pixel.
  • the scratch level is 0, it indicates that it is not a defective pixel, and when it is 255, it indicates that it is a defective pixel.
  • a value with a scratch level greater than 0 and less than 255 means that the pixel is such that it is difficult to distinguish between a normal pixel and a defective pixel.
  • Thresholds 801 and 802 shown in FIGS. 8A and 8B refer to the address data of the blinking defective pixel read in the RAM 217 and are thresholds for determining that the pixel being processed is a blinking defective pixel. .
  • the white and black flags 520 input from the white and black flaw determination circuit 518 are referred to so that thresholds can be set separately for white and black flaws. This is because the characteristics are different between white and black scratches due to threshold value variation processing by a luminance signal described later.
  • the threshold values 803 and 804 shown in FIGS. 8C and 8D refer to the address data of the blinking defective pixel read into the RAM 217, and for determining that the pixel under processing is an undetected defective pixel. It is a threshold.
  • the threshold values can be set separately for white and black scratches.
  • the input / output relationship shown in FIGS. 8A and 8B is applied to the case of a blinking defective pixel, and the first threshold in the case of a white scratch as the threshold 801 and the first threshold in the case of a black scratch as the threshold 802. Let it be a threshold.
  • the input / output relationship shown in FIGS. 8C and 8D is applied to the case of an undetected defective pixel, and the second threshold in the case of a white scratch and the threshold 804 in the case of a black scratch are applied. Let it be the second threshold.
  • the threshold values 801 to 804 are values obtained by multiplying an arbitrary setting value determined according to the operation mode of the imaging device and the like and the luminance signal Y input from the luminance signal generation circuit 514.
  • the reason for changing the threshold value with the luminance signal Y is to cope with the increase in noise as the luminance is higher.
  • the threshold value is changed according to the amount of noise, and the threshold value is increased as the luminance is higher, thereby suppressing the erroneous determination that the noise is a scratch.
  • the inclinations 805 to 808 are also values obtained by multiplying an arbitrary setting value determined according to the operation mode of the imaging apparatus and the like and the luminance signal Y input from the luminance signal generation circuit 514.
  • the threshold values 801 and 802 are set to values at which the remaining edge component is not detected.
  • the thresholds 803 and 804 take into consideration the correction accuracy of the defective pixel correction method of the defective pixel correction unit 81 from the output signal level of an object such as a point light source similar to the characteristics of the defective pixel and the level of the defective pixel to be detected. Set to a value that minimizes the adverse effect on the output image quality.
  • the multipliers 705 to 707 in FIG. 7 the result obtained by multiplying all the outputs of the scratch level conversion circuits 701 to 704 is output as a scratch level by the threshold determination for the target pixel.
  • the absolute value of the BPF processing result in four directions is input to the correlation determination circuit 516 in FIG. 5 from the ABS circuits 510 to 513.
  • the correlation determination circuit 516 compares magnitudes of the absolute values of the BPF processing results in the four directions that are input, and determines whether or not the pixel is a defective pixel.
  • the correlation determination circuit 516 will be described with reference to FIG.
  • Maximum value selection circuit 901 compares the absolute value of the BPF processing result in the horizontal direction input from ABS circuit 510 with the absolute value of the BPF processing result in the vertical direction input from ABS circuit 511, and the larger value is obtained.
  • the minimum value selection circuit 902 compares the absolute value of the horizontal BPF processing result input from the ABS circuit 510 with the absolute value of the vertical BPF processing result input from the ABS circuit 511 and determines the smaller value.
  • the maximum value selection circuit 903 compares the absolute value of the BPF processing result in the 45 degree direction input from the ABS circuit 512 with the absolute value of the BPF processing result in the 135 degree direction input from the ABS circuit 513 and Output the value of The minimum value selection circuit 904 compares the absolute value of the BPF processing result in the 45 degree direction input from the ABS circuit 512 with the absolute value of the BPF processing result in the 135 degree direction input from the ABS circuit 513 and determines the smaller one. Print a value.
  • the maximum value selection circuit 905 compares the output of the maximum value selection circuit 901 with the output of the maximum value selection circuit 903 and outputs the larger value. This output indicates the maximum value of BPF processing results in all four directions.
  • the minimum value selection circuit 906 compares the output of the minimum value selection circuit 902 with the output of the minimum value selection circuit 904, and outputs the smaller value. This output indicates the minimum value of BPF processing results in all four directions.
  • a subtractor 907 subtracts the output of the minimum value selection circuit 906 from the output of the maximum value selection circuit 905.
  • the subtraction result indicates the maximum difference between the BPF processing results in four directions, and is the maximum absolute value minus the minimum absolute value, so it must be a positive value of 0 or more.
  • the flaw level conversion circuit 908 converts the difference between the maximum value and the minimum value of the BPF processing result in four directions, which is the output of the subtractor 907, into a flaw level and outputs it.
  • FIG. 10 is a diagram for explaining the process of the scratch level conversion circuit 908.
  • the horizontal axis in FIG. 10 is input data of the scratch level conversion circuit 908.
  • the vertical axis in FIG. 10 is the output data (8 bits) of the scratch level conversion circuit 908, which is the scratch level.
  • the scratch level is 0, it indicates that it is not a defective pixel, and when it is 255, it indicates that it is a defective pixel.
  • the blemish level 255 is output.
  • a value with a scratch level greater than 0 and less than 255 means that the pixel is such that it is difficult to distinguish between a normal pixel and a defective pixel.
  • the threshold value 1001 is a value obtained by multiplying an arbitrary setting value determined by the operation mode of the imaging apparatus and the like and the luminance signal Y input from the luminance signal generation circuit 514.
  • the inclination 1002 is also a value obtained by multiplying an arbitrary setting value determined by the operation mode of the imaging apparatus and the like and the luminance signal Y input from the luminance signal generation circuit 514.
  • the correlation determination circuit 516 outputs the processing result of the blemish level conversion circuit 908 as a blemish level by the correlation determination for the target pixel.
  • the scratch levels of the threshold determination circuit 515 and the correlation determination circuit 516 are described as being each represented by 8 bits, the present invention is not limited to this and both bit widths may be different.
  • the flaw level output from the threshold value determination circuit 515 is multiplied by the flaw level output from the correlation determination circuit 516.
  • the threshold determination circuit 515 may erroneously determine the noise as a flaw (defective pixel).
  • the correlation determination circuit 516 sees the variation in the difference between the target pixel and its peripheral pixels in the upper, lower, left, and right directions. Therefore, when the noise is large, it can be determined that the above difference is not a flaw (defective pixel). That is, it plays a role of preventing an erroneous determination by the threshold determination circuit 515.
  • the defect level output from the correlation determination circuit 516 is such that the BPF processing result in four directions has a value close to 0, and the difference between their maximum value and minimum value is also 0 In order to be close, there is a possibility that it may be misjudged as a defective pixel. In order to prevent such an erroneous determination, it is necessary that the threshold determination circuit 515 determine that the target pixel is a defective pixel when there is a level difference to some extent in comparison with peripheral pixels in the upper, lower, left, and right directions. Become.
  • the selector 521 in FIG. 5 sets the calculation result of the multiplier 517 as the scratch level K when the scratch flag 519 output from the white scratch / black scratch determination circuit 518 is 1 (that is, the target pixel is a defective pixel). Output. Also, when the scratch flag 519 is 0 (ie, the target pixel is not a defective pixel), 0 indicating that the pixel is a normal pixel is output as the scratch level K. The scratch level K is output from the selector 521 to the defective pixel correction circuit 2082.
  • Image data including a defective pixel is input from the A / D conversion circuit 205 to the defective pixel correction circuit 2082, and a scratch level K is input from the defective pixel detection circuit 2081.
  • the correction value calculation circuit 1101 the image data ORG including the defective pixel input from the A / D conversion circuit 205 is subjected to a filter such as (1, 0, 1) that does not refer to the target pixel.
  • the correction value COR is calculated by Alternatively, the direction of the edge may be determined from the image data ORG, the correction value COR may be determined with reference to the pixel along the direction of the edge, or the previous value interpolation may be performed.
  • weighted addition circuit 1102 the image data ORG input from the A / D conversion circuit 205 and the correction calculated in the correction value calculation circuit 1101 according to the value of the scratch level K determined in the defective pixel detection circuit 2081.
  • Weighted addition with the value COR is performed based on the following equation.
  • the case where there is a defective pixel in the G pixel has been described so far, the case where defective pixels exist in the R pixel and the B pixel can also be realized in the same manner. That is, zero may be inserted in addition to R pixels, or zero may be inserted in addition to B pixels, and the filtering process may be performed in each direction.
  • the fourth embodiment is characterized by having a threshold value calculation unit that changes the threshold value used for defect detection in accordance with the frequency at which the blinking defective pixel is in the lighting state, that is, the frequency at which the output signal value becomes an abnormal value.
  • the output of the threshold value calculation unit is a threshold value (first threshold value in the second and third embodiments) used for detecting a defective pixel by the defective pixel detection unit 2081.
  • the threshold value calculation unit 1201 (threshold value calculation means) in the fourth embodiment will be described with reference to FIG.
  • blinking cycle information 1205 of a blinking defective pixel stored in advance in the ROM 216, a threshold adjustment value 1206 for adjusting the threshold, and a reference threshold 1207 as a reference of the threshold are transferred and temporarily stored.
  • the blinking cycle information 1205 represents information on the frequency at which the blinking defective pixel is turned on, that is, the frequency at which the output signal value becomes an abnormal value.
  • the blink cycle information 1205 input to the threshold value calculation unit 1201 is converted to a blink rate signal 1208 in the blink rate calculation circuit 1202.
  • the blink rate signal 1208 is a signal indicating a rate at which a blink defective pixel becomes a defect pixel, and for example, 1 ⁇ 4 is output if the lighting frequency is once in four times.
  • the blink rate signal output from the blink rate calculation circuit 1202 is input to the multiplier 1203 and multiplied by the threshold adjustment value 1206. Next, the output of the multiplier 1203 is input to a subtractor 1204 and subtracted from a reference threshold 1207.
  • the output of the subtractor 1204 is input to the defective pixel detection unit 2082 and serves as a threshold value used for detecting a defective pixel in the blinking defective pixel detection unit 2082.
  • the reference threshold 1207 is a value detected as a defect in the defect pixel detection unit 2081 when the blinking defect pixel behaves as a defect pixel having a relatively large amplitude as shown in FIG. 3B.
  • the flickering is performed by setting the threshold adjustment value 1206 as a difference value between the component by the flickering defective pixel and the component by the high frequency component The false detection due to the high frequency component can be reduced even for the blinking defective pixel whose cycle of is very short.
  • the present invention is not limited to those exemplified in the first to fourth embodiments, and can be appropriately modified without departing from the scope of the present invention.
  • the present invention is also realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU or the like) of the system or apparatus reads the program. It is a process to execute.
  • Image sensor 208 Defective pixel detection and correction unit 2081 Defective pixel detection unit 2082 Defective pixel correction unit 215 System control unit 216 ROM 217 RAM 1201 Threshold calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

 点滅欠陥画素に対する過剰な補正による撮影画像の劣化を防止する。 予め記憶された点滅欠陥画素のアドレスに対応する画素の出力信号値が異常値であるか否かを検出する。そして、欠陥画素とみなされる信号値が出力されている場合に出力信号を補正する。

Description

撮像装置の欠陥検出方法及び撮像装置
 本発明は、撮像素子の欠陥画素の補正技術に関するものである。
 CCDやCMOS等の撮像素子は、製造過程もしくは製造後において半導体の局部的な感度不良が生ずる場合があることが知られている。このような感度不良が生じると、その画素からは入射光量に応じた電荷出力が得られなくなるため、撮像画面上に被写体とは無関係な白点や黒点となって現れる。このような被写体とは無関係な白点や黒点を出力する画素は、いわゆる欠陥画素である。こうした欠陥画素に起因する画質劣化を信号処理によって補正するために、あらかじめ欠陥画素を検出することが行われている。まず、半導体工場で撮像素子を製造する段階で、製造した撮像素子に含まれる欠陥画素を検出して、検出された欠陥画素の位置データを不揮発性メモリに記憶させる。
 また、撮像素子を撮像装置に組み込んだ後でも、撮像素子に含まれる欠陥画素を検出している。まず、撮像装置のメカニカルシャッターを遮光状態にしたときに、撮像素子からの出力レベルが所定レベルを超える画素(白点欠陥画素)を検出する。あるいは、シャッターを開いて入射光量を所定量にしたときに、出力レベルが所定レベルに達しない画素(黒点欠陥画素)を検出する。そして、検出された白点欠陥画素や黒点欠陥画素の位置データを不揮発性メモリに記憶させる。通常の撮像を行う場合には、不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、被写体を撮像することで得られる画像信号を信号処理によって補正している。
 ところで、近年、撮像素子の画素数が増大し、欠陥画素の発生確率は増加傾向にある。さらに、撮像素子の多画素化に伴う画素微細化により、従来は見逃されてきた現象が新たに見出されるようになっている。すなわち、撮像素子から画素信号を繰り返し読み出した場合に、読み出される信号レベルが極端に増減する画素が存在するという現象である。このような現象を起こす画素を「点滅欠陥画素」と称する。点滅欠陥画素は、温度や蓄積時間に依存するものと、温度や蓄積時間に依存しないものとがあり、その発生メカニズムは様々である。
 点滅欠陥画素は、ある時は正常画素、ある時は白点欠陥画素というように、あたかも点滅する白点欠陥画素の如く振舞う。そのため、撮像素子の製造工程、撮像装置の自己測定機能のいずれにおいても、欠陥画素の検出を各1回ずつ行っただけでは、全ての点滅欠陥画素を検出できない。そして、被写体を撮影した画像を記録する本撮像時に欠陥画素が点灯状態となって、点滅欠陥画素が顕在化して撮影画像が劣化するという問題があった。
 こうした状況に対して、特開2003-37781号公報には、同一条件下で得られた複数の画像信号に基づいて撮像素子の欠陥画素アドレスを検出し、欠陥があると判定された回数が所定回数以上である画素アドレスを最終的な欠陥画素アドレスとして検出する技術が開示されている。
特開2003-37781号
 しかしながら、上記した従来技術においては、本撮像時に点滅欠陥画素が点灯状態とならずに正常な画素信号が出力されている場合であっても欠陥画素として補正されてしまい、撮像した画像の画質がかえって劣化するという問題がある。
 本発明は、点滅欠陥画素から欠陥画素とみなされる画素信号が出力されている場合には欠陥画素として検出し、点滅欠陥画素から正常な画素信号が出力されている場合には正常画素として検出することができる欠陥画素検出装置を提供することを目的とする。
 上記課題を達成するために、本発明の撮像装置は、被写体からの入射光を光電変換する撮像素子と、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段とを有することを特徴とする。
 また、本発明の欠陥画素補正方法は、被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップとを有することを特徴とする欠陥画素補正方法。
 本発明によれば、点滅欠陥画素の出力信号に対する過剰な補正処理による弊害を軽減することができる。
撮像装置を説明するためのブロック図である。 実施例1における点滅欠陥画素の検出処理について説明するためのフローチャートである。 撮像素子の画素配列と出力信号の一例を示す図である。 実施例2における点滅欠陥画素の検出処理について説明するためのフローチャートである。 実施例3における欠陥画素検出部を説明するためのブロック図である。 実施例3におけるフィルタリング処理の方法を説明するための図である。 実施例3における閾値判定回路を説明するためのブロック図である。 実施例3における閾値判定回路内の傷レベル変換回路を説明するための図である。 実施例3における相関判定回路を説明するためのブロック図である。 実施例3における相関判定回路内の傷レベル変換回路を説明するための図である。 実施例3における欠陥画素補正部を説明するためのブロック図である。 実施例4における閾値算出部を説明するためのブロック図である。
 (実施例1)
 図1は、本発明の実施例1における欠陥画素補正装置を搭載した撮像装置のブロック図である。図1において、レンズや絞りからなる光学系201及びメカニカルシャッター202を介して入射した被写体像は、CCDやCMOS等の撮像素子203により光電変換される。撮像素子203から出力されたアナログ信号は、CDS回路204により低周波ノイズが除去され、A/D変換器205によりデジタル信号に変換される。
 光学系201、メカニカルシャッター202及び撮像素子3は、駆動回路207により駆動される。タイミング信号発生回路206は、CDS回路203及びA/D変換器204を動作させるためのタイミング信号を発生する。A/D変換器205により変換されたデジタル信号は、欠陥画素検出補正部208に入力される。欠陥画素検出補正部208は、欠陥画素の検出を行う欠陥画素検出部2081(判定手段)、欠陥画素から出力される信号値をその欠陥画素の周辺画素から出力される信号値を用いて補間することで欠陥画素補正処理を行う欠陥画素補正部2082(補正手段)を含む。
 欠陥画素検出補正部208から出力された画像信号は、信号処理回路209に入力される。信号処理回路209は、入力された画像信号に対し、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。ここで、信号処理回路209による信号処理中のデジタル画像信号は、画像メモリ210に一時的に記憶される。
 信号処理回路209により信号処理された画像データは、記録回路212により記録媒体211に記録される。記録媒体211は、撮像装置に着脱自在に取り付けられるメモリカード等である。また、信号処理回路209により信号処理された画像データは、表示回路214によって画像表示装置213に表示される。
 CPU等で構成されるシステム制御部215(制御手段)は、撮像装置全体を制御する。ROM216は、システム制御部215で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、通常欠陥画素(非点滅欠陥画素)及び点滅欠陥画素のアドレス等を記憶する。ROM216(記憶手段)に記憶されたプログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等は、RAM217(記憶手段)に転送して一時的に記憶させておくことができる。
 なお、本実施例では、ROM216に記憶される通常欠陥画素及び点滅欠陥画素のアドレスデータは、撮像素子3の製造工程においてチェックされた個々の撮像素子に対応したアドレスであるが、これに限定されるものではない。例えば、撮像素子3を撮像装置に組み込んだ後に、欠陥画素検出部2081によって新たに欠陥画素に関する情報を作成してROM216に格納してもよい。
 次に、図2のフローチャートを用いて、本実施例における欠陥検出補正部208における処理の流れを説明する。なお、図2のフローは、システム制御部215が、ROM216からRAM217に転送して一時的に記憶された制御プログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等を参照して各部を制御することで実行する。
 ステップS101では、欠陥画素検出補正部208の欠陥画素検出部2081がRAM217に一時的に記憶されている通常欠陥画素のアドレス情報を参照し、A/D変換器205から入力されたデジタル信号の各画素が通常欠陥画素であるか否かを判定する。
 ステップS101において、入力されたデジタル信号の対象画素が通常欠陥画素であると判定された場合には、ステップS105に処理を移行し、欠陥画素補正部2082により欠陥画素補正処理を行い、処理された画像データを信号処理回路209に出力する。また、ステップS101において、入力されたデジタル信号の対象画素が通常欠陥画素ではないと判定された場合には、ステップS102に処理を移行する。
 ステップS102では、欠陥画素検出部2081がRAM17に一時的に記憶されている点滅欠陥画素のアドレス情報を参照し、入力されたデジタル信号の対象画素が点滅欠陥画素であるか否かを判定する。ステップS102において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、ステップS103に処理を移行する。ステップS102において、入力されたデジタル信号の対象画素が点滅欠陥画素ではないと判定された場合には、欠陥画素補正部2082による欠陥画素補正処理を行わず、入力された画素の値をそのまま信号処理回路209に出力して処理を終了する。
 ステップS103では、欠陥画素検出部2081による欠陥画素検出処理が行われて欠陥の度合いを示す値が算出され、ステップS104に処理を移行する。ステップS104では、ステップS103における欠陥画素検出処理によって得られる欠陥の度合いを示す値と、任意の値に設定される閾値と比較することで、入力された画素信号の値が異常な値であるか否かを判定する。なお、閾値に関しては後述する。
 ステップS104において、入力された画素信号の値が異常な値であると判定された場合には、欠陥画素として振舞っているものとして、ステップS105に処理を移行する。ステップS105では、欠陥画素補正部2082により欠陥画素補正処理を行い、処理された画像データを信号処理回路209に出力して処理を終了する。ステップS104において、入力された画素信号の値が異常な値ではないと判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部2082による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路209に出力して処理を終了する。
 次に、図3(a)を参照して、図2のステップS103における欠陥画素検出部2081による欠陥画素検出処理(欠陥の度合いを示す値の算出処理)について説明する。ここでは、一例としてメディアンフィルタを用いた欠陥画素検出方法を示すが、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
 まず、図2のステップS102において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、入力された対象画素のデータとその周囲の画素のデータに対してメディアンフィルタ処理を実行する。ここで実行するメディアンフィルタ処理は、入力された対象画素(例えば、R(x+2、y+2))に対して縦横5×5画素の範囲における同色画像データの中央値を抽出し、対象画素の値を抽出された中央値に置換する処理を行う。なお、対象画素が撮像素子3の四隅などに位置し、縦横5×5画素の範囲がとれない場合は、対象画素を中心とする最大範囲(例えば、縦横3×3画素範囲など)に対してメディアンフィルタ処理が行われる。
 また、RAM217に一時的に記憶されている通常欠陥画素アドレスデータを参照することにより、メディアンフィルタ処理が行われる範囲内に通常欠陥画素が存在するかどうかを判断する。処理範囲内に通常欠陥画素が存在すると判断されると、通常欠陥画素を演算対象外として、通常欠陥画素以外の画素データを用いてメディアンフィルタ処理が行われる。例えば、図3(a)において、対象画素がR(x+2、y+2)である場合、左上のR(x、y)から右下のR(x+4、y+4)までの縦横5×5画素の範囲内で受光するR画素の中央値を求めることになる。このとき、例えばR(x+4、y)が欠陥画素として抽出されていると、R(x+4、y)を除いた画素データを用いてメディアンフィルタ処理が行われる。また、G、Bを受光する画素のそれぞれについても、R画素と同様に、縦横5×5画素の範囲内でメディアンフィルタ処理が行われる。
 次に、メディアンフィルタ処理された画素データを元の画素データから減算する処理を行い、この減算処理により得られる値を欠陥の度合いを示す値として出力する。ここで、メディアンフィルタ処理された値は、欠陥画素の影響をなくして高周波成分を除いて平滑化された画像データである。従って、平滑化された画素データと元の画素データとの差分の絶対値を求める処理を行うことにより、点滅欠陥画素による突出した値と高周波成分が得られることになる。
 欠陥画素検出処理では、この差分の絶対値と前記閾値を比較し、欠陥画素であるか否かを判定する。ここで図3(b)、(c)を用いて、点滅欠陥画素が欠陥画素として振舞っている場合と、点滅欠陥画素上に高周波成分が存在する場合の一例を示す。図3(b)は、点滅欠陥画素が欠陥画素として振舞っている場合の入力データであり、中央のR(x+2、y+2)画素が点滅欠陥画素である。ここで、括弧内の値(255)は、出力信号レベルである。このR(x+2、y+2)画素に対してメディアンフィルタ処理を行うことで、左上のR(x、y)から右下のR(x+4、y+4)までの縦横5×5画素の範囲内における画像データの中央値が算出される。
  median(R(x、y)~R(x+4、y+4))=40・・・(式1)
 次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。
  abs(R(x+2、y+2)-median(R(x、y)~R(x+4、y+4)))
  =abs(255-40)=215・・・(式2)
 式2の算出結果が、点滅欠陥画素が欠陥画素として振舞っている場合に、図2のステップS103における欠陥画素検出部2081により得られる出力である。
 図3(c)は、点滅欠陥画素上に高周波成分が存在する場合の入力データであり、中心のR(x+2、y+2)画素が点滅欠陥画素である。このR(x+2、y+2)画素に対してメディアンフィルタ処理を行うことで、左上のR(x、y)から右下のR(x+4、y+4)までの縦横5×5画素の範囲内における画像データの中央値が算出される。
  median(R(x、y)~R(x+4、y+4))=100・・・(式3)
 次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。
  abs(R(x+2、y+2)-median(R(x、y)~R(x+4、y+4)))
  =abs(200-100)=100・・・(式4)
 式4の算出結果が、点滅欠陥画素上に高周波成分が存在する場合に、図2のステップS103における欠陥画素検出部2081により得られる出力である。
 図2のステップS104で用いられる閾値は、この差分の絶対値処理後の出力値に含まれる点滅欠陥画素による成分(式2の出力値)と、高周波成分による成分(式3の出力値)を鑑みて任意に設定する。図3(b)、(c)に示す例であれば、図3(b)の欠陥による出力を欠陥とみなし、図3(c)の高周波成分による出力は欠陥とみなさないような値(例えば、式2、式4より、100以上215未満の値)とする。
 なお、本実施例で示したメディアンフィルタを用いた欠陥画素検出方法とは異なる欠陥画素検出方法を用いても、欠陥による出力と高周波成分による出力を完全に分離することは困難である。そのため、前記閾値としては、点滅欠陥画素より比較的振幅の小さいエッジなどの高周波成分に対して欠陥として検出されないレベルに設定する必要がある。
 このように、本実施例では、事前に点滅欠陥画素であると判定された画素に対しては、その都度、出力値が異常値であるか否かの判定を行う。そして、点滅欠陥画素であっても、その出力値が異常値ではない場合には、元の正常な出力値を残すことで、画像の再現性を向上させることができる。
 (実施例2)
 実施例1では、撮像素子の製造工程で検出された点滅欠陥画素に対して欠陥の検出を行う例を説明したが、点滅欠陥画素の中には撮像素子の製造工程で検出を行った後に点滅欠陥画素となるものや、点滅の周期が長いために製造工程では検出されない点滅欠陥画素も存在する。そこで、実施例2では、製造工程において通常欠陥画素や点滅欠陥画素として検出されていない未検出欠陥画素に対しても、撮影毎に撮像素子から出力される信号に対して欠陥画素であるか否かの検出を行う。なお、実施例1と同様に、撮像素子の製造工程で検出された点滅欠陥画素に対しても再度欠陥画素であるか検出を行う。この検出処理では、製造工程で検出された点滅欠陥画素と、通常欠陥画素や点滅欠陥画素として検出されていない画素に対して欠陥画素の検出に用いる閾値をそれぞれ用意する。ここでは、点滅欠陥画素に対する欠陥画素の検出に用いる閾値を第一の閾値、未検出欠陥画素に対する欠陥画素の検出に用いる閾値を第二の閾値とする。
 図4のフローチャートを用いて、実施例2における欠陥検出補正部8での処理の流れを説明する。なお、図4のフローチャートは、システム制御部215が、ROM216からRAM217に転送して一時的に記憶された制御プログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等を参照して各部を制御することで実行する。
 ステップS401では、欠陥画素検出補正部208の欠陥画素検出部2081がRAM217に一時的に記憶されている通常欠陥画素のアドレス情報を参照し、A/D変換器205から入力されたデジタル信号の各画素が通常欠陥画素であるか否かを判定する。
 ステップS401において、入力されたデジタル信号の対象画素が通常欠陥画素であると判定された場合には、ステップS406に処理を移行し、欠陥画素補正部2082により欠陥画素補正処理を行い、処理された画像データを信号処理回路209に出力する。また、ステップS401において、入力されたデジタル信号の対象画素が通常欠陥画素でないと判定された場合には、ステップS402に処理を移行する。
 ステップS402では、入力されたデジタル信号の対象画素に対する欠陥画素検出部2081による欠陥画素検出処理が行われて欠陥の度合いを示す値が算出され、ステップS403に処理を移行する。ステップS402における欠陥画素検出結果(欠陥の度合いを示す値の算出結果)はRAM217に一時的に記憶され、後段の処理で参照される。
 ステップS403では、欠陥画素検出部2081がRAM217に一時的に記憶されている点滅欠陥画素のアドレス情報を参照し、入力されたデジタル信号の対象画素が点滅欠陥画素であるか否かを判定する。ステップS403において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、ステップS404に処理を移行する。ステップS403において、入力されたデジタル信号の対象画素が点滅欠陥画素でないと判定された場合には、ステップS405に処理を移行する。
 ステップS404では、ステップS403において点滅欠陥画素であると判定された対象画素について、ステップS402において算出された欠陥の度合いを示す値が第一の閾値以上であるか否かを判定する。すなわち、点滅欠陥画素が欠陥画素として振舞っているか否かを判定する。ステップS404において、対象画素の欠陥の度合いを示す値が第一の閾値以上であると判定された場合には、欠陥画素として振舞っているものとして、ステップS406に処理を移行する。ステップS406では、欠陥画素補正部2082により欠陥画素補正処理を行い、処理された画像データを信号処理回路209に出力して処理を終了する。ステップS404において、対象画素の欠陥の度合いを示す値が第一の閾値未満であると判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部2082による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路209に出力して処理を終了する。
 ステップS405では、ステップS403において点滅欠陥画素ではないと判定された対象画素について、ステップS402において算出された欠陥の度合いを示す値が第二の閾値以上であるか否かを判定する。ステップS405において、対象画素の欠陥の度合いを示す値が第二の閾値以上であると判定された場合には、未検出欠陥画素であるものとしてステップS406に処理を移行する。ステップS406では、して欠陥画素補正部2082により欠陥画素補正処理を行い、処理された画像データを信号処理回路209に出力して処理を終了する。ステップS405において、対象画素の欠陥の度合いを示す値が第二の閾値未満であると判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部2082による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路209に出力して処理を終了する。
 ここで、第一の閾値は、実施例1で用いた閾値と同様に、点滅欠陥画素より比較的振幅の小さいエッジなどの高周波成分による出力が欠陥として検出されないレベルに設定する必要がある。また、未検出欠陥画素の欠陥画素検出に用いる第二の閾値は、第一の閾値と比較して相対的に欠陥画素であると判定され難い値に設定する必要がある。これは、撮像素子の画素数に対して支配的な数をもつ製造工程で欠陥が検出されていない画素は、製造工程で予め点滅欠陥画素として検出されている画素に対して、欠陥の誤検出による画質への弊害が大きいためである。
 そこで、第二の閾値としては、例えば夜景を撮影した際に被写体となる星や建物の明かりなど、点光源のような点滅欠陥画素と類似した被写体を欠陥画素と判定しない値とする。図3(d)を用いて点滅欠陥画素と類似した点光源状の被写体が存在する場合のメディアンフィルタを用いた欠陥画素検出の一例を示す。
 図3(d)は、点滅欠陥画素と類似した点光源状の被写体が存在する場合の入力データであり、中央のR(x+2、y+2)画素が検出対象画素である。括弧内の値(200)は、出力信号レベルである。このR(x+2、y+2)画素に対してメディアンフィルタ処理を行うことで、左上のR(x、y)から右下のR(x+4、y+4)までの縦横5×5画素の範囲内における画像データの中央値が算出される。
  median(R(x、y)~R(x+4、y+4))=60・・・(式5)
 次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。
  abs(R(x+2、y+2)-median(R(x、y)~R(x+4、y+4)))
  =abs(200-60)=140・・・(式6)
 式6の算出結果が、点滅欠陥画素と類似した点光源状の被写体が存在する場合に、図4のステップS402における欠陥画素検出部2081により得られる出力値である。点光源状の被写体が存在する場合の式6の算出結果は、高周波成分が存在する場合の式4の算出結果と比較して値が大きく、欠陥画素であると誤判定されやすい値であることが分かる。
 そこで、第二の閾値としては、先の図3(b)、(d)に示す例であれば、図3(b)の欠陥画素による出力は欠陥とみなし、図3(d)の点滅欠陥画素と類似した点光源などの被写体による成分は欠陥とみなさないような値とする。さらに、第二の閾値は、第一の閾値よりも相対的に大きい値(式2、式6より140以上215未満であり、第一の閾値とは異なり、第一の閾値よりも大きい値)とする。
 このように、欠陥画素と類似した被写体を鑑みて第二の閾値を決めることで誤検出による悪影響を極力抑え、なおかつ画質に多大な悪影響を与える振幅の大きい欠陥画素を検出することが可能である。さらに、前記第二の閾値としては、欠陥画素補正部2082による欠陥画素補正方法の補正精度を鑑みて、検出したい欠陥画素の振幅と、誤検出された画素に対しての欠陥画素補正による信号劣化の度合いにより、画質に対する悪影響を最も軽減できる任意の値に設定する。このように設定することで最適な出力画像を得ることができる。
 なお、本実施例では、検出対象が点滅欠陥画素であるか、あるいは未検出欠陥画素であるのかによって欠陥画素検出に用いる閾値を変えているが、これに限定されるものではない。例えば、欠陥画素検出部2081によって出力される値に対して未検出欠陥画素の場合には、点滅欠陥画素に対して相対的に欠陥と判断されやすくするように、1以上のゲインをかけるなどしても良い。
 本実施例では、実施例1と同様に、事前に点滅欠陥画素であると判定された画素に対しては、その都度、対象画素の出力値が異常であるか否かの判定を行う。このようにすることにより、対象画素の出力値が異常値ではない場合には、なるべくもとの正常な出力値を残すことができる。さらに、製造工程で欠陥画素の検出を行った後に欠陥画素となってしまった画素に対しても欠陥画素検出を行うことで、新たに発生した欠陥画素の検出も行うことができる。さらに、製造工程で検出された点滅欠陥画素に対して再度欠陥の検出を行う場合と、製造工程で検出された後に生じた欠陥画素に対して再度欠陥の検出を行う場合とで、検出のための閾値を変更することにより、撮影画像に与える弊害を軽減した処理を実施することが可能である。
 (実施例3)
 実施例3では、実施例2とは異なる欠陥画素検出方法を用いる例を説明する。本実施例では、欠陥画素検出回路2081の構成が異なるが、それ以外は、基本的に前述した実施例2と同様の構成を有している。本実施例の欠陥画素検出方法は、所望の空間周波数帯域の信号を抽出することにより、エッジやノイズと欠陥画素を区別することを特徴とする。図5は、実施例3における欠陥画素検出回路2081の構成図である。以下、図5を用いて詳細に説明する。なお、本実施例においては、G画素に発生した点滅欠陥を検出する場合を例にとって説明する。
 図5において、A/D変換回路205からデジタル画像データが欠陥画素検出回路2081に入力される。まず、ゼロ挿入回路501において、図6(a)に示すように入力された画像データのG画素以外にゼロ値を挿入する。
 次に、垂直方向低域通過フィルタ(ローパスフィルタ、以下、LPFと記す)回路502において、画像データの垂直方向に対する(1,2,1)などのフィルタ係数を持つLPF処理を行う。垂直方向のLPF処理により、図6(b)に示すように、ゼロ値の画素が垂直方向の画素から補間され、欠陥画素の上下の画素は欠陥画素のデータを用いて補間される。同様にして、水平方向LPF回路503において、画像データの水平方向に対するLPF処理を行う。水平方向のLPF処理により、図6(c)に示すように、ゼロ値の画素が水平方向の画素から補間され、欠陥画素の左右の画素は欠陥画素のデータを用いて補間される。
 また、135度方向LPF回路504において、画像データの135度方向に対するLPF処理を行う。135度方向LPF処理により、図6(d)に示すように、ゼロ値の画素が135度方向の画素から補間され、欠陥画素の135度方向の隣接画素は欠陥画素のデータを用いて補間される。さらに、45度方向LPF回路505において、画像データの45度方向に対するLPF処理を行う。45度方向LPF処理により、図6(e)に示すように、ゼロ値の画素が45度方向の画素から補間され、欠陥画素の45度方向の隣接画素は欠陥画素のデータを用いて補間される。
 続いて、直流成分をカットする水平方向帯域通過フィルタ(バンドパスフィルタ、以下、BPFと記す)回路506において、垂直方向LPF回路502の出力データの水平方向に対する(-1,0,2,0,-1)などのフィルタ係数を持つBPF処理を行う。図6(f)に示すように、LPF処理と直交した方向にBPF処理を行うため、欠陥画素のデータを用いて補間された画素を参照することはない。同様にして、直流成分をカットする垂直方向BPF回路507において、水平方向LPF回路503の出力データの垂直方向に対するBPF処理を行う。図6(g)にBPF処理の方向を図示している。
 また、45度方向BPF回路508において、135度方向LPF回路504の出力データの45度方向に対するBPF処理を行う。図6(h)にBPF処理の方向を図示している。さらに、135度方向BPF回路509において、45度方向LPF回路505の出力データの135度方向に対するBPF処理を行う。図6(i)にBPF処理の方向を図示している。
 ABS(絶対値)回路510は、水平方向BPF回路506の出力データの絶対値を出力する。ABS回路511は、垂直方向BPF回路507の出力データの絶対値を出力する。ABS回路512は、45度方向BPF回路508の出力データの絶対値を出力する。ABS回路513は、135度方向BPF回路509の出力データの絶対値を出力する。
また、A/D変換回路205から出力されたデジタル画像データは、輝度信号生成回路514に入力される。輝度信号生成回路514は、下記の式7に基づき、R,G,Bのベイヤー配列からなる画像データから輝度信号Yを生成する。
  Y=0.299R+0.587G+0.114B・・・(式7)
 水平方向BPF回路506、垂直方向BPF回路507、45度方向BPF回路508及び135度方向BPF回路509の出力は、白傷黒傷判定回路518に入力される。白傷黒傷判定回路518は、正または負を示す符号を参照して、傷であるか否かを示す傷フラグ519(1bit)と、白傷(白点欠陥画素)であるのか黒傷(黒点欠陥画素)であるのかを区別するための白黒フラグ520(1bit)を出力する。
 傷フラグ519は、すべてのBPF処理結果が同じ符号であれば1になり、符号が1つでも異なれば0になる。傷フラグ519が0のときは対象画素が欠陥画素ではないことを示し、1のときは対象画素が欠陥画素であることを示す。また、白傷黒傷判定回路518は、傷フラグ519をセレクタ521に供給する。セレクタ521は、供給された傷フラグ519を選択信号として動作する。
 白黒フラグ520は、すべてのBPF処理結果が正の符号であれば、対象画素が白傷であることを示す1になり、すべてのBPF処理結果が負の符号であれば、黒傷であることを示す0になる。白傷黒傷判定回路518は、白黒フラグ520を閾値判定回路515に供給する。閾値判定回路515では、ABS回路510~513から入力される4方向のBPF処理結果の絶対値と、任意に設定した閾値(前記第一の閾値、第二の閾値)とを比較することにより、対象画素が欠陥画素であるか否かを判定する。
 ここで、図7を用いて閾値判定回路515について説明する。傷レベル変換回路701において、ABS回路510から入力される水平方向のBPF処理結果の絶対値を参照して、傷レベル(欠陥レベル)を算出する。また、傷レベル変換回路702においては、ABS回路511から入力される垂直方向のBPF処理結果の絶対値を参照し、同様に傷レベルを算出する。傷レベル変換回路703においては、ABS回路512から入力される45度方向のBPF処理結果の絶対値を参照し、同様に傷レベルを算出する。傷レベル変換回路704においては、ABS回路513から入力される135度方向のBPF処理結果の絶対値を参照し、同様に傷レベルを算出する。
 図8は、傷レベル変換回路701~704の処理を説明する図である。図8の横軸は、ABS回路510~513から傷レベル変換回路701~704に入力されるBPF処理後の絶対値(すなわち、欠陥の度合いを示す値)を示す。また、図8の縦軸は、傷レベル変換回路701~704の出力(8bitとする)であり、欠陥画素の欠陥レベル(傷レベル)を示す。傷レベルが0であるときに欠陥画素でないことを表し、255であるときに欠陥画素であることを表す。傷レベルが0より大きく255より小さい値は、正常な画素と欠陥画素の区別がつきにくいような程度の画素であることを意味する。
 図8(a)及び(b)に示す閾値801、802は、RAM217に読み込まれた点滅欠陥画素のアドレスデータを参照し、処理中の画素が点滅欠陥画素であると判断するための閾値である。白傷黒傷判定回路518から入力される白黒フラグ520を参照し、白傷である場合と黒傷である場合とで閾値を別々に設定できるようにする。これは、後述する輝度信号による閾値の変動処理によって白傷と黒傷で特性が異なる為である。
 また、図8(c)及び(d)に示す閾値803、804は、RAM217に読み込まれた点滅欠陥画素のアドレスデータを参照し、処理中の画素が未検出欠陥画素であると判断するための閾値である。同様に、白傷である場合と黒傷である場合とで閾値を別々に設定できるようにする。図8(a)、(b)に示す入出力関係を点滅欠陥画素の場合に適用し、閾値801を白傷の場合の前記第一の閾値、閾値802を黒傷の場合の前記第一の閾値とする。また、図8(c)、(d)に示す入出力関係を未検出欠陥画素の場合に適用し、閾値803を白傷の場合の前記第二の閾値、閾値804を黒傷の場合の前記第二の閾値とする。
 また、閾値801~804は、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路514から入力される輝度信号Yとを乗算した値とする。輝度信号Yにより閾値を変動させる理由は、輝度が高いほどノイズが大きくなることに対する対策のためである。ノイズ量によって閾値を変え、輝度が高いほど閾値を大きくすることにより、ノイズを傷であると誤判定をすることを抑制する。
 また、傾き805~808についても、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路514から入力される輝度信号Yとを乗算した値とする。このとき閾値801、802は、前記LPF、BPFのフィルタ特性を鑑みて、残留するエッジ成分を検出しない値に設定する。また、閾値803、804は、欠陥画素の特性に類似する点光源などの被写体の出力信号レベルと検出したい欠陥画素のレベルから、欠陥画素補正部81の欠陥画素補正方法の補正精度を考慮し、出力される画質に与える弊害を最小とする値に設定する。図7における乗算器705~707において、傷レベル変換回路701~704の出力をすべて乗算した結果を、対象画素について閾値判定による傷レベルとして出力する。
 図5における相関判定回路516には、ABS回路510~513から4方向のBPF処理結果の絶対値が入力される。相関判定回路516では、入力される4方向のBPF処理結果の絶対値を大小比較し、欠陥画素であるか否かを判定する。図9を用いて相関判定回路516について説明する。
 最大値選択回路901は、ABS回路510から入力される水平方向のBPF処理結果の絶対値と、ABS回路511から入力される垂直方向のBPF処理結果の絶対値とを比較し、大きい方の値を出力する。最小値選択回路902は、ABS回路510から入力される水平方向のBPF処理結果の絶対値と、ABS回路511から入力される垂直方向のBPF処理結果の絶対値とを比較し、小さい方の値を出力する。
 最大値選択回路903は、ABS回路512から入力される45度方向のBPF処理結果の絶対値と、ABS回路513から入力される135度方向のBPF処理結果の絶対値とを比較し、大きい方の値を出力する。最小値選択回路904は、ABS回路512から入力される45度方向のBPF処理結果の絶対値と、ABS回路513から入力さえる135度方向のBPF処理結果の絶対値とを比較し、小さい方の値を出力する。
 最大値選択回路905は、最大値選択回路901の出力と、最大値選択回路903の出力とを比較し、大きい方の値を出力する。この出力は、4方向すべてのBPF処理結果の最大値を示す。最小値選択回路906は、最小値選択回路902の出力と、最小値選択回路904の出力とを比較し、小さい方の値を出力する。この出力は、4方向すべてのBPF処理結果の最小値を示す。
 減算器907において、最大値選択回路905の出力から最小値選択回路906の出力を減算する。この減算結果は、4方向のBPF処理結果の最大の差分を示し、絶対値の最大値から絶対値の最小値を減算したものであるため、必ず0以上の正の値になる。傷レベル変換回路908は、減算器907の出力である4方向のBPF処理結果の最大値と最小値の差分を傷レベルに変換して出力する。
 図10は、傷レベル変換回路908の処理を説明する図である。図10の横軸は、傷レベル変換回路908の入力データである。また、図10の縦軸は、傷レベル変換回路908の出力データ(8bitとする)であり、これが傷レベルとなる。傷レベルが、0であるときに欠陥画素でないことを表し、255であるときに欠陥画素であることを表す。入力される4方向のBPF処理結果の最大値と最小値の差分が閾値1001よりも小さい場合に、傷レベル255を出力する。傷レベルが0より大きく255より小さい値は、正常な画素と欠陥画素の区別がつきにくいような程度の画素であることを意味する。
 閾値1001は、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路514から入力される輝度信号Yとを乗算した値とする。また、傾き1002についても、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路514から入力される輝度信号Yとを乗算した値とする。相関判定回路516は、傷レベル変換回路908の処理結果を対象画素についての相関判定による傷レベルとして出力する。なお、閾値判定回路515及び相関判定回路516の傷レベルをいずれも8bitで表すように記載したが、これに限らず双方のビット幅が異なっても良い。
 図5の乗算器517において、閾値判定回路515から出力される傷レベルと、相関判定回路516から出力される傷レベルを乗算する。ここで、閾値判定回路515は、ノイズが大きい場合に、ノイズを傷(欠陥画素)として誤判定してしまう可能性がある。一方、相関判定回路516は、対象画素と、その上下左右斜め方向の周辺画素との差分のばらつきを見ている。そのため、ノイズが大きい場合には、上記した差分がばらつき、傷(欠陥画素)ではないと判定することができる。すなわち、閾値判定回路515による誤判定を防ぐ役割を果たしている。
 また逆に、相関判定回路516から出力される傷レベルは、対象画素が欠陥画素でない場合に、4方向のBPF処理結果が0に近い値となり、それらの最大値と最小値の差分も0に近くなるために、欠陥画素であると誤判定してしまう可能性がある。そのような誤判定を防ぐために、閾値判定回路515において、対象画素が、その上下左右斜め方向の周辺画素と比較してある程度のレベル差がある場合に欠陥画素であると判定することが必要となる。
 図5におけるセレクタ521は、白傷黒傷判定回路518から出力される傷フラグ519が1である(すなわち、対象画素が欠陥画素である)場合に、乗算器517の演算結果を傷レベルKとして出力する。また、傷フラグ519が0である(すなわち、対象画素が欠陥画素ではない)場合に、正常な画素であることを示す0を傷レベルKとして出力する。傷レベルKは、セレクタ521から欠陥画素補正回路2082に出力される。
 次に、図11を用いて欠陥画素補正回路2082について説明する。欠陥画素補正回路2082には、A/D変換回路205から欠陥画素を含む画像データが入力され、欠陥画素検出回路2081から傷レベルKが入力される。補正値算出回路1101において、A/D変換回路205から入力される欠陥画素を含む画像データORGに対し、例えば(1,0,1)など、対象画素を参照しないような係数のフィルタをかけることで補正値CORを算出する。または、画像データORGからエッジの方向判別を行い、エッジの方向に沿った画素を参照して補正値CORを求めても良いし、前値補間を行っても良い。
 次に、加重加算回路1102において、欠陥画素検出回路2081において求めた傷レベルKの値にしたがって、A/D変換回路205から入力される画像データORGと、補正値算出回路1101において算出された補正値CORとを加重加算する。例えば、下記のような式に基づいて加重加算を実施する。
  OUT=COR×K+ORG×(255-K)・・・(式8)
 傷レベルKは、0~255までの値であり、対象画素が正常な画素である場合にはKが0に近くなるため、信号ORGの値が出力される。また、対象画素が欠陥画素である場合にはKが255に近くなるため、信号CORの値が出力される。このようにして、欠陥画素のデータが補正値CORに置き換わることになる。
 ここまでG画素に欠陥画素がある場合について述べたが、R画素およびB画素に欠陥画素がある場合についても、同様にして実現可能である。すなわち、R画素以外にゼロを挿入、または、B画素以外にゼロを挿入して、フィルタリング処理を各方向について実行すれば良い。
 本実施例によれば、所望の空間周波数帯域の信号を抽出することにより、事前に点滅欠陥画素であると判定された画素に対しては、エッジやノイズと欠陥画素とを区別することができる。また、事前に欠陥画素であると判定されていない欠陥画素についても、閾値を変えることで撮影画像に与える弊害を軽減した欠陥画素補正処理を実現することが可能である。
 (実施例4)
 実施例4は、点滅欠陥画素が点灯状態になる頻度、すなわち、その出力信号値が異常値となる頻度に応じて、欠陥検出に用いる閾値を変更する閾値算出部を持つことを特徴とする。閾値算出部の出力は、欠陥画素検出部2081で欠陥画素の検出に用いられる閾値(実施例2、実施例3では第一の閾値)となる。
 図12を用いて、実施例4における閾値算出部1201(閾値算出手段)について説明する。RAM217には、ROM216に予め記憶されている点滅欠陥画素の点滅周期情報1205、閾値の調整を行うための閾値調整値1206、閾値の基準となる基準閾値1207が転送されて一時的に記憶されており、それぞれ閾値算出部1201に出力される。ここで、点滅周期情報1205は、点滅欠陥画素が点灯状態になる頻度、すなわち、その出力信号値が異常値となる頻度に関する情報を表している。
 閾値算出部1201に入力された点滅周期情報1205は、点滅率演算回路1202において点滅率信号1208に変換される。点滅率信号1208は、点滅欠陥画素が欠陥画素となる割合を示す信号であり、例えば点灯頻度が4回に1回であれば1/4が出力される。点滅率演算回路1202から出力された点滅率信号は、乗算器1203に入力され、閾値調整値1206と乗算される。次に、乗算器1203の出力は減算器1204に入力され、基準閾値1207から減算される。減算器1204の出力は欠陥画素検出部2082に入力され、欠陥画素検出部2082における点滅欠陥画素の欠陥画素検出に用いる閾値となる。
 ここで、基準閾値1207は、図3(b)のように点滅欠陥画素が比較的振幅の大きい欠陥画素として振舞っている場合に、欠陥画素検出部2081において欠陥として検出される値とする。また、閾値調整値1206は、図3の(c)のように点滅欠陥画素上に高周波成分が存在する場合に、欠陥画素検出部2081による欠陥検出処理S103の出力値を基準閾値1207から減算したものである。この場合、式2及び式4より、215-100=115となる。
 点滅率信号1208が1/4である場合、閾値調整値1206に乗算され、さらに基準閾値1207から減算することで
  215-(115×(1/4))=187・・・(式9)
が出力され、欠陥画素検出部2081における欠陥画素検出の閾値となる。
 このように、本実施例では、点滅欠陥画素の点灯頻度に応じて欠陥画素の検出に用いる閾値を変えることで、頻繁に欠陥画素として振舞う点滅欠陥画素を欠陥として検出されやすくなり、点滅欠陥画素による画質劣化を軽減できる。また、点滅欠陥画素は常時欠陥とはならず、点滅率信号は常に1より小さい値となるため、閾値調整値1206を点滅欠陥画素による成分と高周波成分による成分の差分値とすることで、点滅の周期が非常に短い点滅欠陥画素に対しても、高周波成分による誤検出を軽減できる。
 なお、本発明は、前記実施例1乃至4に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
 また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
 203 撮像素子
 208 欠陥画素検出補正部
 2081 欠陥画素検出部
 2082 欠陥画素補正部
 215 システム制御部
 216 ROM
 217 RAM
 1201 閾値算出部

Claims (12)

  1.  被写体からの入射光を光電変換する撮像素子と、
     前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、
     前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、
     前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段と、
    を有することを特徴とする撮像装置。
  2.  前記判定手段は、前記点滅欠陥画素の欠陥の度合いを示す値を所定の閾値とを比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項1に記載の撮像装置。
  3.  定常的に異常値の信号を出力する定常欠陥画素と前記点滅欠陥画素を予め記憶する記憶手段を有し、前記判定手段は、前記点滅欠陥画素の欠陥の度合いを示す値と第一の閾値とを比較することで前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記記憶手段に前記定常欠陥画素および前記点滅欠陥画素として記憶されていない画素の欠陥の度合いを示す値を第二の閾値と比較することで該画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項1に記載の撮像装置。
  4.  前記判定手段は、前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項2または3に記載の撮像装置。
  5.  前記判定手段は、前記点滅欠陥画素における少なくとも2方向について直流成分をカットするフィルタ手段を備え、前記フィルタ手段の出力データの絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項2または3に記載の撮像装置。
  6.  前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報を記憶する記憶手段と、前記頻度に関する情報に応じて前記所定の閾値を算出する閾値算出手段を有することを特徴とする請求項2に記載の撮像装置。
  7.  被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、
     前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、
     前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップと、
    を有することを特徴とする欠陥画素補正方法。
  8.  前記制御ステップでは、前記点滅欠陥画素の欠陥の度合いを示す値を所定の閾値とを比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項7に記載の欠陥画素補正方法。
  9.  定常的に異常値の信号を出力する定常欠陥画素と前記点滅欠陥画素が予め記憶され、前記制御ステップでは、前記点滅欠陥画素の欠陥の度合いを示す値と第一の閾値とを比較することで前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記定常欠陥画素および前記点滅欠陥画素として記憶されていない画素の欠陥の度合いを示す値を第二の閾値と比較することで該画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項7に記載の欠陥画素補正方法。
  10.  前記制御ステップでは、前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項8または9に記載の欠陥画素補正方法。
  11.  前記制御ステップでは、前記点滅欠陥画素における少なくとも2方向について直流成分をカットするフィルタ処理を実行し、前記フィルタ処理の出力データの絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項8または9に記載の欠陥画素補正方法。
  12.  前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報に応じて前記所定の閾値を算出することを特徴とする請求項8に記載の欠陥画素補正方法。
PCT/JP2009/067353 2009-10-05 2009-10-05 撮像装置の欠陥検出方法及び撮像装置 WO2011042948A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2009/067353 WO2011042948A1 (ja) 2009-10-05 2009-10-05 撮像装置の欠陥検出方法及び撮像装置
CN200980161818.9A CN102550017B (zh) 2009-10-05 2009-10-05 摄像设备及其缺陷像素校正方法
JP2011535224A JP5631325B2 (ja) 2009-10-05 2009-10-05 撮像装置の欠陥検出方法及び撮像装置
US12/892,815 US8208046B2 (en) 2009-10-05 2010-09-28 Method of detecting defect in image pickup apparatus and the image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/067353 WO2011042948A1 (ja) 2009-10-05 2009-10-05 撮像装置の欠陥検出方法及び撮像装置

Publications (1)

Publication Number Publication Date
WO2011042948A1 true WO2011042948A1 (ja) 2011-04-14

Family

ID=43822912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/067353 WO2011042948A1 (ja) 2009-10-05 2009-10-05 撮像装置の欠陥検出方法及び撮像装置

Country Status (4)

Country Link
US (1) US8208046B2 (ja)
JP (1) JP5631325B2 (ja)
CN (1) CN102550017B (ja)
WO (1) WO2011042948A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244250A (ja) * 2012-05-28 2013-12-09 Fujifilm Corp 電子内視鏡装置及びその撮像画像補正方法
JP2016082484A (ja) * 2014-10-20 2016-05-16 株式会社ニコン 撮像装置
WO2016151823A1 (ja) * 2015-03-25 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2017017743A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5655355B2 (ja) * 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
JP5615155B2 (ja) * 2009-12-22 2014-10-29 キヤノン株式会社 画像処理装置及び方法
KR101696672B1 (ko) * 2010-05-10 2017-01-17 삼성전자주식회사 영상 신호 처리 방법 및 이를 이용하는 영상 촬영 방법
JP5696026B2 (ja) * 2011-11-25 2015-04-08 株式会社 日立産業制御ソリューションズ 撮像装置、撮像方法および監視システム
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
CN104584532B (zh) * 2012-08-23 2017-07-28 富士胶片株式会社 图像处理装置、摄像装置、计算机、图像处理方法及程序
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
DE102013209165A1 (de) 2013-05-17 2014-11-20 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Pixelkorrekturverfahren
CN105682534B (zh) * 2013-12-25 2017-10-27 奥林巴斯株式会社 内窥镜系统以及像素校正方法
JP6291940B2 (ja) * 2014-03-20 2018-03-14 株式会社ソシオネクスト 欠陥画素補正装置、撮像装置、及び欠陥画素補正方法
WO2016117034A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2016147325A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2017055308A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055309A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
DE112017003263T5 (de) * 2016-06-29 2019-03-14 Olympus Corporation Endoskop
US10270995B1 (en) * 2017-10-19 2019-04-23 Kromek Group, PLC Automated non-conforming pixel masking
JP6860538B2 (ja) * 2018-09-26 2021-04-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
US11509845B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. Multiple frame defect pixel detection and correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042780A (ja) * 2006-08-09 2008-02-21 Fujifilm Corp 固体撮像素子の検査装置
JP2008131273A (ja) * 2006-11-20 2008-06-05 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2008311834A (ja) * 2007-06-13 2008-12-25 Nec Corp 欠陥画素補正装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057618B2 (ja) 2001-07-25 2012-10-24 オリンパス株式会社 撮像装置
US7657116B2 (en) * 2003-10-08 2010-02-02 Canon Kabushiki Kaisha Correction method of defective pixel in image pickup device and image processing apparatus using the correction method
CN100550979C (zh) * 2005-12-31 2009-10-14 台湾新力国际股份有限公司 动态缺陷校正方法和装置
US7684634B2 (en) * 2006-08-29 2010-03-23 Raytheon Company System and method for adaptive non-uniformity compensation for a focal plane array
JP5266957B2 (ja) * 2008-08-21 2013-08-21 パナソニック株式会社 欠陥画素検出装置、撮像装置、および欠陥画素検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042780A (ja) * 2006-08-09 2008-02-21 Fujifilm Corp 固体撮像素子の検査装置
JP2008131273A (ja) * 2006-11-20 2008-06-05 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2008311834A (ja) * 2007-06-13 2008-12-25 Nec Corp 欠陥画素補正装置及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244250A (ja) * 2012-05-28 2013-12-09 Fujifilm Corp 電子内視鏡装置及びその撮像画像補正方法
JP2016082484A (ja) * 2014-10-20 2016-05-16 株式会社ニコン 撮像装置
WO2016151823A1 (ja) * 2015-03-25 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2016151823A1 (ja) * 2015-03-25 2018-02-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10104323B2 (en) 2015-03-25 2018-10-16 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
WO2017017743A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10425602B2 (en) 2015-07-24 2019-09-24 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
JPWO2011042948A1 (ja) 2013-02-28
US20110080505A1 (en) 2011-04-07
US8208046B2 (en) 2012-06-26
JP5631325B2 (ja) 2014-11-26
CN102550017B (zh) 2014-12-10
CN102550017A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5631325B2 (ja) 撮像装置の欠陥検出方法及び撮像装置
JP4388909B2 (ja) 画素欠陥補正装置
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
JP3747909B2 (ja) 画素欠陥検出補正装置及び画素欠陥検出補正方法
JP4985403B2 (ja) 画像処理システムおよび画像処理プログラム
US8970742B2 (en) Image processing apparatus and method capable of performing correction process speedily and easily
US8804011B2 (en) Imaging device
JP2006013988A (ja) イメージセンサ
JP2011071616A (ja) 画像処理装置
JP2005123946A (ja) 欠陥画素検出方法、検出装置および撮像装置
JP2011041056A (ja) 撮像装置及び撮像方法
JP4591046B2 (ja) 欠陥検出補正回路及び欠陥検出補正方法
JP4679174B2 (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
JP2010068329A (ja) 撮像装置
JP4719442B2 (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP4166974B2 (ja) 画素キズ検出・補正装置
JP2011114473A (ja) 画素欠陥補正装置
JP2010056817A (ja) 撮像装置
JP4130275B2 (ja) 映像信号処理装置
JP2002271806A (ja) Ccd撮像素子の画素欠陥信号補正回路
JP2006148748A (ja) 画素欠陥補正装置および画素欠陥補正方法
JP2016082390A (ja) 信号処理装置
JP4993275B2 (ja) 画像処理装置
JP2013225772A (ja) 画像処理装置及び方法
JP2010178384A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980161818.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09850221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011535224

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09850221

Country of ref document: EP

Kind code of ref document: A1