WO2012117616A1 - 撮像装置及び欠陥画素補正方法 - Google Patents

撮像装置及び欠陥画素補正方法 Download PDF

Info

Publication number
WO2012117616A1
WO2012117616A1 PCT/JP2011/075736 JP2011075736W WO2012117616A1 WO 2012117616 A1 WO2012117616 A1 WO 2012117616A1 JP 2011075736 W JP2011075736 W JP 2011075736W WO 2012117616 A1 WO2012117616 A1 WO 2012117616A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
correction
pixels
defective
correction target
Prior art date
Application number
PCT/JP2011/075736
Other languages
English (en)
French (fr)
Inventor
豪彦 矢村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013502146A priority Critical patent/JP5740465B2/ja
Priority to CN201180068655.7A priority patent/CN103404123B/zh
Publication of WO2012117616A1 publication Critical patent/WO2012117616A1/ja
Priority to US14/011,084 priority patent/US9729805B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Definitions

  • the present invention relates to an imaging device and a defective pixel correction method.
  • correction of a defective pixel is performed by replacing a signal obtained from the defective pixel with an average value of signals obtained from pixels having the same color as the defective pixel around the defective pixel.
  • correction marks may become noticeable in such a general correction method. The reason will be described below.
  • FIG. 13 is a diagram showing a pixel array of a solid-state image sensor on which a Bayer array color filter is mounted.
  • the blocks with “R” indicate R pixels that detect red light
  • the blocks with “B” indicate B pixels that detect blue light
  • the blocks with “Gr” indicate green G pixels that detect light have R pixels on the left and right
  • blocks with “Gb” indicate that G pixels that detect green light have B pixels on the left and right.
  • the solid-state imaging device includes three types of pixels, an R pixel, a G pixel, and a B pixel.
  • the G pixel can be divided into two types of attributes (Gr pixel and Gb pixel) in which the arrangement of the surrounding R pixel and B pixel is different.
  • this defective pixel is adjacent to the defective pixel in the X-direction (diagonally upper right, oblique lower right, oblique upper left). If correction is performed using four Gb pixels (Gr pixels) diagonally adjacent to the lower left, correction is performed using the output signal of the Gb pixel (Gr pixel) in which the level difference occurs, It is difficult to bring the output level close to the original level.
  • the defective pixel at the position of the Gr pixel is corrected using the four Gr pixels (Gb pixels) that are close to the defective pixel in the cross direction (close to the top, bottom, left, and right of the defective pixel).
  • Gb pixels the four Gr pixels
  • this correction method correction is performed using a signal of a pixel located far from the defective pixel, as compared with a method of performing correction using four pixels adjacent to the defective pixel in the X-direction. In high-frequency images, it is difficult to bring the output level of defective pixels close to the original level.
  • Patent Documents 1 to 3 listed below are methods for correcting a signal of a defective pixel using signals of pixels around the pixel.
  • Patent Document 1 as a method for correcting a defective pixel in a solid-state imaging device equipped with a color filter with a Bayer array, correction is performed using an output signal of the same color pixel as the defective pixel adjacent to the defective pixel in the cross direction. Either the correction process of the defect pixel or the second correction process for correcting using the output signal of the pixel of the same color as the defective pixel adjacent to the defective pixel in the X-shaped direction, the output signal of the defective pixel and the defective pixel A method of selecting and executing based on a correlation with an output signal of pixels of the same color adjacent to the same color is described.
  • Patent Document 2 describes a method of correcting the output signal of the correction target pixel using the output signal of the same color pixel adjacent to the correction target pixel in the cross direction.
  • Patent Document 3 describes a method of correcting an output signal of a correction target pixel using output signals of eight pixels adjacent to the correction target pixel.
  • the apparatus described in Patent Document 1 selects a correction method based on the correlation between the output signal of a defective pixel and the output signals of surrounding pixels, the second correction is also performed for a high-frequency image. Processing may be performed, and in this case, correction marks on the high-frequency image become conspicuous.
  • Patent Document 2 Since the apparatus described in Patent Document 2 performs only the process of correcting the output signal of the correction target pixel using the output signal of the same color pixel adjacent to the correction target pixel in the cross direction, the correction for the high-frequency image is performed. The problem that the marks are conspicuous cannot be solved.
  • the correction method described in Patent Document 3 is a solid-state imaging device in which there are a plurality of types of same-color pixels (Gr pixels, Gb pixels) having different pixel arrangements as in the solid-state imaging device shown in FIG.
  • correction data is generated using signals of different colors, and correction marks after defective pixel correction become conspicuous.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus and a defective pixel correction method capable of improving the accuracy of defective pixel correction.
  • the imaging device of the present invention is a solid-state imaging device for color imaging having at least a first pixel group including at least three types of pixels having different detection wavelength ranges arranged in a two-dimensional shape, and is output from the solid-state imaging device.
  • An image pickup apparatus having a defective pixel correction unit that performs defective pixel correction on a picked-up image signal, wherein one of the at least three types of pixels includes the pixel arranged around the pixel and the pixel Are divided into two types of pixels having different arrangements of different types of pixels, and the defective pixel correction unit determines whether the correction target pixel is one of the two types of attribute pixels. It is determined whether or not an edge portion of a subject is applied to the surrounding pixels of the first pixel group.
  • a first correction process is performed, and the edge portion is Hanging If it is determined that there is no correction, a second correction process is performed, and the first correction process outputs pixels of the same type and different attributes as the correction target pixel close to the correction target pixel in the first pixel group.
  • a signal is used to correct an output signal of the correction target pixel, and the second correction process is the same type and the same attribute as the correction target pixel close to the correction target pixel in the first pixel group. This is a process of correcting the output signal of the correction target pixel using the output signal of the pixel.
  • the disclosed defective pixel correction method is a solid-state for color imaging having at least a first pixel group including at least three types of pixels having different detection wavelength ranges arranged two-dimensionally.
  • a defective pixel correction method for performing defective pixel correction on a captured image signal output from an image sensor wherein one type of the at least three types of pixels includes the pixel arranged around the pixel and the pixel Is divided into two types of pixels with different arrangements of different types of pixels, and when the correction target pixel is one of the two types of attribute pixels, the correction pixel is around the correction target pixel.
  • An edge determination step for determining whether or not an edge portion of a subject is applied to a pixel of the first pixel group, and a first correction process is performed when it is determined that the edge portion is applied, and the edge A correction processing step for performing a second correction process when it is determined that the portion is not covered, and the first correction process includes the correction target pixel adjacent to the correction target pixel in the first pixel group.
  • the output signal of the correction target pixel is corrected using the output signal of the pixel of the same type and different attribute, and the second correction process is close to the correction target pixel in the first pixel group This is a process of correcting the output signal of the correction target pixel using the output signal of the pixel of the same type and the same attribute as the correction target pixel.
  • the present invention it is possible to provide an imaging apparatus and a defective pixel correction method capable of improving the accuracy of defective pixel correction.
  • FIG. 1 is a schematic plan view showing the configuration of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the figure for demonstrating the 1st correction process and the 2nd correction process which the defective pixel correction part 19 in the digital camera shown by FIG. 1 performs The figure for demonstrating an example of the edge determination process which the defective pixel correction part 19 in the digital camera shown by FIG. 1 performs
  • FIG. 1 is a schematic plan view showing a first modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • FIG. 2 is a schematic plan view showing a second modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • FIG. 2 is a schematic plan view showing a third modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • FIG. 1 is a schematic plan view showing a fourth modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • FIG. 1 is a schematic plan view showing a fifth modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging device include an imaging device such as a digital camera and a digital video camera, an imaging module mounted on an electronic endoscope, a camera-equipped mobile phone, and the like.
  • a digital camera will be described as an example.
  • the imaging system of the digital camera shown in FIG. 1 includes a photographic lens 1 including a focus lens, a zoom lens, and the like, a solid-state imaging device 5 for color imaging, which is a CCD type or MOS type image sensor, and the like.
  • An aperture stop 2 an infrared cut filter 3, and an optical low-pass filter 4 are provided.
  • a system control unit 11 that performs overall control of the entire electric control system of the digital camera controls the lens driving unit 8 to adjust the focus lens position and zoom lens position of the photographic lens 1, and controls the aperture 2 via the aperture driving unit 9.
  • the amount of exposure is adjusted by controlling the amount of opening.
  • system control unit 11 drives the solid-state imaging device 5 via the imaging device driving unit 10 and outputs a subject image captured through the photographing lens 1 as a captured image signal.
  • An instruction signal from the user is input to the system control unit 11 through the operation unit 14.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the solid-state imaging device 5, and an image output from the analog signal processing unit 6.
  • An A / D conversion circuit 7 that converts an image signal into a digital signal is provided, and these are controlled by the system control unit 11.
  • the electric control system of the digital camera is configured to perform gamma correction operation, RGB on the main memory 16, the memory control unit 15 connected to the main memory 16, and the captured image signal output from the A / D conversion circuit 7.
  • Digital signal processing unit 17 that generates captured image data by performing / YC conversion processing, etc., and compression / decompression that compresses captured image data generated by the digital signal processing unit 17 into JPEG format or decompresses compressed image data
  • External memory control to which a defective pixel correction unit 19 that performs defective pixel correction, which will be described in detail later, and a detachable recording medium 21 are connected to the processing unit 18 and the captured image signal output from the A / D conversion circuit 7.
  • the memory control unit 15 digital signal processing unit 17, compression / decompression processing unit 18, defective pixel correction unit 19, external memory control unit 20, and display control unit 22 are connected to each other by a control bus 24 and a data bus 25. It is controlled by a command from the control unit 11.
  • FIG. 2 is a schematic plan view showing the configuration of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the solid-state imaging device 5 includes a plurality of pixels (51, 52, 53, 54) arranged two-dimensionally (in the example of FIG. 2 in the form of a square lattice) in a row direction X and a column direction Y orthogonal thereto.
  • Each pixel included in the solid-state imaging element 5 includes a photoelectric conversion element such as a photodiode, and a color filter provided above the photoelectric conversion element.
  • the plurality of pixels includes an R pixel 51 that detects red light (labeled “R” in FIG. 2) and a B pixel 52 that detects blue light (marked “B” in FIG. 2). And three types of pixels having different detection wavelength ranges of G pixels (53, 54 (indicated by the letters “Gr, Gb” in FIG. 2)) for detecting green light. Various types of pixels are arranged in a Bayer shape.
  • the plurality of pixels include columns in which R pixels 51 and G pixels 54 are alternately arranged in the row direction X, and rows in which G pixels 53 and B pixels 52 are alternately arranged in the row direction X. They are arranged alternately in the direction Y.
  • the plurality of pixels are obtained by arranging the four pixels (R pixel 51, B pixel 52, G pixel 53, 54) in the upper left corner in FIG. 2 as one unit pixel and arranging the unit pixels in a square lattice pattern. It has become.
  • the G pixel that detects green light has two types of attribute pixels (R pixels 51 and B pixels 52 that are different from the G pixel around the G pixel and have different arrangements). G pixel 53 and G pixel 54).
  • the G pixel 53 having the B pixel 52 on the left and right is referred to as a Gb pixel 53
  • the G pixel 54 having the R pixel 51 on the left and right is referred to as a Gr pixel 54.
  • the letter “Gb” is attached to the Gb pixel 53
  • the letter “Gr” is attached to the Gr pixel 54.
  • the Gb pixel 53 and the Gr pixel 54 have different arrangements of the surrounding R pixel 51 and B pixel 52. For this reason, when oblique light is incident on the solid-state imaging device 5, there is a level difference caused by color mixture depending on the incident direction of incident light between the output signal of the Gb pixel 53 and the output signal of the Gr pixel 54. appear.
  • the defective pixel correction unit 19 outputs a captured image signal from the solid-state imaging device 5 output from the A / D conversion circuit 7 and temporarily stored in the main memory 16 (a set of output signals of each pixel included in the solid-state imaging device 5). ) To perform defective pixel correction.
  • the defective pixel correction is a process of correcting a signal output from a defective pixel among all the pixels included in the solid-state imaging device 5 by using an output signal of a pixel of the same type as the defective pixel around the defective pixel. Say that.
  • the defective pixel correction unit 19 can specify a pixel to be corrected (correction target pixel) using this information.
  • the address information of the defective pixel of the solid-state imaging device 5 and the information indicating the type (detected color) of the defective pixel may be updated as needed when a defective pixel occurs after the digital camera is shipped.
  • the defective pixel correction unit 19 can also correct so-called late scratches that occur after shipment of the digital camera.
  • the defective pixel correction unit 19 performs the first correction when the correction target pixel is a G pixel that is a type of pixel that is divided into two types of attributes among the three types of pixels included in the solid-state imaging device 5. Either the process or the second correction process is selected and executed to correct the output signal of the G pixel.
  • the output signal of the correction target pixel is the same type and different attribute as the correction target pixel close to the correction target pixel. This is a process of correcting using the output signal of the pixel.
  • the second correction process refers to a process of correcting the output signal of the correction target pixel using the output signal of the same type and the same attribute as the correction target pixel close to the correction target pixel.
  • FIG. 3 is a diagram for explaining the first correction process and the second correction process executed by the defective pixel correction unit 19 in the digital camera shown in FIG.
  • FIG. 3A is a diagram for explaining the first correction processing
  • FIG. 3B is a diagram for explaining the second correction processing.
  • FIG. 3 shows a part (5 rows ⁇ 5 columns) of pixels of the solid-state imaging device 5 shown in FIG. 2 (reference numerals are omitted).
  • the Gr pixel (marked with a circle) in the middle of the 25 pixels shown in FIG. 3A and FIG. 3B is the correction target pixel.
  • the defective pixel correcting unit 19 includes four Gb pixels (hatching in FIG. 3A) close to the Gr pixel that is the correction target pixel in the X direction (lower right, upper right, lower left, and upper left of the Gr pixel). Is used to correct the output signal of the Gr pixel. For example, the correction is performed by replacing the output signal of the Gr pixel marked with a circle with the average value of the output signals of four Gb pixels marked with hatching.
  • the first correction process is a process of performing correction using the same color pixel that is close to the correction target pixel in the X direction. This is also referred to as X character correction processing.
  • the defective pixel correction unit 19 outputs four Gr pixels (pixels hatched in FIG. 3B) close to the Gr pixel that is the correction target pixel in the cross direction (up, down, left, and right of the Gr pixel).
  • the output signal of the Gr pixel is corrected.
  • the correction is performed by replacing the output signal of the Gr pixel marked with a circle with the average value of the output signals of four Gr pixels hatched.
  • the second correction process is a process of performing correction using the same color pixel that is close to the correction target pixel in the cross direction. This is also called cross correction processing.
  • the X-letter correction process is performed by using the output signal of the same color pixel located closer to the correction target pixel than the cross correction process. For this reason, the correction traces on the high-frequency image are less noticeable. However, since correction is performed using the output signal of the same color pixel (pixel having a large output level difference) having an attribute different from that of the correction target pixel, the correction mark is easily noticeable in the low-frequency image.
  • correction is performed using an output signal of the same color pixel (pixel having a small output level difference) having the same attribute as the correction target pixel. For this reason, the correction traces for the low-frequency image are less noticeable. However, since correction is performed using the output signal of the same color pixel located far from the correction target pixel, correction marks are easily noticeable in the high-frequency image.
  • the defective pixel correction unit 19 performs an edge determination process for determining whether or not an edge portion of the subject is applied to pixels around the correction target pixel.
  • the first correction process (FIG. 3A) is performed when it is determined by the edge determination process that the edge part is applied, and the second correction process (FIG. 3B) is performed when the edge determination process determines that the edge part is not applied.
  • the defective pixel correction unit 19 makes the correction target pixel close to the correction target pixel R pixel 51 (B pixel 52) in the cross direction.
  • the output signals of the correction target pixels are corrected using the output signals of the four R pixels 51 (B pixels 52) of the same type.
  • edge determination area for determining whether or not an edge portion is applied in the edge determination process
  • 5 ⁇ 5 25 pixels centering on the correction target pixel are arranged.
  • FIG. 4 is a diagram for explaining an example of the edge determination process.
  • FIG. 4A to 4D in FIG. 4 show pixels of 5 rows ⁇ 5 columns centering on the Gr pixel as the correction target pixel (the reference numerals are omitted).
  • the defective pixel correction unit 19 converts six R pixels included in 25 pixels centered on the correction target pixel into two R pixels ( ⁇ mark in the figure) in the same row as the correction target pixel. R pixels) and other four R pixels (R pixels surrounded by ⁇ in the figure), and one evaluation value is calculated using the output signals of these six R pixels.
  • the defective pixel correction unit 19 converts the six B pixels included in the 25 pixels centered on the correction target pixel into two B pixels (in the drawing) in the same column as the correction target pixel. B pixels surrounded by ⁇ ) and other four B pixels (B pixels surrounded by ⁇ in the figure), and one evaluation value is obtained using the output signals of these six B pixels 52 calculate.
  • the defective pixel correction unit 19 includes six Gr pixels around the correction target pixel included in the 25 pixels centered on the correction target pixel in the same column as the correction target pixel. It is classified into two Gr pixels (Gr pixels surrounded by ⁇ in the figure) and other four Gr pixels (Gr pixels surrounded by ⁇ in the figure), and the output signals of these six Gr pixels are used. One evaluation value is calculated.
  • the defective pixel correction unit 19 includes six Gr pixels around the correction target pixel included in the 25 pixels centered on the correction target pixel in the same row as the correction target pixel. It is classified into two Gr pixels (Gr pixels surrounded by ⁇ in the figure) and other four Gr pixels (Gr pixels surrounded by ⁇ in the figure), and the output signals of these six Gr pixels are used. One evaluation value is calculated.
  • the defective pixel correction unit 19 outputs the pixel output signal (hereinafter referred to as the “ ⁇ pixel signal”) and the pixel output signal (hereinafter referred to as the “ ⁇ pixel signal”) surrounded by the ⁇ mark shown in FIGS. 4A to 4D, respectively.
  • the above evaluation values corresponding to the respective classifications of FIGS. 4A to 4D are calculated by the following arithmetic expression (1) using).
  • Evaluation value ⁇
  • An evaluation value corresponding to each of FIG. 4A to FIG. 4D is calculated by the calculation using Equation (1).
  • the defective pixel correction unit 19 compares the four evaluation values obtained by this calculation with threshold values, and if there is even one evaluation value that exceeds the threshold value, an edge portion is applied to the area where 25 pixels are arranged. If there is no evaluation value exceeding the threshold value, it is determined that an edge portion does not cover the area where 25 pixels are arranged.
  • the edge determination process is performed by substituting “Gr” in FIG. 4A to 4D with “Gb” and obtaining the evaluation value by the above equation (1).
  • This edge determination process is not limited to the method described above, and a known method can be employed.
  • FIG. 5 is a flowchart for explaining the operation of the defective pixel correction unit 19 in the digital camera shown in FIG.
  • Imaging by the solid-state imaging device 5 is performed, and a captured image signal output from the solid-state imaging device 5 by the imaging is converted into a digital signal by the A / D conversion circuit 7 and then temporarily stored in the main memory 16. .
  • the defective pixel correction processing flow by the defective pixel correction unit 19 is started.
  • the defective pixel correction unit 19 reads from the main memory 16 address information of defective pixels included in the solid-state imaging device 5 and information indicating the type of defective pixels (detected color information) (step S1).
  • the defective pixel correction unit 19 starts a processing loop for each defective pixel in step SA.
  • the defective pixel correction unit 19 sets one defective pixel as a correction target pixel according to the address information of the defective pixel, and whether the pixel set as the correction target pixel is the Gr pixel 54 or the Gb pixel 53. Is determined (step S2).
  • step S2 When the pixel set as the correction target pixel is the Gr pixel 54 or the Gb pixel 53 (step S2: YES), the defective pixel correction unit 19 performs the process of step S3, and the pixel set as the correction target pixel is the R pixel. If it is 51 or B pixel 52 (step S2: NO), the process of step S4 is performed.
  • step S3 the defective pixel correction unit 19 calculates four evaluation values as described above according to the arithmetic expression of the expression (1).
  • step S4 the defective pixel correction unit 19 corrects the output signal of the correction target pixel using the output signals of four pixels of the same type as the correction target pixel close to the correction target pixel in the cross direction, After S4, the process proceeds to step SB.
  • step SB the defective pixel correction unit 19 determines whether or not defective pixels have been corrected for all defective pixels. If there is a defective pixel that has not been corrected, defective pixels that are not corrected are corrected. The pixel is set and the process returns to step S2, and if there is no defective pixel for which defective pixel correction has not been performed, the defective pixel correction processing flow is terminated.
  • the defective pixel correction unit 19 compares the four evaluation values calculated in step S3 with threshold values.
  • step S5 If there is no evaluation value exceeding the threshold (step S5: NO), in this case, the edge of the subject is not applied to the pixels around the correction target pixel (the pixel around the correction target pixel is the low frequency region of the subject). It can be determined that For this reason, the defective pixel correction unit 19 performs a cross correction process suitable for the low-frequency image (step S6).
  • step S5 If there is an evaluation value exceeding the threshold (step S5: YES), in this case, the edge of the subject is applied to the pixels around the correction target pixel (the pixels around the correction target pixel are in the high frequency region of the subject). It can be determined that they are overlapping. For this reason, the defective pixel correction unit 19 performs an X-shaped correction process suitable for a high-frequency image (step S7).
  • the edge portion overlaps the pixels around the correction target pixel
  • the use of the output signal of the same type of pixel as the correction target pixel located closer to the correction target pixel allows the correction target pixel to be corrected. Since the output signal is corrected, correction marks can be made inconspicuous. In the area where the edge part overlaps, the level difference between the output signals of the Gr pixel and the Gb pixel has less influence on the image quality. Therefore, the image quality can be improved by performing the X correction process rather than the cross correction process. Can do.
  • the output signal of the correction target pixel is corrected by using the output signal of the pixel of the same type and the same attribute as the correction target pixel.
  • Correction marks can be made inconspicuous. In areas where the edges do not overlap, the level difference between the output signals of the Gr pixel and Gb pixel has a greater effect on the image quality. Therefore, the image correction can be improved by performing the cross correction process rather than the X correction process. Can be planned.
  • the digital camera shown in FIG. 1 determines whether or not the edge portion of the subject is applied to the pixels around the correction target pixel.
  • the X correction process is performed, and when the edge portion is not applied, the cross correction process is performed.
  • the optimum correction process can be selected and executed according to the content of the subject overlapping the area around the correction target pixel, the high frequency region and the low frequency region coexist, and color mixing by the ghost light source is prevented. Even for a general subject that occurs, it is possible to improve the image quality by minimizing the correction trace after the defective pixel correction.
  • the defective pixel correction unit 19 uses the defective pixel correction target among the pixels of the same type and different attributes as the correction target pixel adjacent to the correction target pixel. It is preferable to correct the output signal of the pixel to be corrected using the output signal of the pixel other than the pixel.
  • the defective pixel correction unit 19 sets a defective pixel correction target among pixels of the same type and the same attribute as the correction target pixel close to the correction target pixel. It is preferable to correct the output signal of the pixel to be corrected using the output signal of a pixel other than the pixel being formed.
  • the defective pixel correction unit 19 replaces the average value of the output signals of the three Gr pixels adjacent to the upper, left, and lower sides of the left Gr pixel with the output signal of the left Gr pixel. Defective pixel correction is performed on the Gr pixel.
  • the defective pixel correction unit 19 replaces the average value of the output signals of the two Gr pixels that are close to the top and bottom of the middle Gr pixel with the output signal of the middle Gr pixel, thereby correcting the middle Gr pixel. Defective pixel correction is performed.
  • the defective pixel correction unit 19 determines whether the four Gb pixels adjacent to the right Gr pixel in the x-shaped direction.
  • the defective pixel correction for the right Gr pixel is performed by replacing the average value of the output signal with the output signal of the right Gr pixel.
  • the correction target is output using the output signals of the remaining pixels excluding the defective pixel.
  • the output of the correction countermeasure pixel is output using the output signal of the remaining pixels excluding the defective pixel.
  • the operation of the defective pixel correction unit 19 when correcting a signal will be described with reference to the drawings.
  • FIG. 7 is a flowchart for explaining a modification of the operation of the defective pixel correction unit 19 in the digital camera shown in FIG. In FIG. 7, the same processes as those shown in FIG.
  • the defective pixel correction unit 19 sets one defective pixel as a correction target pixel according to the address information of the defective pixel, and the pixel set as the correction target pixel is the Gr pixel 54 or the Gb pixel 53. It is determined whether or not there is (step S2).
  • the defective pixel correction unit 19 sequentially performs the processes of step S3 and step S5 when step S2 is YES, and performs the process of step S21 when step S2 is NO.
  • step S21 the defective pixel correction unit 19 determines whether or not a defective pixel is included in four pixels of the same type as the correction target pixel that are close to the correction target pixel in the cross direction based on the information read in step S1. Judgment. When a defective pixel is included in the four pixels (step S21: YES), the defective pixel correction unit 19 excludes the defective pixel from a correction calculation target (step S22). Step S21: After NO or step S22, the defective pixel correction unit 19 performs the process of step S23.
  • step S ⁇ b> 23 the defective pixel correction unit 19 determines the pixels other than the pixels excluded from the correction calculation target in step S ⁇ b> 22 among the four pixels of the same type as the correction target pixel that are close to the correction target pixel in the cross direction. Using the output signal, the output signal of the correction target pixel is corrected, and thereafter, the process proceeds to step SB.
  • step SB the defective pixel correction unit 19 determines whether or not defective pixel correction processing has been performed for all defective pixels, and corrects uncorrected defective pixels if there are defective pixels for which defective pixel correction has not been performed.
  • the target pixel is set and the process returns to step S2. If there is no defective pixel for which defective pixel correction has not been performed, the defective pixel correction processing flow is terminated.
  • the defective pixel correction unit 19 determines whether or not the defective pixel is included in four pixels of the same type and the same attribute as the correction target pixel that is close to the correction target pixel in the cross direction. Is determined based on the information read in step S1 (step S24). When a defective pixel is included in the four pixels (step S24: YES), the defective pixel correction unit 19 excludes the defective pixel from a correction calculation target (step S25). Step S24: After NO or step S25, the defective pixel correction unit 19 performs the process of step S26.
  • step S ⁇ b> 26 the defective pixel correction unit 19 excludes pixels excluded from the correction calculation target in step S ⁇ b> 25 out of four pixels of the same type and the same attribute as the correction target pixel that are close to the correction target pixel in the cross direction. Using the output signal of the pixel, the output signal of the correction target pixel is corrected, and thereafter, the process proceeds to step SB.
  • the defective pixel correction unit 19 determines whether or not the defective pixel is included in four pixels of the same type and different attributes as the correction target pixel that is close to the correction target pixel in the X direction. Is determined based on the information read in step S1 (step S27). When a defective pixel is included in the four pixels (step S27: YES), the defective pixel correction unit 19 excludes the defective pixel from a correction calculation target (step S28). Step S27: After NO or step S28, the defective pixel correction unit 19 performs the process of step S29.
  • step S29 the defective pixel correction unit 19 excludes the pixel excluded from the correction calculation target in step S28 among the four pixels of the same type and different attributes as the correction target pixel that are close to the correction target pixel in the X direction.
  • the output signal of the pixel to be corrected is corrected using the output signal of the pixel to be excluded, and thereafter, the process proceeds to step SB.
  • the defective pixel correction unit 19 approaches the R pixel (B pixel) in the cross direction to the R pixel (B pixel).
  • the output signal of the correction target pixel includes a defective pixel
  • the pixel excluding the defective pixel is set as a correction calculation target, and the output signal of the correction target pixel is corrected using the output signal of the pixel set as the correction calculation target. For this reason, the output signal of the defective pixel is not used and the output signal of the correction target pixel is not corrected, and deterioration in image quality after correction can be prevented.
  • FIG. 8 is a schematic plan view showing a first modification of the solid-state imaging device 5 in the digital camera shown in FIG. In FIG. 8, the same components as those in FIG.
  • some Gb pixels 53 and Gr pixels 54 arranged adjacent to the lower right direction of the some Gb pixels 53 are different pupil regions of the photographing lens 1.
  • the configuration is the same as that of the solid-state imaging device 5 shown in FIG. 2 except that it functions as a pupil-dividing pixel that receives the passed light.
  • a Gb pixel 53 with hatching and a Gr pixel 54 adjacent to the lower right constitute a pupil division pixel.
  • the pupil division pixel is realized by a well-known configuration such as a configuration in which the optical apertures of the Gb pixel and Gr pixel constituting the pupil are decentered in opposite directions, and a configuration in which the micro lens is shared by the pixel Gb and the pixel Gr. be able to.
  • the pupil dividing pixels are arranged in a plurality of groups on the entire surface of the solid-state imaging device 5.
  • the system control unit 11 uses the captured image signal output from all the Gb pixels 53 constituting the pupil division pixel and the captured image signal output from all the Gr pixels 54 constituting the pupil division pixel. Phase difference information is calculated, a defocus amount is calculated based on the phase difference information, and the position of the focus lens included in the photographing lens 1 is controlled according to the defocus amount.
  • the solid-state imaging device 5 when the solid-state imaging device 5 includes a pupil division pixel, all the pixels constituting the pupil division pixel are used as addresses of defective pixels stored in the main memory 16. The address and the information on the type of the pixel may be stored.
  • the pupil division pixel Since the pupil division pixel has an extremely small amount of received light compared to other normal pixels, it is common to correct the pupil division pixel as a defective pixel. As described above, by storing addresses and types of information in the main memory 16 as defective pixels as well as pupil dividing pixels, in addition to defective pixels generated in the manufacturing process, intentionally formed pupil division is performed. Also for the pixels for use, the output signal can be corrected with high accuracy while preventing the image quality from being deteriorated.
  • FIG. 9 is a schematic plan view showing a second modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the solid-state imaging device shown in FIG. 9 corresponds to the solid-state imaging device 5 shown in FIG. 2 rotated by 45 degrees.
  • This solid-state imaging device includes three types of pixels (R pixel, G pixel, and B pixel). Of these three types of pixels, the G pixel includes two types of arrangements of the surrounding R pixel and B pixel that are different from each other.
  • the point divided into attribute pixels (Gr pixel, Gb pixel) is the same as that of the solid-state imaging device 5 shown in FIG.
  • the defective pixel correction unit 19 sets an area surrounded by a broken line in FIG. 9 in which the Gb pixel and surrounding pixels are arranged as an edge determination area. Then, it is determined whether or not an edge portion falls within this edge determination area.
  • the defective pixel correction unit 19 determines that the edge portion is covered with the edge determination area, the Gb pixel that is close to the Gb pixel in the cross direction is used to output the output signal of the Gb pixel that is the correction target pixel. Is corrected using the output signal of Gr pixels of the same type and different attributes (Gr pixels marked with ⁇ in FIG. 9).
  • the defective pixel correction unit 19 determines that the edge determination area does not have an edge portion
  • the Gb pixel that is close to the Gb pixel in the X-shape direction is output to the Gb pixel that is the correction target pixel. Is corrected using the output signal of the Gb pixel of the same type and the same attribute (Gr pixel marked with ⁇ in FIG. 9).
  • FIG. 10 is a schematic plan view showing a third modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the solid-state imaging device shown in FIG. 10 has a plurality of hatched portions in FIG. 10 that are two-dimensionally arranged in a row direction X and a column direction Y orthogonal to the row direction X (in the example of FIG. 10, a square lattice shape).
  • a first pixel group including pixels (101, 102, 103, 104) and a plurality of pixels (105, 106, 107, 108) arranged in the same number and in the same arrangement as the plurality of pixels included in the first pixel group. ) Including a second pixel group.
  • one of the pixels included in the second pixel group is arranged adjacent to each other in the same direction (lower right direction in the example of FIG. 10) with respect to each pixel included in the first pixel group.
  • the first pixel group and the second pixel group are arranged so as to be shifted from each other by 45 degrees obliquely.
  • the first pixel group and the second pixel group are respectively an R pixel that detects red light (indicated by the letter “R” in FIG. 10) and a B pixel that detects blue light (in FIG. 10).
  • R pixel that detects red light
  • B pixel that detects blue light
  • G pixels (103, 104) are arranged at checkered positions, and R pixels 101 are arranged at odd rows at the remaining checkered positions.
  • the B pixel 102 is arranged in FIG.
  • the G pixel that detects green light included in the first pixel group is a pixel having two types of attributes (R pixels 101 and B pixels 102 different in arrangement from the G pixel around the G pixel). G pixel 103 and G pixel 104).
  • the G pixel 103 having the B pixel 102 on the left and right is referred to as the Gb pixel 103
  • the G pixel 104 having the R pixel 101 on the left and right is referred to as the Gr pixel 104.
  • the Gb pixel 103 and the Gr pixel 104 have different arrangements of the surrounding R pixel 101 and B pixel 102. Therefore, when oblique light is incident on the solid-state imaging device, the output signal of the Gb pixel 103 and the output of the Gr pixel 104 There is a level difference due to color mixing depending on the incident direction of incident light between the signals.
  • the G pixel that detects the green light included in the second pixel group has an arrangement of different types of R pixels 105 and B pixels 106 around the G pixel.
  • the pixel is divided into two different types of pixels (G pixel 107 and G pixel 108).
  • the G pixel 107 having the B pixel 106 on the left and right is referred to as the Gb pixel 107
  • the G pixel 108 having the R pixel 105 on the left and right is referred to as the Gr pixel 108.
  • the Gb pixel 107 and the Gr pixel 108 are different in the arrangement of the surrounding R pixel 105 and B pixel 106. Therefore, when oblique light is incident on the solid-state imaging device, the output signal of the Gb pixel 107 and the output of the Gr pixel 108 There is a level difference due to color mixing depending on the incident direction of incident light between the signals.
  • This solid-state imaging device can read the captured image signal independently from the first pixel group and the second pixel group, and the exposure time can be independently set in the first pixel group and the second pixel group. It is also possible to control.
  • a digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG. 10 can set three types of modes as a still image shooting mode: a high resolution mode, a high sensitivity mode, and a wide dynamic range mode. .
  • the system control unit 11 performs imaging with the same exposure time for each of the first pixel group and the second pixel group.
  • the digital signal processing unit 17 uses all the signals obtained from the first pixel group and the second pixel group, and uses high-resolution captured image data having at least the same number of pixels as the number of all the signals. Is generated.
  • the captured image data is recorded on the recording medium 21 after being compressed.
  • the system control unit 11 performs imaging with the same exposure time for the first pixel group and the second pixel group. Then, the digital signal processing unit 17 combines the signal obtained from each pixel of the first pixel group and the signal obtained from the pixel of the second pixel group adjacent to the lower right of each pixel, High-sensitivity captured image data is generated using the combined signal. The captured image data is recorded on the recording medium 21 after being compressed.
  • the system control unit 11 performs imaging by making the exposure time of the first pixel group shorter than the exposure time of the second pixel group.
  • the digital signal processing unit 17 generates short-time exposure captured image data from the captured image signal obtained from the first pixel group, and generates long-time exposure captured image data from the captured image signal obtained from the second pixel group.
  • wide dynamic range captured image data with an expanded dynamic range is generated. This wide dynamic range captured image data is recorded on the recording medium 21 after being compressed.
  • the defective pixel correction unit 19 of the digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG. 10 performs the defective pixel correction on the first pixel group by the method described in FIG. 5 and FIG. Do.
  • An area in which the pixels are arranged is set as an edge determination area, and it is determined whether or not the edge portion of the subject covers the edge determination area.
  • the defective pixel correction unit 19 If the edge determination area has an edge portion, the defective pixel correction unit 19 outputs the output signal of the Gb pixel 103 marked with a circle to the four Gr pixels 104 ( Correction is performed using the output signal of the Gr pixel marked with ⁇ in FIG. When the edge determination area does not have an edge portion, the defective pixel correction unit 19 outputs the output signal of the Gb pixel 103 marked with a circle to four Gb pixels 103 (see FIG. 4) adjacent to the Gb pixel 103 in the cross direction. 10 is corrected using the output signal of Gb pixels marked with ⁇ .
  • the defective pixel correction unit 19 After completing the defective pixel correction on the captured image signal output from the first pixel group, the defective pixel correction unit 19 sends a signal obtained from the correction target pixel included in the second pixel group to the correction target pixel. Correction is performed using an output signal of a pixel in the first pixel group of the same type as the adjacent correction target pixel.
  • the defective pixel correction unit 19 ends the defective pixel correction for the first pixel group, and then outputs the output signal of the Gb pixel 107 of the second pixel group marked with a circle.
  • the arrangement of the pixels of the adjacent second pixel group is the Gb pixel 107 of the correction target pixel. Is replaced with the output signal of the Gr pixel 104 having the same arrangement as the pixels of the first pixel group adjacent to the pixel group.
  • the defective pixel correction unit 19 completes the defective pixel correction for the first pixel group, and then the exposure time ratio between the first pixel group and the second pixel group (second pixel). (Group exposure time / first pixel group exposure time) information is acquired from the system control unit 11, and the output signal of the Gb pixel 107 of the second pixel group marked with ⁇ is adjacent to the Gb pixel 107. A value obtained by multiplying the output signal of the Gr pixel 104 by the exposure time ratio is replaced.
  • the solid-state imaging device shown in FIG. 10 has a configuration in which the pixels of the second pixel group of the same type as each pixel are arranged adjacent to each pixel of the first pixel group. There is a high correlation between the output signals of the same type of pixels adjacent to each other in the second pixel group. Therefore, the first pixel group is subjected to defective pixel correction by performing the first correction process or the second correction process depending on the result of the edge determination, and the second pixel group is corrected. By correcting the output signal of the defective pixel using the captured image signal from the first pixel group later, the time required for correcting the defective pixel can be shortened while maintaining the correction accuracy.
  • the defective pixel correction unit 19 outputs the output signal of the correction target pixel of the second pixel group from the adjacent second pixel group among the same type of pixels as the correction target pixel adjacent to the correction target pixel.
  • the pixel arrangement is corrected by using an output signal of a pixel that is not the same as the pixel arrangement of the first pixel group adjacent to the correction target pixel, or the correction target pixel adjacent to the correction target pixel It is also possible to perform correction using both output signals of two pixels of the same type.
  • the output signal of the correction target pixel of the second pixel group is obtained from the pixels of the second pixel group adjacent to the correction target pixel adjacent to the correction target pixel.
  • correction is performed using an output signal of a pixel that is the same as the arrangement of the pixels in the first pixel group adjacent to the correction target pixel, the influence of the color mixture due to the oblique light is replaced by the same pixel. Since correction is performed, there is an advantage that image quality deterioration after correction can be minimized.
  • FIG. 11 is a schematic plan view showing a fourth modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the solid-state imaging device shown in FIG. 11 has the same configuration as the solid-state imaging device shown in FIG. 10 except that the first pixel group and the second pixel group are arranged so as to be shifted from each other in the column direction Y. It is.
  • the digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG. 11 has a high resolution as a still image shooting mode in the same manner as the digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG.
  • Three modes can be set: mode, high sensitivity mode, and wide dynamic range mode.
  • defective pixel correction unit 19 of the digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG. 11 is similar to the digital camera in which the solid-state imaging device 5 is changed to the solid-state imaging device shown in FIG.
  • defective pixel correction is performed by the method described in FIGS.
  • the defective pixel correction unit 19 sets the Gb pixel 103 as the center in the first pixel group.
  • the defective pixel correction unit 19 If the edge determination area has an edge portion, the defective pixel correction unit 19 outputs the output signal of the Gb pixel 103 marked with a circle to the four Gr pixels 104 ( Correction is performed using an output signal of Gr pixels marked with ⁇ in FIG. When the edge determination area does not have an edge portion, the defective pixel correction unit 19 outputs the output signal of the Gb pixel 103 marked with a circle to four Gb pixels 103 (see FIG. 4) adjacent to the Gb pixel 103 in the cross direction. 11 is corrected using the output signal of Gb pixels marked with ⁇ .
  • the defective pixel correction unit 19 After completing the defective pixel correction on the captured image signal output from the first pixel group, the defective pixel correction unit 19 sends a signal obtained from the correction target pixel included in the second pixel group to the correction target pixel. Correction is performed using an output signal of a pixel in the first pixel group of the same type as the adjacent correction target pixel.
  • the defective pixel correction unit 19 ends the defective pixel correction for the first pixel group, and then outputs the output signal of the Gb pixel 107 in the second pixel group marked with a circle. Is replaced with an output signal of a pixel (Gb pixel 103) of the same type of first pixel group adjacent to the Gb pixel 107.
  • the defective pixel correction unit 19 completes the defective pixel correction for the first pixel group, and then the exposure time ratio between the first pixel group and the second pixel group (second pixel group).
  • FIG. 12 is a schematic plan view showing a fifth modification of the solid-state imaging device 5 in the digital camera shown in FIG.
  • the solid-state imaging device shown in FIG. 12 includes a part of G pixels in the first pixel group (Gb pixels surrounded by a thick line in FIG. 12) and the part of pixels adjacent in the upper left direction of the part of pixels. And G pixels of the same type (Gr pixels surrounded by bold lines in FIG. 12) are changed to pupil division pixels that receive light that has passed through different pupil regions of the photographing lens 1 mounted on the digital camera. Except for this point, the configuration is the same as that of the solid-state imaging device shown in FIG.
  • the pupil division pixels are also handled as defective pixels, and the address and type information is stored in the main memory 16.
  • the intentionally formed pupil division pixels can be corrected at high speed while preventing image quality deterioration.
  • the defective pixel correction is performed on the first pixel group by the method described in FIGS.
  • the defective pixel correction is performed by a speed-priority simple process using the captured image signal after the correction of the first pixel group, so that the solid-state imaging having pupil division pixels In the device, it is possible to improve the image pickup image quality and greatly reduce the time required for correcting defective pixels.
  • the solid-state imaging device illustrated in FIG. 12 includes a part of the Gb pixels 103 of the first pixel group and a Gb pixel 107 of the second pixel group adjacent to the part of the Gb pixels in the lower right direction.
  • a pupil dividing pixel may be configured.
  • the pixel arrangement of the second pixel group adjacent to the pixels of the first pixel group constituting the pupil division pixel and the pixel of the second pixel group constituting the pupil division pixel are adjacent.
  • the arrangement of the pixels in the first pixel group is different from each other. For this reason, the correlation between the output signals of the two pixels constituting the pupil division pixel may be reduced, and the detection accuracy of the phase difference information may be reduced.
  • the pixel arrangement of the second pixel group adjacent to the pixels of the first pixel group constituting the pupil division pixel and the pixels of the second pixel group constituting the pupil division pixel By configuring the pupil division pixels so that the arrangement of the pixels in the first pixel group adjacent to each other is the same, the correlation between the output signals of the two pixels constituting the pupil division pixels can be improved. Thus, the detection accuracy of the phase difference information can be improved.
  • the solid-state imaging device has three types of pixels with different detection wavelength ranges, but may have four or more types of pixels with different detection wavelength ranges.
  • the detection wavelength region is also premised on primary color light, but may be complementary color light.
  • the disclosed imaging device includes a solid-state imaging device for color imaging having at least a first pixel group including at least three types of pixels having different detection wavelength ranges arranged two-dimensionally, and an output from the solid-state imaging device.
  • An image pickup apparatus having a defective pixel correction unit that performs defective pixel correction on a picked-up image signal, wherein one of the at least three types of pixels includes the pixel arranged around the pixel and the pixel Are divided into two types of pixels having different arrangements of different types of pixels, and the defective pixel correction unit determines whether the correction target pixel is one of the two types of attribute pixels. It is determined whether or not an edge portion of a subject is applied to the surrounding pixels of the first pixel group.
  • a first correction process is performed, and the edge portion is Take
  • a second correction process is performed when it is determined that there is not, and the first correction process is performed by outputting pixels of the same type and different attributes as the correction target pixel close to the correction target pixel in the first pixel group.
  • a signal is used to correct an output signal of the correction target pixel, and the second correction process is the same type and the same attribute as the correction target pixel close to the correction target pixel in the first pixel group. This is a process of correcting the output signal of the correction target pixel using the output signal of the pixel.
  • the solid-state imaging device further includes a second pixel group including the at least three types of pixels arranged in a two-dimensional shape, and each pixel included in the first pixel group
  • a second pixel group including the at least three types of pixels arranged in a two-dimensional shape, and each pixel included in the first pixel group
  • pixels included in the second pixel group of the same type as each pixel in the same direction are arranged adjacent to each other, and the defective pixel correction unit is output from the first pixel group
  • the output signal of the correction target pixel included in the second pixel group is transferred to the first pixel group of the same type as the correction target pixel adjacent to the correction target pixel. Correction is performed using the output signals of the included pixels.
  • the solid-state imaging element includes a pixel for pupil division that receives light that has passed through different pupil regions of a photographing lens mounted on the imaging device, and the first pixel group includes the first pixel group.
  • the pupil division pixel is configured by a part of the type of pixel and the pixel of the second pixel group of the same type as the part of the pixel adjacent to the part of the pixel, and the defective pixel correction unit
  • the pixel for pupil division is also a correction target pixel.
  • the disclosed imaging apparatus includes: an imaging control unit that causes the solid-state imaging device to perform imaging in which the exposure time of the first pixel group is shorter than the exposure time of the second pixel group; Image data based on the captured image signal obtained from the pixel group and corrected by the defective pixel correction unit, and the captured image signal obtained from the second pixel group by the imaging and corrected by the defective pixel correction unit And an image processing unit that generates image data obtained by combining the image data based on the image data.
  • the defective pixel correction unit is obtained from correction target pixels included in the second pixel group after completion of defective pixel correction on the captured image signal output from the first pixel group.
  • the same type as the correction target pixel adjacent to the correction target pixel When there are two pixels of the first pixel group, the arrangement of the pixels of the second pixel group adjacent to each other among the two pixels is the first pixel adjacent to the correction target pixel. Correction is performed using an output signal of a pixel having the same arrangement as the pixels of the group.
  • the defective pixel correction unit uses the defective pixel correction unit among pixels having the same type and different attributes as the correction target pixel close to the correction target pixel.
  • the output signal of the pixel to be corrected is corrected using the output signal of the pixel other than the pixel to be corrected, and in the second correction process, the same type as the pixel to be corrected adjacent to the pixel to be corrected.
  • the output signal of the pixel to be corrected is corrected using the output signal of the pixel other than the pixel to be corrected by the defective pixel correction unit.
  • the at least three types of pixels are a pixel that detects red light, a pixel that detects green light, and a pixel that detects blue light, and the pixel that detects green light includes:
  • the pixels can be divided into the two types of attributes.
  • the pixel that detects the red light, the pixel that detects the green light, and the pixel that detects the blue light are arranged in a Bayer shape.
  • the disclosed defective pixel correction method includes a picked-up image signal output from a solid-state image pickup device for color imaging having at least a first pixel group including at least three types of pixels having different detection wavelength ranges arranged two-dimensionally.
  • the correction target pixel is one of the two types of attribute pixels, the subject is included in the pixels of the first pixel group around the correction target pixel.
  • An edge determination step for determining whether or not the edge portion is applied, and performing a first correction process when it is determined that the edge portion is applied, and determining that the edge portion is not applied A correction processing step for performing a second correction process, and the first correction process is a pixel of the same type and different attribute as the correction target pixel close to the correction target pixel in the first pixel group.
  • the output signal of the correction target pixel is corrected using the output signal, and the second correction process is the same type as the correction target pixel close to the correction target pixel in the first pixel group and This is a process of correcting the output signal of the correction target pixel using the output signal of the pixel having the same attribute.
  • the solid-state imaging device further includes a second pixel group including the at least three types of pixels arranged two-dimensionally, and each of the first pixel group includes A pixel included in the second pixel group of the same type as each pixel in the same direction with respect to the pixel is disposed adjacent to the pixel, and a captured image signal output from the first pixel group A first defective pixel correction step for performing defective pixel correction and a second defective pixel correction for the captured image signal output from the second pixel group after completion of the first defective pixel correction step.
  • Defective pixel correction step wherein the first defective pixel correction step includes the edge determination step and the correction processing step, and the second defective pixel correction step is included in the second pixel group.
  • a force signal is corrected by using the output signals of the pixels included in the correction object pixel and the same type of the first pixel group adjacent to the correction target pixel.
  • the solid-state imaging device includes pixels for pupil division that receive light that has passed through different pupil regions of a photographic lens mounted on the imaging device, and the first pixel group includes: The pupil division pixel is configured by a part of the one type of pixel and a pixel of the second pixel group of the same type as the part of the pixel adjacent to the part of the pixel.
  • the pupil division pixel is also set as a correction target pixel.
  • a signal obtained from a correction target pixel included in the second pixel group is the same as the correction target pixel adjacent to the correction target pixel.
  • the output signal of the correction target pixel is corrected using the output signal of the pixel other than the target pixel, and in the second correction process, the same type and the same as the correction target pixel adjacent to the correction target pixel Among the attributed pixels, the output signal of the correction target pixel is corrected using the output signal of a pixel other than the pixel that is the target of the defective pixel correction.
  • the at least three types of pixels are a pixel that detects red light, a pixel that detects green light, and a pixel that detects blue light, and the pixel that detects the green light Includes pixels that are divided into the two types of attributes.
  • the disclosed defective pixel correction method includes a pixel in which the red light is detected, a pixel in which the green light is detected, and a pixel in which the blue light is detected are arranged in a Bayer shape.
  • the present invention it is possible to provide an imaging apparatus and a defective pixel correction method capable of improving the accuracy of defective pixel correction.
  • Solid-state image sensor 19 Defective pixel correction unit 51 B pixel 52 R pixel 53 Gb pixel 54 Gr pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供する。　欠陥画素補正部１９は、補正対象画素がＧ画素であった場合に、そのＧ画素の周囲にエッジ部があるか否かを判定し、エッジ部があった場合は、そのＧ画素に×字方向に近接するＧ画素を用いて欠陥補正を行い、エッジ部がない場合は、そのＧ画素に十字方向に近接するＧ画素を用いて欠陥補正を行う。

Description

撮像装置及び欠陥画素補正方法
　本発明は、撮像装置及び欠陥画素補正方法に関する。
　近年の固体撮像素子は、多画素化、狭画素ピッチ化が進んでおり、これに伴って発生する混色や画素欠陥が画質に与える影響は大きい。
　欠陥画素の補正は、その欠陥画素から得られる信号を、その欠陥画素の周囲にあるその欠陥画素と同色の画素から得られる信号の平均値に置き換えることで行うことが一般的である。しかし、近年の多画素化、狭画素ピッチ化に伴い、このような一般的な補正方法では、補正痕が目立ってしまう場合がある。以下、その理由を説明する。
　図１３は、ベイヤー配列のカラーフィルタを搭載する固体撮像素子の画素配列を示す図である。図１３において“Ｒ”を付したブロックが、赤色光を検出するＲ画素を示し、“Ｂ”を付したブロックが青色光を検出するＢ画素を示し、“Ｇｒ”を付したブロックが、緑色光を検出するＧ画素のうち左右にＲ画素があるものを示し、“Ｇｂ”を付したブロックが、緑色光を検出するＧ画素のうち左右にＢ画素があるものを示す。
　図１３に示されるように、ベイヤー配列のカラーフィルタを搭載する固体撮像素子においては、固体撮像素子に、Ｒ画素、Ｇ画素、及びＢ画素の３種類の画素が含まれ、これら３種類の画素のうちＧ画素については、周囲にあるＲ画素及びＢ画素の配置が異なる２種類の属性（Ｇｒ画素，Ｇｂ画素）に分けることができる。
　Ｇｒ画素とＧｂ画素は、その周囲のＲ画素及びＢ画素の配置が異なるため、入射光の入射方向に依存する混色により、Ｇｒ画素の信号レベルとＧｂ画素の信号レベルには差が生じる。このような信号レベルの差は、ゴーストの原因となる光のように固体撮像素子に対する光の入射角が大きいほど、また、入射光が赤色光のように単色になるほど顕著になる。
　このため、例えば、Ｇｒ画素（又はＧｂ画素）の位置に欠陥画素があった場合、この欠陥画素を、その欠陥画素に×字方向に隣接する（欠陥画素の斜め右上、斜め右下、斜め左上、斜め左下に近接する）４つのＧｂ画素（Ｇｒ画素）を用いて補正すると、レベル差の生じているＧｂ画素（Ｇｒ画素）の出力信号を用いて補正を行うことになるため、欠陥画素の出力レベルを本来のレベルに近づけることが困難である。
　そこで、Ｇｒ画素（又はＧｂ画素）の位置にある欠陥画素を、その欠陥画素に十字方向に近接する（欠陥画素の上下左右に近接する）４つのＧｒ画素（Ｇｂ画素）を用いて補正することが考えられる。しかし、この補正方法では、欠陥画素に×字方向に隣接する４つの画素を用いて補正を行う方法と比べて、欠陥画素から遠い位置にある画素の信号を用いて補正を行うことになるため、高周波画像においては、欠陥画素の出力レベルを本来のレベルに近づけることが困難である。
　欠陥画素の信号を、その画素の周囲の画素の信号を用いて補正する方法としては例えば下記特許文献１～３に示すものがある。
　特許文献１には、ベイヤー配列のカラーフィルタを搭載する固体撮像素子における欠陥画素の補正方法として、欠陥画素の十字方向に近接する当該欠陥画素と同色画素の出力信号を用いて補正を行う第一の補正処理と、欠陥画素の×字方向に近接する当該欠陥画素と同色画素の出力信号を用いて補正を行う第二の補正処理とのいずれかを、当該欠陥画素の出力信号と当該欠陥画素に近接する同色画素の出力信号との相関性に基づいて選択して実行する方法が記載されている。
　特許文献２には、補正対象画素の十字方向に近接する同色画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う方法が記載されている。
　特許文献３には、補正対象画素に隣接する８つの画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う方法が記載されている。
日本国特開２０１０－６８３２９号公報 日本国特開２０１１－１５１５７号公報 日本国特開平７－３３６６０５号公報
　特許文献１に記載の装置は、欠陥画素の出力信号とその周囲の画素の出力信号との相関性に基づいて補正方法を選択するものであるため、高周波画像に対しても上記第二の補正処理が行われる場合があり、この場合には高周波画像に対する補正痕が目立ってしまう。
　特許文献２に記載の装置は、補正対象画素の十字方向に近接する同色画素の出力信号を用いて当該補正対象画素の出力信号の補正を行う処理しか行わないものであるため、高周波画像に対する補正痕が目立つという課題を解決することができない。
　特許文献３に記載の補正方法は、図１３に示される固体撮像素子のように、周囲に配置される画素の配置が異なる複数種類の同色画素（Ｇｒ画素，Ｇｂ画素）が存在する固体撮像素子に適用した場合には、色の異なる信号を用いて補正データを生成することになり、欠陥画素補正後の補正痕が目立ってしまう。
　本発明は、上記事情に鑑みてなされたものであり、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することを目的とする。
　本発明の撮像装置は、二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられ、前記欠陥画素補正部は、補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である。
　本発明の欠陥画素補正方法は、開示された欠陥画素補正方法は、二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられるものであり、補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であるものである。
　本発明によれば、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することができる。
本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示されるデジタルカメラにおける固体撮像素子５の構成を示す平面模式図 図１に示されるデジタルカメラにおける欠陥画素補正部１９が実行する第一の補正処理と第二の補正処理を説明するための図 図１に示されるデジタルカメラにおける欠陥画素補正部１９が実行するエッジ判定処理の一例を説明するための図 図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作を説明するためのフローチャート 図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作の変形例を説明するための図 図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作の変形例を説明するためのフローチャート 図１に示されるデジタルカメラにおける固体撮像素子５の第一の変形例を示す平面模式図 図１に示されるデジタルカメラにおける固体撮像素子５の第二の変形例を示す平面模式図 図１に示されるデジタルカメラにおける固体撮像素子５の第三の変形例を示す平面模式図 図１に示されるデジタルカメラにおける固体撮像素子５の第四の変形例を示す平面模式図 図１に示されるデジタルカメラにおける固体撮像素子５の第五の変形例を示す平面模式図 ベイヤー配列のカラーフィルタを搭載する固体撮像素子の画素配列を示す図
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
　図１に示されるデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ１と、ＣＣＤ型やＭＯＳ型のイメージセンサであるカラー撮像用の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。
　デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御して撮影レンズ１のフォーカスレズ位置やズームレンズ位置を調整したり、絞り駆動部９を介し絞り２の開口量を制御して露光量を調整したりする。
　また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
　デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された撮像画像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
　更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力された撮像画像信号に対し、ガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、Ａ／Ｄ変換回路７から出力された撮像画像信号に対し、詳細は後述する欠陥画素補正を行う欠陥画素補正部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、欠陥画素補正部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　図２は、図１に示されるデジタルカメラにおける固体撮像素子５の構成を示す平面模式図である。
　固体撮像素子５は、行方向Ｘとこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配置された複数の画素（５１，５２，５３，５４）を備える。固体撮像素子５に含まれる各画素は、フォトダイオード等の光電変換素子と、この光電変換素子の上方に設けられたカラーフィルタとを有する。
　この複数の画素は、赤色光を検出するＲ画素５１（図２では“Ｒ”の文字を付してある）と、青色光を検出するＢ画素５２（図２では“Ｂ”の文字を付してある）と、緑色光を検出するＧ画素（５３，５４（図２では“Ｇｒ，Ｇｂ”の文字を付してある））の検出波長域の異なる３種類の画素を含み、これら３種類の画素がベイヤー状に配置されたものとなっている。
　正方格子配置された複数の画素のうち市松位置にはＧ画素（５３、５４）が配置され、残りの市松位置には奇数行にＲ画素５１が配置され、偶数行にＢ画素５２が配置されている。言い換えると、複数の画素は、Ｒ画素５１とＧ画素５４が行方向Ｘに交互に並べられた行と、Ｇ画素５３とＢ画素５２が行方向Ｘに交互に並べられた行とが、列方向Ｙに交互に配列されたものとなっている。また、複数の画素は、図２において左上隅にある４つの画素（Ｒ画素５１、Ｂ画素５２、Ｇ画素５３，５４）を１単位画素として、この単位画素が正方格子状に配列されたものとなっている。
　緑色光を検出するＧ画素は、図２に示されるように、当該Ｇ画素の周囲にある当該Ｇ画素とは異なる種類のＲ画素５１及びＢ画素５２の配置が異なる２種類の属性の画素（Ｇ画素５３、Ｇ画素５４）に分けられる。
　以下では、左右にＢ画素５２のあるＧ画素５３のことをＧｂ画素５３と言い、左右にＲ画素５１のあるＧ画素５４のことをＧｒ画素５４と言う。図２においては、Ｇｂ画素５３に“Ｇｂ”の文字を付し、Ｇｒ画素５４に“Ｇｒ”の文字を付してある。
　このＧｂ画素５３とＧｒ画素５４は、各々の周囲のＲ画素５１及びＢ画素５２の配置が異なる。このため、固体撮像素子５に斜め光が入射した場合には、Ｇｂ画素５３の出力信号とＧｒ画素５４の出力信号との間に、入射光の入射方向に依存する混色に起因したレベル差が発生する。
　次に、図１に示されるデジタルカメラにおける欠陥画素補正部１９の機能について説明する。
　欠陥画素補正部１９は、Ａ／Ｄ変換回路７から出力されて、メインメモリ１６に一時記憶された固体撮像素子５からの撮像画像信号（固体撮像素子５に含まれる各画素の出力信号の集合）に対して欠陥画素補正を行う。欠陥画素補正とは、固体撮像素子５に含まれる全画素のうち欠陥画素から出力された信号を、その欠陥画素の周囲の当該欠陥画素と同一種類の画素の出力信号を用いて補正する処理のことを言う。
　デジタルカメラのメインメモリ１６には、固体撮像素子５の欠陥画素のアドレス情報及び当該欠陥画素の種類（検出色）を示す情報がデジタルカメラの出荷時に記憶される。このため、欠陥画素補正部１９は、この情報を用いて、補正を行う対象となる画素（補正対象画素）を特定することができる。
　なお、固体撮像素子５の欠陥画素のアドレス情報及び当該欠陥画素の種類（検出色）を示す情報は、デジタルカメラを出荷した後に欠陥画素が生じた場合に、随時更新できるようにしてもよい。このようにすることで、欠陥画素補正部１９は、デジタルカメラの出荷後に生じる所謂後発キズの補正を行うこともできる。
　欠陥画素補正部１９は、補正対象画素が、固体撮像素子５に含まれる３種類の画素のうちの２種類の属性に分けられる種類の画素であるＧ画素である場合には、第一の補正処理と第二の補正処理とのいずれかを選択して実行して、当該Ｇ画素の出力信号の補正を行う。
　第一の補正処理は、メインメモリ１６に記憶された撮像画像信号を構成する出力信号のうち、補正対象画素の出力信号を、当該補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて補正する処理のことをいう。
　第二の補正処理は、補正対象画素の出力信号を、当該補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて補正する処理のことを言う。
　図３は、図１に示されるデジタルカメラにおける欠陥画素補正部１９が実行する第一の補正処理と第二の補正処理を説明するための図である。図３において、ＦＩＧ３Ａが第一の補正処理を説明するための図であり、ＦＩＧ３Ｂが第二の補正処理を説明するための図である。
　図３には、図２に示される固体撮像素子５の画素の一部（５行×５列）が図示されている（符号は省略している）。以下では、ＦＩＧ３Ａ、ＦＩＧ３Ｂに示される２５個の画素のうち真ん中にあるＧｒ画素（○印を付してある）が補正対象画素であるものとして説明する。
　欠陥画素補正部１９は、第一の補正処理では、補正対象画素であるＧｒ画素に×字方向（当該Ｇｒ画素の右下、右上、左下、左上）に近接する４つのＧｂ画素（ＦＩＧ３Ａにおいてハッチングを付した画素）の出力信号を用いて、当該Ｇｒ画素の出力信号を補正する。例えば、○印を付したＧｒ画素の出力信号を、ハッチングを付した４つのＧｂ画素の出力信号の平均値に置き換えることで補正を行う。図２に示される固体撮像素子の構成において、第一の補正処理は、補正対象画素に×字方向に近接する同色画素を用いて補正を行う処理であるため、以下では、第一の補正処理のことを×字補正処理とも言う。
　欠陥画素補正部１９は、第二の補正処理では、補正対象画素であるＧｒ画素に十字方向（当該Ｇｒ画素の上下左右）に近接する４つのＧｒ画素（ＦＩＧ３Ｂにおいてハッチングを付した画素）の出力信号を用いて、当該Ｇｒ画素の出力信号を補正する。例えば、○印を付したＧｒ画素の出力信号を、ハッチングを付した４つのＧｒ画素の出力信号の平均値に置き換えることで補正を行う。図２に示される固体撮像素子の構成において、第二の補正処理は、補正対象画素に十字方向に近接する同色画素を用いて補正を行う処理であるため、以下では、第二の補正処理のことを十字補正処理とも言う。
　Ｇ画素を補正対象画素とした場合、×字補正処理は、十字補正処理と比較して、補正対象画素により近い位置にある同色画素の出力信号を用いて補正を行うものである。このため、高周波画像に対しての補正痕は目立ちにくくなる。しかし、補正対象画素と異なる属性の同色画素（出力レベル差の大きい画素）の出力信号を用いて補正を行うものであるため、低周波画像に対しては補正痕が目立ちやすくなる。
　一方、十字補正処理は、補正対象画素と同じ属性の同色画素（出力レベル差の少ない画素）の出力信号を用いて補正を行うものである。このため、低周波画像に対しての補正痕は目立ちにくくなる。しかし、補正対象画素から遠い位置にある同色画素の出力信号を用いて補正を行うものであるため、高周波画像に対しては補正痕が目立ちやすくなる。
　このように、固体撮像素子５においてＧ画素を補正対象画素とした場合、×字補正処理と十字補正処理はそれぞれ一長一短の特性を持つ。そこで、欠陥画素補正部１９は、補正対象画素がＧ画素である場合に、当該補正対象画素の周囲にある画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定処理を行い、このエッジ判定処理によりエッジ部がかかっていると判定した場合に第一の補正処理（ＦＩＧ３Ａ）を行い、エッジ判定処理によりエッジ部がかかっていないと判定した場合に第二の補正処理（ＦＩＧ３Ｂ）を行う。
　なお、欠陥画素補正部１９は、補正対象画素がＲ画素５１又はＢ画素５２であった場合には、補正対象画素であるＲ画素５１（Ｂ画素５２）に十字方向に近接する当該補正対象画素と同一種類の４つのＲ画素５１（Ｂ画素５２）の出力信号を用いて、当該補正対象画素の出力信号を補正する。
　エッジ判定処理においてエッジ部がかかるか否かを判定する画素エリア（エッジ判定エリア）は、例えば、図３に示されるように、補正対象画素を中心とした５×５＝２５個の画素が配置されるエリアとする。十字補正処理を行うには、補正対象画素に近接する同一種類かつ同一属性の４つの画素を用いる必要があるため、当該４つの画素が入るエリアをエッジ判定エリアとする。
　以下では、エッジ判定処理の一例について説明する。
　図４は、エッジ判定処理の一例を説明するための図である。図４のＦＩＧ４Ａ～４Ｄには、補正対象画素となるＧｒ画素を中心とする５行×５列の画素が示されている（符号は省略している）。
　欠陥画素補正部１９は、ＦＩＧ４Ａに示すように、補正対象画素を中心とする２５個の画素に含まれる６つのＲ画素を、補正対象画素と同一行にある２つのＲ画素（図中△印で囲ったＲ画素）と、それ以外の４つのＲ画素（図中□印で囲ったＲ画素）とに分類し、この６つのＲ画素の出力信号を用いて１つの評価値を算出する。
　また、欠陥画素補正部１９は、ＦＩＧ４Ｂに示すように、補正対象画素を中心とする２５個の画素に含まれる６つのＢ画素を、補正対象画素と同一列にある２つのＢ画素（図中△印で囲ったＢ画素）と、それ以外の４つのＢ画素（図中□印で囲ったＢ画素）とに分類し、この６つのＢ画素５２の出力信号を用いて１つの評価値を算出する。
　また、欠陥画素補正部１９は、ＦＩＧ４Ｃに示すように、補正対象画素を中心とする２５個の画素に含まれる補正対象画素の周囲の６つのＧｒ画素を、補正対象画素と同一列にある２つのＧｒ画素（図中△印で囲ったＧｒ画素）と、それ以外の４つのＧｒ画素（図中□印で囲ったＧｒ画素）とに分類し、この６つのＧｒ画素の出力信号を用いて１つの評価値を算出する。
　また、欠陥画素補正部１９は、ＦＩＧ４Ｄに示すように、補正対象画素を中心とする２５個の画素に含まれる補正対象画素の周囲の６つのＧｒ画素を、補正対象画素と同一行にある２つのＧｒ画素（図中△印で囲ったＧｒ画素）と、それ以外の４つのＧｒ画素（図中□印で囲ったＧｒ画素）とに分類し、この６つのＧｒ画素の出力信号を用いて１つの評価値を算出する。
　欠陥画素補正部１９は、ＦＩＧ４Ａ～４Ｄにそれぞれ示された、△印で囲った画素の出力信号（以下、△画素信号という）及び□印で囲った画素の出力信号（以下、□画素信号という）を用いた以下の演算式（１）により、ＦＩＧ４Ａ～４Ｄの各々の分類に対応した上記評価値を算出する。
　評価値＝｛｜（２つの△画素信号の平均値）－（４つの□画素信号の平均値）｜｝／（２つの△画素信号と４つの□画素信号の計６つの画素信号の平均値）・・・（１）
　式（１）を用いた演算により、ＦＩＧ４Ａ～ＦＩＧ４Ｄのそれぞれに対応して１つの評価値が算出される。
　欠陥画素補正部１９は、この演算で求めた４つの評価値をそれぞれ閾値と比較し、閾値を越える評価値が１つでもあれば、２５個の画素が配置されるエリアにエッジ部がかかっていると判定し、閾値を越える評価値が１つもなければ、２５個の画素が配置されるエリアにエッジ部がかかっていないと判定する。
　なお、補正対象画素がＧｂ画素の場合は、ＦＩＧ４Ａ～４Ｄにおける“Ｇｒ”を“Ｇｂ”に置き換えて上記式（１）により評価値を求めることで、エッジ判定処理を行う。このエッジ判定処理は上述した方法に限らず、周知の方法を採用することができる。
　次に、図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作について説明する。
　図５は、図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作を説明するためのフローチャートである。
　固体撮像素子５による撮像が実施され、当該撮像によって固体撮像素子５から出力された撮像画像信号は、Ａ／Ｄ変換回路７にてデジタル信号に変換された後、メインメモリ１６に一時記憶される。
　メインメモリ１６に撮像画像信号が記憶されると、欠陥画素補正部１９による欠陥画素補正処理フローが開始される。
　まず、欠陥画素補正部１９は、固体撮像素子５に含まれる欠陥画素のアドレス情報と当該欠陥画素の種類を示す情報（検出色情報）とをメインメモリ１６から読み込む（ステップＳ１）。
　次に、欠陥画素補正部１９は、ステップＳＡにおいて欠陥画素毎の処理ループを開始する。
　処理ループ開始後、欠陥画素補正部１９は、欠陥画素のアドレス情報にしたがって１つの欠陥画素を補正対象画素に設定し、補正対象画素に設定した画素がＧｒ画素５４又はＧｂ画素５３であるか否かを判定する（ステップＳ２）。
　欠陥画素補正部１９は、補正対象画素に設定した画素がＧｒ画素５４又はＧｂ画素５３であった場合（ステップＳ２：ＹＥＳ）はステップＳ３の処理を行い、補正対象画素に設定した画素がＲ画素５１又はＢ画素５２であった場合（ステップＳ２：ＮＯ）はステップＳ４の処理を行う。
　ステップＳ３において、欠陥画素補正部１９は、式（１）の演算式にしたがって上述したように４つの評価値を算出する。
　ステップＳ４において、欠陥画素補正部１９は、補正対象画素の出力信号を、当該補正対象画素に十字方向に近接する当該補正対象画素と同一種類の４つの画素の出力信号を用いて補正し、ステップＳ４の後はステップＳＢに処理を移行する。
　ステップＳＢでは、欠陥画素補正部１９が、全ての欠陥画素について欠陥画素補正を行ったかどうかを判定し、欠陥画素補正を行っていない欠陥画素がある場合には、未補正の欠陥画素を補正対象画素に設定してステップＳ２に処理を戻し、欠陥画素補正を行っていない欠陥画素がない場合には欠陥画素補正処理フローを終了する。
　ステップＳ３の後、欠陥画素補正部１９は、ステップＳ３で算出した４つの評価値をそれぞれ閾値と比較する。
　閾値を超える評価値がなかった場合（ステップＳ５：ＮＯ）、この場合は、補正対象画素の周囲の画素に被写体のエッジ部がかかっていない（補正対象画素の周囲の画素が被写体の低周波領域に重なっている）と判定できる。このため、欠陥画素補正部１９は低周波画像に適した十字補正処理を行う（ステップＳ６）。
　閾値を超える評価値があった場合（ステップＳ５：ＹＥＳ）、この場合は、補正対象画素の周囲の画素に被写体のエッジ部がかかっている（補正対象画素の周囲の画素が被写体の高周波領域に重なっている）と判定できる。このため、欠陥画素補正部１９は高周波画像に適した×字補正処理を行う（ステップＳ７）。
　このように、補正対象画素の周囲の画素にエッジ部が重なっていた場合には、補正対象画素により近い位置にある当該補正対象画素と同一種類の画素の出力信号の利用によって当該補正対象画素の出力信号が補正されるため、補正痕を目立ちにくくすることができる。エッジ部が重なるエリアにおいては、Ｇｒ画素とＧｂ画素の出力信号のレベル差が画質に与える影響が小さくなるため、十字補正処理を行うよりも、×字補正処理を行うことで画質向上を図ることができる。
　また、補正対象画素の周囲の画素にエッジ部が重なっていない場合には、補正対象画素と同一種類かつ同一属性の画素の出力信号の利用によって当該補正対象画素の出力信号が補正されるため、補正痕を目立ちにくくすることができる。エッジ部が重なっていないエリアにおいては、Ｇｒ画素とＧｂ画素の出力信号のレベル差が画質に与える影響が大きくなるため、×字補正処理を行うよりも、十字補正処理を行うことで画質向上を図ることができる。
　以上のように、図１に示されるデジタルカメラは、Ｇ画素が補正対象画素であった場合には、補正対象画素の周囲の画素に被写体のエッジ部がかかっているかどうかを判定し、エッジ部がかかっている場合には×字補正処理を行い、エッジ部がかかっていない場合には十字補正処理を行う。このように、補正対象画素周辺のエリアと重なる被写体の内容に応じて最適な補正処理を選択して実行することができるため、高周波領域と低周波領域が共存し、かつ、ゴースト光源による混色が発生する一般的な被写体に対しても、欠陥画素補正後の補正痕を最小限に抑えて、画質向上を図ることができる。
　ここまでは、補正対象画素を中心とする２５個の画素に、当該補正対象画素以外の欠陥画素が存在しないことを前提として説明してきた。しかし、補正対象画素を中心とする２５個の画素に、当該補正対象画素以外の欠陥画素が存在する場合も有り得る。
　このため、欠陥画素補正部１９は、第一の補正処理（×字補正処理）においては、補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正することが好ましい。
　また、欠陥画素補正部１９は、第二の補正処理（十字補正処理）においては、補正対象画素に近接する当該補正対象画素と同一種類でかつ同一属性の画素のうち、欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正することが好ましい。
　例えば、図６に示されるように、行方向Ｘに近接する斜線のハッチングを付した３つのＧｒ画素が欠陥画素であった場合を考える。この場合、３つのＧｒ画素のうちの左のＧｒ画素に対して欠陥画素補正を行う際、当該左のＧｒ画素を中心とする２５個の画素には被写体のエッジ部がかかっていないため、当該左のＧｒ画素の出力信号は十字補正処理によって補正される。しかし、当該左のＧｒ画素の右方向隣にあるＧｒ画素は欠陥画素である。そのため、欠陥画素補正部１９は、当該左のＧｒ画素の上、左、下に近接する３つのＧｒ画素の出力信号の平均値を、当該左のＧｒ画素の出力信号と置き換えることで、当該左のＧｒ画素に対する欠陥画素補正を行う。
　また、図６において３つのＧｒ画素のうちの真ん中のＧｒ画素に対して欠陥画素補正を行う際、当該真ん中のＧｒ画素を中心とする２５個の画素には被写体のエッジ部がかかっていないため、当該真ん中のＧｒ画素の出力信号は十字補正処理によって補正される。しかし、当該真ん中のＧｒ画素の右方向隣と左方向隣にあるＧｒ画素は欠陥画素である。そのため、欠陥画素補正部１９は、当該真ん中のＧｒ画素の上下に近接する２つのＧｒ画素の出力信号の平均値を、当該真ん中のＧｒ画素の出力信号と置き換えることで、当該真ん中のＧｒ画素に対する欠陥画素補正を行う。
　また、図６において３つのＧｒ画素のうちの右のＧｒ画素に対して欠陥画素補正を行う際、当該右のＧｒ画素を中心とする２５個の画素には被写体のエッジ部がかかっているため、当該右のＧｒ画素の出力信号は×字補正処理によって補正される。当該右のＧｒ画素の×字方向に近接する４つのＧｂ画素には欠陥画素が含まれないため、欠陥画素補正部１９は、当該右のＧｒ画素の×字方向に近接する４つのＧｂ画素の出力信号の平均値を、当該右のＧｒ画素の出力信号と置き換えることで、当該右のＧｒ画素に対する欠陥画素補正を行う。
　このように、補正対象画素の出力信号の補正に用いる信号の出力元の画素に欠陥画素が含まれていた場合には、その欠陥画素を除外した残りの画素の出力信号を利用して補正対象画素の出力信号を補正することで、図６に示されるように、固体撮像素子５に連キズ（連続して並ぶ欠陥画素）がある場合でも、補正後の画質劣化を極力低下させることができる。
　以下、補正対象画素の出力信号の補正に用いる信号の出力元の画素に欠陥画素が含まれていた場合に、その欠陥画素を除外した残りの画素の出力信号を利用して補正対処画素の出力信号を補正する場合の、欠陥画素補正部１９の動作について図面を参照して説明する。
　図７は、図１に示されるデジタルカメラにおける欠陥画素補正部１９の動作の変形例を説明するためのフローチャートである。図７において図５に示される処理と同じ処理には同一符号を付して説明を省略する。
　ステップＳＡにおいて処理ループ開始後、欠陥画素補正部１９は、欠陥画素のアドレス情報にしたがって１つの欠陥画素を補正対象画素に設定し、補正対象画素に設定した画素がＧｒ画素５４又はＧｂ画素５３であるか否かを判定する（ステップＳ２）。
　欠陥画素補正部１９は、ステップＳ２：ＹＥＳのときはステップＳ３、ステップＳ５の処理を順次行い、ステップＳ２：ＮＯのときはステップＳ２１の処理を行う。
　ステップＳ２１において、欠陥画素補正部１９は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類の４つの画素に欠陥画素が含まれるか否かを、ステップＳ１で読み込んだ情報に基づいて判定する。当該４つの画素に欠陥画素が含まれる場合（ステップＳ２１：ＹＥＳ）、欠陥画素補正部１９は、この欠陥画素を補正演算の対象から除外する（ステップＳ２２）。ステップＳ２１：ＮＯ又はステップＳ２２の後、欠陥画素補正部１９はステップＳ２３の処理を行う。
　ステップＳ２３において、欠陥画素補正部１９は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類の４つの画素のうち、ステップＳ２２で補正演算の対象から除外された画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップＳＢに処理を移行する。
　ステップＳＢでは、欠陥画素補正部１９が、全ての欠陥画素について欠陥画素補正処理を行ったかどうかを判定し、欠陥画素補正を行っていない欠陥画素がある場合には、未補正の欠陥画素を補正対象画素に設定してステップＳ２に処理を戻し、欠陥画素補正を行っていない欠陥画素がない場合には欠陥画素補正処理フローを終了する。
　ステップＳ５の判定がＮＯであった場合、欠陥画素補正部１９は、補正対象画素に十字方向に近接する当該補正対象画素と同一種類かつ同一属性の４つの画素に欠陥画素が含まれるか否かを、ステップＳ１で読み込んだ情報に基づいて判定する（ステップＳ２４）。当該４つの画素に欠陥画素が含まれる場合（ステップＳ２４：ＹＥＳ）、欠陥画素補正部１９は、この欠陥画素を補正演算の対象から除外する（ステップＳ２５）。ステップＳ２４：ＮＯ又はステップＳ２５の後、欠陥画素補正部１９はステップＳ２６の処理を行う。
　ステップＳ２６では、欠陥画素補正部１９が、補正対象画素に十字方向に近接する当該補正対象画素と同一種類かつ同一属性の４つの画素のうち、ステップＳ２５で補正演算の対象から除外した画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップＳＢに処理を移行する。
　ステップＳ５の判定がＹＥＳであった場合、欠陥画素補正部１９は、補正対象画素に×字方向に近接する当該補正対象画素と同一種類かつ別属性の４つの画素に欠陥画素が含まれるか否かを、ステップＳ１で読み込んだ情報に基づいて判定する（ステップＳ２７）。当該４つの画素に欠陥画素が含まれる場合（ステップＳ２７：ＹＥＳ）、欠陥画素補正部１９は、この欠陥画素を補正演算の対象から除外する（ステップＳ２８）。ステップＳ２７：ＮＯ又はステップＳ２８の後、欠陥画素補正部１９はステップＳ２９の処理を行う。
　ステップＳ２９では、欠陥画素補正部１９が、補正対象画素に×字方向に近接する当該補正対象画素と同一種類かつ別属性の４つの画素のうち、ステップＳ２８で補正演算の対象から除外した画素を除く画素の出力信号を用いて、当該補正対象画素の出力信号を補正し、その後はステップＳＢに処理を移行する。
　以上のように、欠陥画素補正部１９は、Ｇ画素に対して×字補正処理又は十字補正処理を行う場合、Ｒ画素（Ｂ画素）に対して当該Ｒ画素（Ｂ画素）に十字方向に近接する４つの同一種類の画素の出力信号を用いて補正を行う場合、のいずれにおいても、補正対象画素の出力信号の補正に用いる出力信号の出力元の画素に欠陥画素が含まれる場合には、この欠陥画素を除いた画素を補正演算対象とし、この補正演算対象とした画素の出力信号を用いて補正対象画素の出力信号を補正する。このため、欠陥画素の出力信号が用いられて、補正対象画素の出力信号の補正が行われることはなく、補正後の画質劣化を防ぐことができる。
　図８は、図１に示されるデジタルカメラにおける固体撮像素子５の第一の変形例を示す平面模式図である。図８において図２と同じ構成には同一符号を付してある。
　図８に示される固体撮像素子は、一部のＧｂ画素５３と、この一部のＧｂ画素５３の右下方向に隣接して配置されるＧｒ画素５４とが、撮影レンズ１の異なる瞳領域を通過した光を受光する瞳分割用画素として機能する点を除いては、図２に示される固体撮像素子５と同じ構成である。
　図８において、斜線のハッチングを付したＧｂ画素５３とこの右下に隣接するＧｒ画素５４とが瞳分割用画素を構成する。瞳分割用画素は、これを構成するＧｂ画素とＧｒ画素の各々の光学開口を互いに逆方向に偏心させる構成、画素Ｇｂと画素Ｇｒとでマイクロレンズを共用する構成など、周知の構成により実現することができる。
　瞳分割用画素は、固体撮像素子５の全面に複数組まばらに配置されている。システム制御部１１は、瞳分割用画素を構成する全てのＧｂ画素５３から出力される撮像画像信号と、瞳分割用画素を構成する全てのＧｒ画素５４から出力される撮像画像信号とを用いて位相差情報を算出し、この位相差情報に基づいてデフォーカス量を算出し、このデフォーカス量にしたがって撮影レンズ１に含まれるフォーカスレンズの位置を制御する。
　図８に示されるように、固体撮像素子５が瞳分割用画素を含む構成である場合には、メインメモリ１６に記憶しておく欠陥画素のアドレスとして、瞳分割用画素を構成する全ての画素のアドレスとその画素の種類の情報も記憶しておけばよい。
　瞳分割用画素は、それ以外の通常の画素と比べると光の受光量が極端に少ないため、この瞳分割用画素を欠陥画素として補正するのが一般的である。前述したように、瞳分割用画素も欠陥画素としてメインメモリ１６にアドレス及び種類の情報を記憶しておくことで、製造工程上発生する欠陥画素の他に、意図的に形成している瞳分割用画素についても、出力信号の補正を、画質劣化を防いで精度良く行うことができる。
　図９は、図１に示されるデジタルカメラにおける固体撮像素子５の第二の変形例を示す平面模式図である。
　図９に示される固体撮像素子は、図２に示される固体撮像素子５を４５度回転させたものに相当する。この固体撮像素子は、３種類の画素（Ｒ画素、Ｇ画素、Ｂ画素）を含み、この３種類の画素のうちのＧ画素が、その周囲のＲ画素及びＢ画素の配置が異なる２種類の属性の画素（Ｇｒ画素、Ｇｂ画素）に分けられる点は、図２に示される固体撮像素子５と同じである。
　固体撮像素子５が図９に示される固体撮像素子に変更された場合でも、欠陥画素補正部１９の処理内容は同じである。
　例えば、図９において○印で囲ったＧｂ画素を補正対象画素とすると、欠陥画素補正部１９は、このＧｂ画素とその周囲の画素が配置される図９において破線で囲ったエリアをエッジ判定エリアとし、このエッジ判定エリア内にエッジ部がかかるか否かを判定する。
　次に、欠陥画素補正部１９は、エッジ判定エリアにエッジ部がかかっていると判定した場合は、補正対象画素であるＧｂ画素の出力信号を、当該Ｇｂ画素に十字方向に近接する当該Ｇｂ画素と同一種類かつ別属性のＧｒ画素（図９において△印を付したＧｒ画素）の出力信号を用いて補正する。また、欠陥画素補正部１９は、エッジ判定エリアにエッジ部がかかっていないと判定した場合は、補正対象画素であるＧｂ画素の出力信号を、当該Ｇｂ画素に×字方向に近接する当該Ｇｂ画素と同一種類かつ同一属性のＧｂ画素（図９において□印を付したＧｒ画素）の出力信号を用いて補正する。
　このように、図９に示されるような画素配置の固体撮像素子であっても、エッジ判定エリアにエッジ部がかかっているときには、補正対象画素との距離が近い当該補正対象画素と同一種類かつ別属性の画素を用いて補正を行い、エッジ判定エリアにエッジ部がかかっていないときには、補正対象画素との出力レベル差が少ない当該補正対象画素と同一種類かつ同一属性の画素を用いて補正を行うことで、低周波領域と高周波領域が混在する被写体でかつゴースト光源を含む被写体であっても、欠陥画素補正後の画質劣化を最小限に抑えることができる。
　図１０は、図１に示されるデジタルカメラにおける固体撮像素子５の第三の変形例を示す平面模式図である。
　図１０に示される固体撮像素子は、行方向Ｘとこれに直交する列方向Ｙに二次元状（図１０の例では正方格子状）に配置された図１０においてハッチングを付してある複数の画素（１０１，１０２，１０３，１０４）を含む第一の画素群と、第一の画素群に含まれる複数の画素と同数かつ同一配列で配列された複数の画素（１０５，１０６，１０７，１０８）を含む第二の画素群と備える。
　固体撮像素子は、第一の画素群に含まれる各画素に対して同一の方向（図１０の例では右下方向）に、第二の画素群に含まれる画素の１つが隣接して配置されるよう、第一の画素群と第二の画素群とが互いに斜め４５度ずれて配置されたものとなっている。
　第一の画素群と第二の画素群は、それぞれ、赤色光を検出するＲ画素（図１０では“Ｒ”の文字を付してある）と、青色光を検出するＢ画素（図１０では“Ｂ”の文字を付してある）と、緑色光を検出するＧ画素（図１０では“Ｇｒ，Ｇｂ”の文字を付してある）の検出波長域の異なる３種類の画素を含み、これら３種類の画素がベイヤー状に配置されている。
　第一の画素群において、正方格子配置された複数の画素のうち市松位置にはＧ画素（１０３、１０４）が配置され、残りの市松位置には奇数行にＲ画素１０１が配置され、偶数行にＢ画素１０２が配置されている。
　第一の画素群に含まれる緑色光を検出するＧ画素は、当該Ｇ画素の周囲にある当該Ｇ画素とは異なる種類のＲ画素１０１及びＢ画素１０２の配置が異なる２種類の属性の画素（Ｇ画素１０３、Ｇ画素１０４）に分けられる。
　以下では、左右にＢ画素１０２のあるＧ画素１０３のことをＧｂ画素１０３と言い、左右にＲ画素１０１のあるＧ画素１０４のことをＧｒ画素１０４と言う。Ｇｂ画素１０３とＧｒ画素１０４は、その周囲のＲ画素１０１及びＢ画素１０２の配置が異なるため、固体撮像素子に斜め光が入射した場合には、Ｇｂ画素１０３の出力信号とＧｒ画素１０４の出力信号との間には、入射光の入射方向に依存する混色に起因したレベル差が発生する。
　第二の画素群に含まれる緑色光を検出するＧ画素は、図１０に示されるように、当該Ｇ画素の周囲にある当該Ｇ画素とは異なる種類のＲ画素１０５及びＢ画素１０６の配置が異なる２種類の属性の画素（Ｇ画素１０７、Ｇ画素１０８）に分けられる。
　以下では、左右にＢ画素１０６のあるＧ画素１０７のことをＧｂ画素１０７と言い、左右にＲ画素１０５のあるＧ画素１０８のことをＧｒ画素１０８と言う。Ｇｂ画素１０７とＧｒ画素１０８は、その周囲のＲ画素１０５及びＢ画素１０６の配置が異なるため、固体撮像素子に斜め光が入射した場合には、Ｇｂ画素１０７の出力信号とＧｒ画素１０８の出力信号との間には、入射光の入射方向に依存する混色に起因したレベル差が発生する。
　この固体撮像素子は、第一画素群と第二画素群とから独立に撮像画像信号を読みだすことが可能であり、第一の画素群と第二の画素群とで独立して露光時間を制御することも可能になっている。
　固体撮像素子５を図１０に示される固体撮像素子に変更したデジタルカメラは、静止画撮影モードとして、高解像度モード、高感度モード、広ダイナミックレンジモードの３種類のモードを設定可能になっている。
　高解像度モードでは、システム制御部１１が、第一の画素群と第二の画素群の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、第一の画素群と第二の画素群から得られた全ての信号を用いて、少なくとも当該全ての信号の数と同じ画素数を持つ高解像度の撮像画像データを生成する。この撮像画像データは圧縮後、記録媒体２１に記録される。
　高感度モードでは、システム制御部１１が、第一の画素群と第二の画素群の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、第一の画素群の各画素から得られた信号と、当該各画素の右下に隣接する第二の画素群の画素から得られた信号とを合成し、合成後の信号を用いて高感度の撮像画像データを生成する。この撮像画像データは圧縮後、記録媒体２１に記録される。
　広ダイナミックレンジモードでは、システム制御部１１が、第一の画素群の露光時間を、第二の画素群の露光時間よりも短くして撮像を実施する。デジタル信号処理部１７では、第一の画素群から得られた撮像画像信号から短時間露光撮像画像データを生成し、第二の画素群から得られた撮像画像信号から長時間露光撮像画像データを生成し、これら短時間露光撮像画像データと長時間露光撮像画像データを合成することで、ダイナミックレンジを拡大した広ダイナミックレンジの撮像画像データを生成する。この広ダイナミックレンジの撮像画像データは圧縮後、記録媒体２１に記録される。
　固体撮像素子５を図１０に示される固体撮像素子に変更したデジタルカメラの欠陥画素補正部１９は、第一の画素群に対しては、図５や図６において説明した方法で欠陥画素補正を行う。
　例えば、図１０において○印を付したＧｂ画素１０３が補正対象画素であった場合、欠陥画素補正部１９は、第一の画素群において当該Ｇｂ画素１０３を中心とする５行×５列＝２５個の画素の配置されるエリアをエッジ判定エリアとし、当該エッジ判定エリアに被写体のエッジ部がかかるか否かを判定する。
　当該エッジ判定エリアにエッジ部がかかっていた場合、欠陥画素補正部１９は、○印を付したＧｂ画素１０３の出力信号を、当該Ｇｂ画素１０３に×字方向で近接する４つのＧｒ画素１０４（図１０において△印を付したＧｒ画素）の出力信号を用いて補正する。当該エッジ判定エリアにエッジ部がかかっていない場合、欠陥画素補正部１９は、○印を付したＧｂ画素１０３の出力信号を、当該Ｇｂ画素１０３に十字方向で近接する４つのＧｂ画素１０３（図１０において□印を付したＧｂ画素）の出力信号を用いて補正する。
　欠陥画素補正部１９は、第一の画素群から出力された撮像画像信号に対する欠陥画素補正を終了した後、第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の第一の画素群の画素の出力信号を用いて補正する。
　例えば、図１０における○印を付した第一の画素群のＧｂ画素１０３と、○印を付した第二画素群のＧｂ画素１０７が欠陥画素である場合について説明する。この場合、高解像度モード又は高感度モードにおいて、欠陥画素補正部１９は、第一の画素群に対する欠陥画素補正を終了した後、○印を付した第二画素群のＧｂ画素１０７の出力信号を、当該Ｇｂ画素１０７に隣接する同一種類の第一の画素群の画素（Ｇｂ画素１０３とＧｒ画素１０４）のうち、隣接する第二の画素群の画素の配置が、補正対象画素のＧｂ画素１０７に隣接する第一の画素群の画素の配置と同じになっているＧｒ画素１０４の出力信号で置き換える。
　また、広ダイナミックレンジモードにおいては、欠陥画素補正部１９は、第一の画素群に対する欠陥画素補正を終了した後、第一の画素群と第二の画素群の露光時間比（第二の画素群の露光時間／第一の画素群の露光時間）の情報をシステム制御部１１から取得し、○印を付した第二画素群のＧｂ画素１０７の出力信号を、当該Ｇｂ画素１０７に隣接するＧｒ画素１０４の出力信号に当該露光時間比を乗じた値に置き換える。
　図１０に示される固体撮像素子は、第一の画素群の各画素に当該各画素と同一種類の第二の画素群の画素が隣接して配置される構成であるため、第一の画素群と第二の画素群で互いに隣接する同一種類の画素の出力信号の相関性は高い。このため、第一の画素群に対してはエッジ判定の結果に応じて第一の補正処理か第二の補正処理を行って欠陥画素補正を行い、第二の画素群に対しては、補正後の第一の画素群からの撮像画像信号を用いて欠陥画素の出力信号の補正を行うことで、補正精度は維持しつつ、欠陥画素補正に要する時間を短縮することができる。
　なお、欠陥画素補正部１９は、第二の画素群の補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の画素のうち、隣接する第二の画素群の画素の配置が、当該補正対象画素に隣接する第一の画素群の画素の配置と同じになっていない画素の出力信号を用いて補正したり、当該補正対象画素に隣接する当該補正対象画素と同一種類の２つの画素の両方の出力信号を用いて補正したりすることも可能である。
　前述したように、第二の画素群の補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の画素のうち、隣接する第二の画素群の画素の配置が、当該補正対象画素に隣接する第一の画素群の画素の配置と同じになっている画素の出力信号を用いて補正する場合には、斜め光による混色の影響度が同じ画素同士の置換により補正を行うことになるため、補正後の画質劣化を最小限に抑えられるという利点がある。
　図１１は、図１に示されるデジタルカメラにおける固体撮像素子５の第四の変形例を示す平面模式図である。
　図１１に示される固体撮像素子は、第一の画素群と第二の画素群が列方向Ｙに互いにずれて配置されている点を除いては、図１０に示される固体撮像素子と同じ構成である。
　固体撮像素子５を図１１に示される固体撮像素子に変更したデジタルカメラは、固体撮像素子５を図１０に示される固体撮像素子に変更したデジタルカメラと同様に、静止画撮影モードとして、高解像度モード、高感度モード、広ダイナミックレンジモードの３種類のモードを設定可能になっている。
　また、固体撮像素子５を図１１に示される固体撮像素子に変更したデジタルカメラの欠陥画素補正部１９は、固体撮像素子５を図１０に示される固体撮像素子に変更したデジタルカメラと同様に、第一の画素群に対しては、図５や図６において説明した方法で欠陥画素補正を行う。
　例えば、図１１において○印を付した第一の画素群のＧｂ画素１０３が補正対象画素であった場合、欠陥画素補正部１９は、第一の画素群において当該Ｇｂ画素１０３を中心とする５行×５列＝２５個の画素の配置されるエリア（破線で囲ったエリア）をエッジ判定エリアとし、当該エッジ判定エリアに被写体のエッジ部がかかるか否かを判定する。
　当該エッジ判定エリアにエッジ部がかかっていた場合、欠陥画素補正部１９は、○印を付したＧｂ画素１０３の出力信号を、当該Ｇｂ画素１０３に×字方向で近接する４つのＧｒ画素１０４（図１１において△印を付したＧｒ画素）の出力信号を用いて補正する。当該エッジ判定エリアにエッジ部がかかっていない場合、欠陥画素補正部１９は、○印を付したＧｂ画素１０３の出力信号を、当該Ｇｂ画素１０３に十字方向で近接する４つのＧｂ画素１０３（図１１において□印を付したＧｂ画素）の出力信号を用いて補正する。
　欠陥画素補正部１９は、第一の画素群から出力された撮像画像信号に対する欠陥画素補正を終了した後、第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の第一の画素群の画素の出力信号を用いて補正する。
　例えば、図１１における○印を付した第一の画素群のＧｂ画素１０３と、○印を付した第二画素群のＧｂ画素１０７が欠陥画素である場合を説明する。
　この場合、高解像度モード又は高感度モードにおいて、欠陥画素補正部１９は、第一の画素群に対する欠陥画素補正を終了した後、○印が付された第二画素群のＧｂ画素１０７の出力信号を、当該Ｇｂ画素１０７に隣接する同一種類の第一の画素群の画素（Ｇｂ画素１０３）の出力信号で置き換える。また、広ダイナミックレンジモードにおいて、欠陥画素補正部１９は、第一の画素群に対する欠陥画素補正を終了した後、第一の画素群と第二の画素群の露光時間比（第二の画素群の露光時間／第一の画素群の露光時間）の情報をシステム制御部１１から取得し、○印が付された第二画素群のＧｂ画素１０７の出力信号を、当該Ｇｂ画素１０７に隣接するＧｂ画素１０３の出力信号に当該露光時間比を乗じた値に置き換える。
　このように、図１１に示される画素配置であっても、欠陥画素補正を、画質劣化を最小限に抑えながら高速に行うことができる。
　図１２は、図１に示されるデジタルカメラにおける固体撮像素子５の第五の変形例を示す平面模式図である。
　図１２に示される固体撮像素子は、第一の画素群におけるＧ画素の一部（図１２において太線で囲ったＧｂ画素）と、当該一部の画素の左上方向において隣接する当該一部の画素と同一種類のＧ画素（図１２において太線で囲ったＧｒ画素）とが、デジタルカメラに搭載される撮影レンズ１の異なる瞳領域を通過した光を受光する瞳分割用の画素に変更されている点を除いては、図１０に示される固体撮像素子と同じ構成である。
　図１２に示される固体撮像素子を図１に示されるデジタルカメラに搭載する場合、瞳分割用画素も欠陥画素として扱い、メインメモリ１６にアドレス及び種類の情報を記憶しておくことで、製造工程上発生する欠陥画素の他に、意図的に形成している瞳分割用画素についても、出力信号の補正を、画質劣化を防ぎながら高速に行うことができる。
　また、瞳分割用画素は、固体撮像素子に多数組設けられるものであるため、第一の画素群に対しては図５，６において説明した方法で画質劣化が最小限になる欠陥画素補正を行い、第二の画素群に対しては、第一の画素群の補正後の撮像画像信号を用いた速度優先の簡易な処理によって欠陥画素補正を行うことで、瞳分割用画素を有する固体撮像素子における、撮像画質の向上と欠陥画素補正に要する時間の大幅短縮とを実現することができる。
　なお、図１２に示される固体撮像素子は、第一の画素群の一部のＧｂ画素１０３と、当該一部のＧｂ画素に対して右下方向に隣接する第二の画素群のＧｂ画素１０７とにより瞳分割用画素が構成されるものであってもよい。
　ただし、この場合、瞳分割用画素を構成する第一の画素群の画素に隣接する第二の画素群の画素の配置と、瞳分割用画素を構成する第二の画素群の画素に隣接する第一の画素群の画素の配置とが互いに異なるものになる。このため、瞳分割用画素を構成する２つの画素の出力信号の相関性が低下し、位相差情報の検出精度が低下するおそれがある。
　図１２に示されるように、瞳分割用画素を構成する第一の画素群の画素に隣接する第二の画素群の画素の配置と、瞳分割用画素を構成する第二の画素群の画素に隣接する第一の画素群の画素の配置とが互いに同じになるように瞳分割用画素を構成することで、瞳分割用画素を構成する２つの画素の出力信号の相関性を高めることができ、位相差情報の検出精度の向上を図ることができる。
　以上の説明では、固体撮像素子が検出波長域の異なる３種類の画素を有するものとなっているが、検出波長域の異なる４種類以上の画素を有するものであってもよい。また、検出波長域についても、原色光を前提としているが、補色光であってもよい。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された撮像装置は、二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられ、前記欠陥画素補正部は、補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であるものである。
　開示された撮像装置は、前記固体撮像素子は、二次元状に配列された前記少なくとも３種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正するものである。
　開示された撮像装置は、前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記１種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成され、前記欠陥画素補正部は、前記瞳分割用の画素も補正対象画素とするものである。
　開示された撮像装置は、前記第一の画素群の露光時間を前記第二の画素群の露光時間よりも短くした撮像を前記固体撮像素子に行わせる撮像制御部と、前記撮像によって前記第一の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データと、前記撮像によって前記第二の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データとを合成した画像データを生成する画像処理部とを備えるものである。
　開示された撮像装置は、前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が２つある場合には、当該２つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行うものである。
　開示された撮像装置は、前記欠陥画素補正部は、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正するものである。
　開示された撮像装置は、前記少なくとも３種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、前記緑色光を検出する画素が、前記２種類の属性に分けられる画素であるものである。
　開示された撮像装置は、前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものである。
　開示された欠陥画素補正方法は、二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられるものであり、補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であるものである。
　開示された欠陥画素補正方法は、前記固体撮像素子は、二次元状に配列された前記少なくとも３種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、前記第一の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第一の欠陥画素補正ステップと、前記第一の欠陥画素補正ステップの終了後、前記第二の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第二の欠陥画素補正ステップとを含み、前記第一の欠陥画素補正ステップは、前記エッジ判定ステップと前記補正処理ステップを含み、前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正するものである。
　開示された欠陥画素補正方法は、前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記１種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成されるものであり、前記第一の欠陥画素補正ステップ及び前記第二の欠陥画素補正ステップでは、前記瞳分割用の画素も補正対象画素とするものである。
　開示された欠陥画素補正方法は、前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が２つある場合には、当該２つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行うものである。
　開示された欠陥画素補正方法は、前記補正処理ステップでは、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正するものである。
　開示された欠陥画素補正方法は、前記少なくとも３種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、前記緑色光を検出する画素が、前記２種類の属性に分けられる画素であるものを含む。
　開示された欠陥画素補正方法は、前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものを含む。
　本発明によれば、欠陥画素補正の精度を向上させることのできる撮像装置及び欠陥画素補正方法を提供することができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年２月２８日出願の日本出願（特願２０１１－４３３９２）に基づくものであり、その内容はここに参照として取り込まれる。
５　固体撮像素子
１９　欠陥画素補正部
５１　Ｂ画素
５２　Ｒ画素
５３　Ｇｂ画素
５４　Ｇｒ画素

Claims (15)

  1. 　二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子と、前記固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正部とを有する撮像装置であって、
    　前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられ、
    　前記欠陥画素補正部は、補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定し、前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行い、
    　前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、
    　前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記固体撮像素子は、二次元状に配列された前記少なくとも３種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、
    　前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正する撮像装置。
  3. 　請求項２記載の撮像装置であって、
    　前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記１種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成され、
    　前記欠陥画素補正部は、前記瞳分割用の画素も補正対象画素とする撮像装置。
  4. 　請求項２又は３記載の撮像装置であって、
    　前記第一の画素群の露光時間を前記第二の画素群の露光時間よりも短くした撮像を前記固体撮像素子に行わせる撮像制御部と、
    　前記撮像によって前記第一の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データと、前記撮像によって前記第二の画素群から得られて前記欠陥画素補正部によって補正された撮像画像信号に基づく画像データとを合成した画像データを生成する画像処理部とを備える撮像装置。
  5. 　請求項２～４のいずれか１項記載の撮像装置であって、
    　前記欠陥画素補正部は、前記第一の画素群から出力された撮像画像信号に対する欠陥画素補正の終了後、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が２つある場合には、当該２つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行う撮像装置。
  6. 　請求項１～５のいずれか１項記載の撮像装置であって、
    　前記欠陥画素補正部は、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正部による補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正する撮像装置。
  7. 　請求項１～６のいずれか１項記載の撮像装置であって、
    　前記少なくとも３種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、
    　前記緑色光を検出する画素が、前記２種類の属性に分けられる画素である撮像装置。
  8. 　請求項７記載の撮像装置であって、
    　前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列される撮像装置。
  9. 　二次元状に配列された検出波長域の異なる少なくとも３種類の画素を含む第一の画素群を少なくとも有するカラー撮像用の固体撮像素子から出力される撮像画像信号に対し欠陥画素補正を行う欠陥画素補正方法であって、
    　前記少なくとも３種類の画素のうちの１種類の画素は、当該画素の周囲に配置される当該画素とは別の種類の画素の配置が異なる２種類の属性の画素に分けられるものであり、
    　補正対象画素が前記２種類の属性の画素のいずれかである場合に前記補正対象画素の周囲にある前記第一の画素群の画素に被写体のエッジ部がかかっているか否かを判定するエッジ判定ステップと、
    　前記エッジ部がかかっていると判定した場合に第一の補正処理を行い、前記エッジ部がかかっていないと判定した場合に第二の補正処理を行う補正処理ステップとを備え、
    　前記第一の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理であり、
    　前記第二の補正処理は、前記第一の画素群において前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素の出力信号を用いて当該補正対象画素の出力信号を補正する処理である欠陥画素補正方法。
  10. 　請求項９記載の欠陥画素補正方法であって、
    　前記固体撮像素子は、二次元状に配列された前記少なくとも３種類の画素を含む第二の画素群を更に有し、前記第一の画素群に含まれる各画素に対して同一方向に当該各画素と同一種類の前記第二の画素群に含まれる画素が隣接して配置されるものであり、
    　前記第一の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第一の欠陥画素補正ステップと、前記第一の欠陥画素補正ステップの終了後、前記第二の画素群から出力される撮像画像信号に対して欠陥画素補正を行う第二の欠陥画素補正ステップとを含み、
    　前記第一の欠陥画素補正ステップは、前記エッジ判定ステップと前記補正処理ステップを含み、
    　前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素の出力信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群に含まれる画素の出力信号を用いて補正する欠陥画素補正方法。
  11. 　請求項１０記載の欠陥画素補正方法であって、
    　前記固体撮像素子は、前記撮像装置に搭載される撮影レンズの異なる瞳領域を通過した光を受光する瞳分割用の画素を含み、前記第一の画素群における前記１種類の画素の一部と、当該一部の画素に隣接する当該一部の画素と同一種類の前記第二の画素群の画素とにより前記瞳分割用の画素が構成されるものであり、
    　前記第一の欠陥画素補正ステップ及び前記第二の欠陥画素補正ステップでは、前記瞳分割用の画素も補正対象画素とする欠陥画素補正方法。
  12. 　請求項１０又は１１記載の欠陥画素補正方法であって、
    　前記第二の欠陥画素補正ステップでは、前記第二の画素群に含まれる補正対象画素から得られる信号を、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素の出力信号を用いて補正する際、当該補正対象画素に隣接する当該補正対象画素と同一種類の前記第一の画素群の画素が２つある場合には、当該２つの画素のうち、隣接する前記第二の画素群の画素の配置が、当該補正対象画素に隣接する前記第一の画素群の画素の配置と同じになる画素の出力信号を用いて補正を行う欠陥画素補正方法。
  13. 　請求項９～１２のいずれか１項記載の欠陥画素補正方法であって、
    　前記補正処理ステップでは、前記第一の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ異なる属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正し、前記第二の補正処理において、前記補正対象画素に近接する当該補正対象画素と同一種類かつ同一属性の画素のうち、前記欠陥画素補正の対象となっている画素以外の画素の出力信号を用いて当該補正対象画素の出力信号を補正する欠陥画素補正方法。
  14. 　請求項９～１３のいずれか１項記載の欠陥画素補正方法であって、
    　前記少なくとも３種類の画素は、赤色光を検出する画素と、緑色光を検出する画素と、青色光を検出する画素とであり、
    　前記緑色光を検出する画素が、前記２種類の属性に分けられる画素である欠陥画素補正方法。
  15. 　請求項１４記載の欠陥補正方法であって、
    　前記赤色光を検出する画素と、前記緑色光を検出する画素と、前記青色光を検出する画素とは、ベイヤー状に配列されるものである欠陥補正方法。
PCT/JP2011/075736 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法 WO2012117616A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013502146A JP5740465B2 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法
CN201180068655.7A CN103404123B (zh) 2011-02-28 2011-11-08 成像装置和缺陷像素校正方法
US14/011,084 US9729805B2 (en) 2011-02-28 2013-08-27 Imaging device and defective pixel correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011043392 2011-02-28
JP2011-043392 2011-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/011,084 Continuation US9729805B2 (en) 2011-02-28 2013-08-27 Imaging device and defective pixel correction method

Publications (1)

Publication Number Publication Date
WO2012117616A1 true WO2012117616A1 (ja) 2012-09-07

Family

ID=46757565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075736 WO2012117616A1 (ja) 2011-02-28 2011-11-08 撮像装置及び欠陥画素補正方法

Country Status (4)

Country Link
US (1) US9729805B2 (ja)
JP (1) JP5740465B2 (ja)
CN (1) CN103404123B (ja)
WO (1) WO2012117616A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069212A1 (ja) * 2012-10-29 2014-05-08 Sekine Hirokazu 動き検出用固体撮像装置および動き検出システム
CN104885446A (zh) * 2012-12-28 2015-09-02 富士胶片株式会社 像素校正方法及摄像装置
JP2015220710A (ja) * 2014-05-21 2015-12-07 株式会社ソシオネクスト 欠陥画素補正方法及び画像処理装置
JP2017126898A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 撮像装置及び映像処理装置
CN110545389A (zh) * 2013-10-31 2019-12-06 索尼半导体解决方案公司 固态摄像器件、信号处理器件和电子装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702926B (zh) 2007-04-11 2017-05-17 Red.Com 公司 摄像机
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JP6046927B2 (ja) * 2011-08-09 2016-12-21 キヤノン株式会社 画像処理装置及びその制御方法
JP6006618B2 (ja) * 2012-11-12 2016-10-12 株式会社東芝 赤外線固体撮像素子の検査装置および検査方法
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
WO2017073401A1 (ja) * 2015-10-29 2017-05-04 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
CN106398183B (zh) * 2016-08-31 2018-12-07 上海分尚网络科技有限公司 一种插花装置的制备方法
KR102620350B1 (ko) 2017-07-05 2024-01-02 레드.컴, 엘엘씨 전자 디바이스에서의 비디오 이미지 데이터 처리
EP3688981B1 (en) * 2017-10-19 2024-02-28 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images
JP2020022135A (ja) * 2018-08-03 2020-02-06 オリンパス株式会社 欠陥画素補正装置、撮像装置、欠陥画素補正方法
JP7246176B2 (ja) * 2018-12-12 2023-03-27 キヤノン株式会社 撮像装置
TWI753410B (zh) * 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304231A (ja) * 2005-04-25 2006-11-02 Eastman Kodak Co 画素欠陥補正装置
JP2010166236A (ja) * 2009-01-14 2010-07-29 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2011024246A (ja) * 2009-06-15 2011-02-03 Konica Minolta Opto Inc 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336605A (ja) 1994-06-13 1995-12-22 Matsushita Electric Ind Co Ltd 画素欠陥補正装置
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP4935162B2 (ja) * 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP4975515B2 (ja) * 2007-05-01 2012-07-11 シャープ株式会社 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器
JP4289419B2 (ja) * 2007-05-07 2009-07-01 ソニー株式会社 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム
JP5311916B2 (ja) * 2008-07-31 2013-10-09 株式会社エルモ社 撮像装置
JP2010068329A (ja) 2008-09-11 2010-03-25 Toshiba Corp 撮像装置
JP5306081B2 (ja) 2009-07-01 2013-10-02 株式会社東芝 信号処理回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304231A (ja) * 2005-04-25 2006-11-02 Eastman Kodak Co 画素欠陥補正装置
JP2010166236A (ja) * 2009-01-14 2010-07-29 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2011024246A (ja) * 2009-06-15 2011-02-03 Konica Minolta Opto Inc 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069212A1 (ja) * 2012-10-29 2014-05-08 Sekine Hirokazu 動き検出用固体撮像装置および動き検出システム
US9924076B2 (en) 2012-10-29 2018-03-20 Setech Co., Ltd. Motion detection solid-state image capturing device and motion detection system
CN104885446A (zh) * 2012-12-28 2015-09-02 富士胶片株式会社 像素校正方法及摄像装置
CN110545389A (zh) * 2013-10-31 2019-12-06 索尼半导体解决方案公司 固态摄像器件、信号处理器件和电子装置
JP2015220710A (ja) * 2014-05-21 2015-12-07 株式会社ソシオネクスト 欠陥画素補正方法及び画像処理装置
JP2017126898A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 撮像装置及び映像処理装置

Also Published As

Publication number Publication date
JP5740465B2 (ja) 2015-06-24
CN103404123B (zh) 2017-10-20
CN103404123A (zh) 2013-11-20
US9729805B2 (en) 2017-08-08
JPWO2012117616A1 (ja) 2014-07-07
US20140063297A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US8730545B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP5519083B2 (ja) 画像処理装置、方法、プログラムおよび撮像装置
JP5528627B2 (ja) 撮像装置、撮像素子及び感度差補正方法
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
JP4253634B2 (ja) デジタルカメラ
JP5608820B2 (ja) 撮像装置及び合焦制御方法
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
US8842214B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5526287B2 (ja) 撮像装置及び撮像方法
US20140022446A1 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP2004320128A (ja) 欠陥画素補正装置
JP5645474B2 (ja) 撮像装置及び撮像画像信号の補正方法
JP5634614B2 (ja) 撮像素子及び撮像装置
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
JP5411390B2 (ja) カラー撮像素子
JPH11262025A (ja) 画像入力装置および画像補正方法
JP5008122B2 (ja) 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置
JP4911479B2 (ja) 信号処理方法及びその装置
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法
JP4691309B2 (ja) 信号処理方法及びその装置
KR20150107563A (ko) 화상 처리 장치 및 고체 촬상 장치
JP2009017513A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013502146

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859805

Country of ref document: EP

Kind code of ref document: A1