WO2011155297A1 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2011155297A1
WO2011155297A1 PCT/JP2011/061489 JP2011061489W WO2011155297A1 WO 2011155297 A1 WO2011155297 A1 WO 2011155297A1 JP 2011061489 W JP2011061489 W JP 2011061489W WO 2011155297 A1 WO2011155297 A1 WO 2011155297A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
correction
value
pixels
focus detection
Prior art date
Application number
PCT/JP2011/061489
Other languages
English (en)
French (fr)
Inventor
宮下　丈司
智行 河合
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to US13/634,686 priority Critical patent/US8767117B2/en
Priority to CN201180017315.1A priority patent/CN102823236B/zh
Priority to JP2012519321A priority patent/JP5616442B2/ja
Publication of WO2011155297A1 publication Critical patent/WO2011155297A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to an imaging apparatus equipped with an image sensor having focus detection pixels, and more particularly to an imaging apparatus and an image processing method used for image formation by correcting data of focus detection pixels.
  • An imaging device such as a digital camera equipped with an automatic focus adjustment function is widespread.
  • automatic focus adjustment (hereinafter referred to as AF)
  • an active system that irradiates a subject with infrared rays, ultrasonic waves, etc., and measures a distance based on an imaging position of reflected light, a time until the reflected light returns, and an imaging lens
  • a passive method is known in which a focal length is detected using a captured image obtained through, for example.
  • the passive AF function is based on a contrast detection method for adjusting the focus so that the contrast of an image within the entire screen or within a specified range is maximized, and two image sensors arranged at positions where parallax (phase difference) exists.
  • phase difference detection method that performs focus adjustment based on the correlation of output image data is known.
  • phase difference pixel a pixel having an asymmetric structure on the left and right (or top and bottom) is provided as a focus detection pixel (hereinafter referred to as a phase difference pixel) in a pixel array of one image sensor.
  • An imaging apparatus that performs phase difference detection using two image sensors is known.
  • the phase difference pixel is a pixel having an asymmetric structure as described above, its characteristics are different, such as low sensitivity compared to a normal pixel. Noise may occur due to darkening or coloring in the captured image. For this reason, in an imaging apparatus using an image sensor having phase difference pixels, it is known to correct phase difference pixel data in a captured image.
  • the average value correction is a correction method in which pixel values (luminance) of normal pixels adjacent to the periphery of the phase difference pixel are averaged and used as the pixel value of the phase difference pixel (Patent Document 1).
  • the gain correction is a correction method for raising the pixel value of the phase difference pixel by multiplying the pixel value of the phase difference pixel by a predetermined gain (Patent Documents 1 and 2).
  • phase difference pixel correction methods there are two types known as average value correction and gain correction.
  • the average value correction can be performed suitably for a flat image having no high-frequency edge component around the phase difference pixel.
  • the gain correction can be suitably performed without being affected even if there is a high-frequency edge component around the phase difference pixel.
  • the pixel value is multiplied by a gain, and thus there is a disadvantage that noise is conspicuous.
  • noise caused by light other than the normal incident angle, such as flare and ghost the sensitivity ratio between the normal pixel and the phase difference pixel shifts due to such noise components. The value may not be corrected.
  • An object of the present invention is to provide an imaging apparatus and an image processing method that appropriately correct the pixel value of a phase difference pixel while reducing the generation of correction traces.
  • the imaging apparatus of the present invention includes an image sensor, a focus evaluation unit, a first correction value calculation unit, and a focus detection pixel correction unit.
  • the image sensor normal pixels and focus detection pixels are arranged in a predetermined pattern on the imaging surface, and an imaging signal for one screen is output from these pixels.
  • the focus evaluation unit evaluates the focus state by referring to the luminance of the focus detection pixel from the image signal for one screen.
  • the first correction value calculation unit calculates a first correction value obtained by multiplying the luminance of the focus detection pixel by a predetermined gain.
  • the focus detection pixel correction unit compares the first correction value with the luminance of a predetermined number of the normal pixels arranged around the focus detection pixel, and the first correction value is the predetermined number of normal pixels. If the luminance is within the normal range that is less than the maximum value and greater than the minimum value, the luminance of the focus detection pixel is replaced with the first correction value, and the first correction value is outside the normal range. In this case, the second correction value is calculated by averaging the luminances of the predetermined number of normal pixels, and the luminance of the focus detection pixels is replaced with the second correction value. By this replacement, the brightness of the focus detection pixel is corrected.
  • a defective pixel correction unit for correcting the luminance of the defective pixel is provided.
  • the defective pixel correction unit stores in advance the positions of defective pixels having defects in the normal pixels, and averages the luminances of the plurality of normal pixels having no defect arranged around the defective pixels. A third correction value is calculated, and the luminance of the defective pixel is replaced with the third correction value.
  • the defective pixel correction unit may average the luminance of the normal pixels arranged around the defective pixel group when a plurality of the defective pixels are adjacent to each other to form a defective pixel group. It is preferable to calculate the third correction value.
  • a determination unit that determines whether or not the defective pixel is adjacent to the focus detection pixel is provided.
  • the focus detection pixel correction unit replaces the luminance of the focus detection pixel with the first correction value.
  • the brightness of the focus detection pixel is corrected.
  • a determination unit that determines whether or not the defective pixel is adjacent to the focus detection pixel is provided.
  • the defect pixel correction unit replaces the luminance of the focus detection pixel with the third correction value.
  • the determination unit registers the position of the focus detection pixel as the defective pixel when the defective pixel is adjacent to the focus detection pixel.
  • the defective pixel correction unit regards the registered focus detection pixel as the defective pixel when correcting the luminance of the defective pixel, and determines the luminance of the defective pixel and the registered focus detection pixel. Replace with the third correction value.
  • the image sensor preferably includes a first pixel group and a second pixel group that operate under independent conditions.
  • the focus detection pixel correction unit uses the normal pixels in the same group as the predetermined number of normal pixels when the first pixel group and the second pixel group perform photographing with different exposure times.
  • the normal pixels included in the first pixel group and the second pixel group are used as the predetermined number of normal pixels. Use pixels.
  • the image processing method of the present invention includes a focus evaluation step, a first correction value calculation step, and a focus detection pixel correction step.
  • the focus evaluation step refers to the brightness of the focus detection pixel from the image pickup signal for one screen output from the image sensor in which normal pixels and focus detection pixels are arranged in a predetermined pattern on the imaging surface. Evaluate the focus state.
  • the first correction value calculating step calculates a first correction value obtained by multiplying the luminance of the focus detection pixel by a predetermined gain.
  • the focus detection pixel correction step compares the brightness of the first correction value with a predetermined number of the normal pixels arranged around the focus detection pixel, and the first correction value is the predetermined number of normal pixels.
  • the luminance of the focus detection pixel is replaced with the first correction value, and the first correction value is outside the normal range.
  • the second correction value is calculated by averaging the luminance of the predetermined number of normal pixels, and the luminance of the focus detection pixel is changed by replacing the luminance of the focus detection pixel with the second correction value. to correct.
  • the present invention it is possible to appropriately correct the pixel value of the phase difference pixel while reducing the generation of correction marks.
  • the pixel value of the phase difference pixel can be suitably corrected even when there is noise caused by light other than the normal incident angle, such as flare and ghost.
  • FIG. 1 is a block diagram schematically showing an electrical configuration of a digital camera. It is explanatory drawing which shows what is used for correction
  • a digital camera (imaging device) 11 illuminates a subject on execution of photographing with a lens barrel 14 that holds a photographing lens 13 on the front surface of a camera body 12 that is formed in a substantially rectangular parallelepiped shape. And a flash light emitting unit 16 is provided. Further, on the upper surface of the camera body 12, a release button 17 for instructing photographing, a power button 18 for switching on / off the power, a zoom lever 19 for performing a zoom operation, and the like are provided.
  • the release button 17 is a two-stage push switch. When the release button 17 is lightly pressed (half-pressed), various shooting preparation processes such as AF are executed. When the release button 17 is further pressed (fully pressed) from the half-pressed state, the digital camera 11 is instructed to perform shooting, and the image pickup signal for one screen on which the shooting preparation processing has been performed is converted into image data.
  • a liquid crystal display 21, a mode selection button 22, and a menu button 23 are provided on the back of the camera body 12.
  • the liquid crystal display 21 displays a photographed image, a so-called through image that is displayed through during standby for photographing, various menu screens, and the like.
  • the mode selection button 22 is operated when switching the operation mode of the digital camera 11.
  • the digital camera 11 is provided with a plurality of operation modes such as a still image shooting mode for acquiring a still image, a moving image shooting mode for acquiring a moving image, and a playback mode for reproducing and displaying each acquired image on the liquid crystal display 21. These operation modes are switched by the operation of the mode selection button 22.
  • the menu button 23 is operated when various menu screens are displayed on the liquid crystal display 21.
  • a motor 31 is connected to the lens barrel 14.
  • the motor 31 transmits a driving force to the lens barrel 14 via a transmission mechanism such as a gear, so that the lens barrel 14 is extended / retracted.
  • the photographing lens 13 is a lens group composed of a plurality of lenses, and the interval between the lenses changes according to the extension / retraction of the lens barrel 14.
  • the shooting lens 13 adjusts the amount of shooting light by changing the aperture area, and the focus of the shooting lens 13 by moving in the direction of the shooting optical axis L.
  • a focusing lens for adjustment is provided.
  • an image sensor for example, a CCD 32 for picking up a subject image formed by the photographic lens 13 is arranged.
  • a timing generator (TG) 33 is connected to the CCD 32, and the shutter speed and frame rate of the electronic shutter are determined by the timing signal input from the TG 33.
  • a plurality of settings for the shutter speed and the frame rate are prepared in advance, and these settings are displayed on the liquid crystal display 21 when the menu button 23 is pressed, and are appropriately changed by operating the mode selection button 22 or the like.
  • the CCD 32 is a so-called area image sensor in which pixels 32a (see FIG. 4) that photoelectrically convert light from a subject are arranged on a plane.
  • the CCD 32 is different from a normal area image sensor in which all pixels in the imaging surface are formed of normal pixels (hereinafter referred to as normal pixels) formed in a substantially symmetric structure with respect to the photographing optical axis L.
  • G AF phase difference pixel
  • the phase difference pixel GAF is formed in an asymmetric structure in either the vertical direction or the horizontal direction with respect to the optical axis of the imaging lens 32, and at the same time, the phase difference pixel GAF is shielded from light on the upper (left) side. , so that the lower (right) side of the light blocking phase difference pixel G AF becomes: 1, are arranged.
  • the pixel value of the phase difference pixel GAF is used for calculation of the focus evaluation value in the AF detection circuit 46 as will be described later.
  • the phase difference pixel GAF is formed in an asymmetric structure, the pixel value is smaller than that of a normal pixel and exhibits a unique characteristic such as darkness.
  • the phase difference pixel GAF is finally displayed on a liquid crystal display or stored in the memory card 62. in recorded the captured image, the phase difference pixel G AF pixel value (luminance value), the value is corrected by the phase difference pixel correcting unit 47 to be described later.
  • each phase difference pixel GAF the position coordinate of each phase difference pixel GAF , the sensitivity ratio with the normal pixel, and the gain value (described later) used for gain correction determined based on this are obtained in advance, and these data are stored in an EEPROM 60 described later. ing.
  • the CCD 32 is connected to a correlated double sampling circuit (CDS) 34, and outputs an analog imaging signal that is exactly proportional to the amount of charge accumulated in each pixel 32a of the CCD 32 while removing noise by the CDS 34.
  • the imaging signal from the CCD 32 is output in units of one screen.
  • This imaging signal is amplified by an amplifier (AMP) 36, converted to digital image data by an A / D converter (A / D) 37, and temporarily stored in the SDRAM 41.
  • AMP amplifier
  • the operations of the CDS 34, AMP 36, and A / D 37 are controlled by the image input controller 42.
  • the image input controller 42 is connected to the CPU 44 via the system bus 43, and controls the operations of the CDS 34, AMP 36, and A / D 37 in accordance with control commands from the CPU 44.
  • the AF detection circuit 46 calculates a focus evaluation value of the photographing lens 13 based on the image data digitized by the A / D 37 and inputs the calculated value to the CPU 44.
  • the focus evaluation value is calculated by the phase difference detection method by using the pixel value of the phase difference pixel GAF .
  • the CPU 44 moves the photographic lens 13 to the in-focus position based on the in-focus evaluation value thus input from the AF detection circuit 46.
  • the pixel 32a is a normal image sensing pixels, and the phase difference pixels G AF for imaging and the AF.
  • normal pixels include normal pixels that operate normally and defective pixels G NG that do not operate as designed due to structural defects (see FIG. 4).
  • the phase difference pixel G AF and the defective pixel G NG correspond to special pixels that require pixel correction (luminance correction).
  • the special pixel correction unit 48 reads out the pixel values from the SDRAM 41 and simultaneously corrects the pixel values. Therefore, special pixel correcting unit 48 and, at the same time reads one by one to read the pixel value of each pixel, data of the position coordinates of the stored position coordinates of the EEPROM60 phase difference pixel G AF and defective pixel G NG (hereinafter The pixel from which the pixel value has been read is identified as one of the types of the phase difference pixel G AF , defective pixel G NG , and normal pixel.
  • the special pixel correction unit 48 uses at least one of correction methods of gain correction and average value correction for correction (luminance correction) of the phase difference pixel G AF and the defective pixel G NG .
  • the gain correction is a correction method in which a value (first correction value) obtained by multiplying a read pixel value by a predetermined gain is calculated, and this value is updated as a new pixel value.
  • the average value correction calculates an average value (second correction value) of pixel values of a plurality of normal pixels arranged in the closest color to the correction target pixel in the same color as the correction target pixel, and calculates the value. This is a correction method for updating as a new pixel value.
  • the special pixel correction unit 48 corrects the pixel value of the defective pixel by average value correction. That is, the special pixel correction unit 48 calculates an average value (third correction value) of pixel values of a plurality of normal pixels arranged adjacent to the defective pixel, and sets this as a new pixel value of the defective pixel.
  • the special pixel correction unit 48 determines the pixel value of the adjacent defective pixel as Without reference, the pixel value of the normal pixel arranged adjacent to the defective pixel to be corrected next to the adjacent defective pixel is referred to, and the average value (third correction value) of the pixel values of these pixels is calculated. Thus, the average value correction is performed. Accordingly, when a plurality of defective pixels are adjacent to each other, the special pixel correction unit 48 regards these defective pixels as one large defective pixel group, and normal pixels arranged around the defective pixel group. The average value is corrected using the pixel values.
  • the image data in which the pixel values of the phase difference pixel GAF and the defective pixel GNG are corrected by the special pixel correction unit 48 in this way is input to the image signal processing circuit 53.
  • Image data obtained by correcting the pixel value of the phase difference pixel GAF by the phase difference pixel correction unit 47 is input to the image signal processing circuit 53.
  • the image signal processing circuit 53 performs various image processing such as gradation conversion processing, white balance correction, and gamma correction processing on the image data, and then writes the image data in the SDRAM 41 again.
  • the YC conversion processing circuit 56 reads the image data subjected to various image processing by the image signal processing circuit 53 from the SDRAM 41 and converts it into a luminance signal Y and color difference signals Cr and Cb. The obtained YC data is stored in the SDRAM 41 again.
  • the AE / AWB detection circuit 57 calculates a photometric value representing the luminance of the subject based on the integrated value of the luminance signal Y and the color difference signals Cr and Cb, and transmits the calculation result to the CPU 44.
  • the CPU 44 determines whether or not the exposure amount and the white balance are appropriate based on the photometric value transmitted from the AE / AWB detection circuit 57, and adjusts the aperture mechanism of the photographing lens 13, the CCD 32, etc. so that these values are optimal. Control the behavior.
  • the liquid crystal driver 58 reads the YC data from the SDRAM 41, converts it into an analog composite signal, and displays it on the liquid crystal display 21. Further, image data generated based on the imaging signals sequentially output from the CCD 32 is sequentially output to the liquid crystal display 21, so that a so-called through image is displayed on the liquid crystal display 21.
  • the compression / decompression processing circuit 59 generates a still image file or a moving image file by converting YC data into a predetermined file format.
  • the obtained still image file and moving image file are so-called captured images.
  • the CPU 44 is connected to various operation members such as a release button 17, a zoom lever 19, a mode selection button 22, and a menu button 23. When the operation of these operation members is detected, the detection signal is input to the CPU 44.
  • the CPU 44 is connected to each part of the digital camera 11 via the system bus 43 via a driver or the like, and is input from the above-described operation member or each part of the digital camera 11. Then, the CPU 44 controls the digital camera 11 in an integrated manner by transmitting a control signal to each part of the digital camera 11 based on these various signals.
  • the media controller 61 accesses a memory card 62 that is detachably attached to a media slot (not shown), and reads and writes the generated captured image.
  • the flash control unit 63 causes the flash light emitting unit 16 to emit light according to the flash light emission signal transmitted from the CPU 44.
  • the digital camera 11 is provided with an EEPROM 60.
  • the EEPROM 60 stores in advance a program that is read out by the CPU 44 to operate the digital camera 11, coordinate data of the phase difference pixel GAF , coordinate data of the defective pixel GNG , gain used for gain correction, and the like. ing.
  • the CCD 32 is arranged such that the X direction corresponds to the horizontal direction (longitudinal direction) of the digital camera 11 and the Y direction corresponds to the vertical direction (short direction) of the digital camera 11.
  • the pixel 32a includes a phase difference pixel formed in an asymmetric structure in the X direction (or Y direction).
  • some of the G pixels in which the green color filter G is arranged are formed in the phase difference pixel GAF .
  • the normal pixels for imaging may include defective pixels that do not operate normally.
  • one of the G pixels is a defective pixel NG .
  • the pixels other than the phase difference pixel G AF and the defective pixel G NG are normal pixels that operate normally.
  • Pixels special pixel correction unit 48 refers to when correcting the pixel value of the phase difference pixel G AF, the pixel values of the four G pixels Ga ⁇ Gd of the same color which are located closest to the phase difference pixels G AF is Referenced. Similarly, when the special pixel correction unit 48 corrects the pixel value of the defective pixel G NG as an average value, the G pixel Gd having the same positional relationship as the correction of the phase difference pixel G AF with the defective pixel G NG as the center. , Gc, Ge, and Gf are referred to. In the following, normal pixels of the same color arranged closest to the correction target phase difference pixel G AF and defective pixel G NG are referred to as peripheral pixels. Thus, in Figure 4, the peripheral pixels of the phase difference pixel G AF is G pixel Ga ⁇ Gd, G pixel Gd, Gc, Ge, Gf is the peripheral pixels of the defective pixel G NG.
  • the mode selection button 22 is pressed to select the still image shooting mode or the moving image shooting mode, and the digital camera 11 is set to the shooting standby state.
  • the TG 33 is controlled by the CPU 44, and the CCD 32 is driven by the timing signal output from the TG 33.
  • the CPU 44 drives the CCD 32 according to the shutter speed and frame rate set by the user via the menu screen.
  • the CCD 32 outputs an imaging signal corresponding to the subject image formed on the imaging surface by the imaging lens 13, and the digitized image data is temporarily stored in the SDRAM 41.
  • the AF detection circuit 46 based on an instruction from the CPU 44, thus reading out the digitized image data from the SDRAM 41, to calculate the focus evaluation value based on the pixel value of the phase difference pixel G AF contained therein, Input to the CPU 44 (focusing evaluation step).
  • the CPU 44 drives the motor 31 according to the input focus evaluation value and moves the photographing lens 13 to the focus position.
  • the special pixel correction unit 48 reads the same digital image data read by the AF detection circuit 46 from the SDRAM 41, and sets the pixel values of the phase difference pixel G AF and the defective pixel G NG. It is corrected and input to the image signal processing circuit 53.
  • the image signal processing circuit 53 performs various image processing such as gamma correction processing on the image data of all pixels, that is, the corrected image data of the phase difference pixel G AF and the defective pixel G NG and the image data of the normal pixel. .
  • the image data that has been subjected to various types of image processing by the image signal processing circuit 53 is subjected to YC conversion processing by the YC conversion processing circuit 56 and is then displayed on the liquid crystal display 21 or is converted into this image data by the compression / decompression processing circuit 59.
  • a captured image is generated based on the result and stored in the memory card 62.
  • the correction (luminance correction) of the pixel values of the phase difference pixel G AF and the defective pixel G NG by the special pixel correction unit 48 is performed according to the procedure shown in FIG. First, when the image data is read from the SDRAM 41, the special pixel correction unit 48 reads the pixel values of each pixel of the image data one by one. At the same time, whether the special pixel correcting section 48, by comparing the position coordinates of the pixels read out a pixel value, a phase difference pixel G AF coordinate data, pixel read the pixel value of the phase difference pixel G AF Is determined (step S11).
  • the special pixel correction unit 48 calculates a pixel value when the pixel value of the phase difference pixel GAF is gain corrected (step S12, first step Correction value calculation step). That is, the special pixel correcting unit 48 reads this pixel value of the phase difference pixel G AF, the phase difference gain predetermined corresponding to the pixel G AF alpha read from EEPROM 60, the original pixel value read as image data multiplied by the CV, to calculate the pixel value alpha ⁇ CV when the pixel value CV of the phase difference pixel G AF was gain correction.
  • the special pixel correcting unit 48 obtains the pixel values of the peripheral pixels Ga ⁇ Gd (see Fig. 4) with respect to the phase difference pixel G AF, peripheral pixel a pixel value alpha ⁇ CV of the phase difference pixel G AF after gain correction Each pixel value of Ga to Gd (see FIG. 4) is compared (step S13, focus detection pixel correction step).
  • the special pixel correction unit 48 corrects the gain of the pixel value of the phase difference pixel GAF by replacing the read pixel value CV of the phase difference pixel GAF with the pixel value ⁇ ⁇ CV when gain correction is performed.
  • CV d when the pixel values of the peripheral pixels Ga to Gd are CV a , CV b , CV c , and CV d, and the maximum value among these values is CV a and the minimum value is CV d , CV d ⁇ if it meets the alpha ⁇ CV ⁇ CV a replaces a pixel value of the phase difference pixel G AF the original pixel value CV in the pixel value alpha ⁇ CV after gain correction.
  • the special pixel correction unit 48 uses the pixel of the phase difference pixel GAF The value is corrected by average value correction (step S14, focus detection pixel correction step).
  • the special pixel correction unit 48 calculates an average value CV AVE of the pixel values CV a , CV b , CV c , and CV d of the peripheral pixels Ga to Gd, and uses this to calculate the average value CV AVE of the phase difference pixel G AF .
  • the pixel value is replaced with the average CV AVE of the pixel values of the surrounding pixels from the original pixel value CV.
  • the special pixel correcting unit 48 the read pixel values of the phase difference pixel G AF, corrects the gain correction or the average value pixel value of the phase difference pixel G AF read by one of the compensation.
  • step S11 when the position coordinates of a pixel read out pixel value is not registered in the coordinate data of the phase difference pixel G AF, pixels read out pixel value is not the phase difference pixel G AF is special pixel correcting unit 48 further position coordinates of the pixels read out the pixel values against the defective pixel G NG coordinate data, pixel read the pixel values is determined whether or not the defective pixel G NG ( Step S15).
  • the position coordinate of the pixel from which the pixel value has been read is not registered in the coordinate data of the defective pixel G NG , and the pixel from which the pixel value has been read is neither the phase difference pixel G AF nor the defective pixel G NG
  • the special pixel correction unit 48 determines that the pixel from which the pixel value is read is a normal pixel. For the normal pixel, neither the gain correction nor the average value correction is performed, and the read pixel value is used as the pixel value of the pixel as it is.
  • the special pixel correction unit 48 The pixel value of the pixel G NG is corrected by average value correction (step S16). For example, when the peripheral pixels Gd, Gc, Ge, Gf (see FIG. 4) of the defective pixel G NG are all normal pixels, the pixel values of these peripheral pixels Gd, Gc, Ge, Gf are averaged.
  • the pixel value of the defective pixel G NG is replaced with the average value of the calculated pixel values of the peripheral pixels Gd, Gc, Ge, and Gf from the read original pixel value.
  • the peripheral pixel Gd, Gc defective pixel G NG, Ge if it contains defective pixel Gf regards its neighboring defective pixels and the defective pixel G NG and one defect pixel group, the defective pixel group
  • the pixel values of the peripheral pixels around the pixel are averaged, and the value is used as the pixel value of the defective pixel NG .
  • the special pixel correction unit 48 When the pixel value of the defective pixel G NG is corrected, if the neighboring pixel Gd located on the right is a defective pixel (adjacent defective pixel), the special pixel correction unit 48 The defective pixel G NG and the peripheral pixel Gd are regarded as a group of defective pixels 68. Then, with the G pixel Gc, Ge, Gf, Gg, Gh, Gi closest to the defective pixel group 68 as peripheral pixels, the average value of the pixel values of these pixels is calculated, and the pixel value of the defective pixel GNG is calculated. The original pixel value read out is replaced with the value calculated here.
  • the pixel value is subjected to gain correction or average value correction, and the pixel value of all defective pixels GNG is subjected to average value correction. It is given.
  • the special pixel correction unit 48 inputs the image data in which the correction of the pixel values of all the special pixels G AF and G NG is completed to the image signal processing circuit 53.
  • the image signal processing circuit 53 performs various types of image processing on the image data input from the special pixel correction unit 48 and the image data of normal pixels, and then the YC conversion processing circuit 56 performs YC conversion processing. After that, the image data is converted into a still image (moving image) file by the compression / decompression processing circuit 59 and stored in the memory card 62 as a recorded image or displayed on the liquid crystal display 21 as a through image.
  • the digital camera 11 is an imaging device provided with the phase detection pixel GAF for focus detection in order to perform AF by the phase difference detection method using one image sensor, and performs gain correction or averaging.
  • a captured image is obtained by correcting the pixel value of the phase difference pixel GAF by value correction.
  • the digital camera 11 compares not the original pixel value CV of the phase difference pixel GAF but the pixel value ⁇ ⁇ CV in the case of gain correction with the pixel values of the surrounding pixels, thereby comparing the phase difference pixel GAF . It is determined whether or not gain correction is appropriate as a pixel value correction method.
  • the pixel value of the phase difference pixel GAF is corrected by gain correction based on the pixel value ⁇ ⁇ CV in the case of gain correction instead of the original pixel value C of the phase difference pixel GAF , or by average correction.
  • the pixel value of the phase difference pixel G AF is easily corrected by hard correction method correcting marks in the captured image is generated.
  • the gain correction pixel value of the phase difference pixel G AF when corrected by, since the ratio of the relative noise component with respect to the peripheral pixels is increased, the pixel value alpha ⁇ CV after gain correction of the phase difference pixel G AF tends to be greater than the surrounding pixels.
  • the gain correction is appropriate, so that correction traces due to gain correction are less likely to occur. .
  • the pixel values of the peripheral pixels are since a large width of the maximum and minimum values by a feature, the pixel values alpha-CV after gain correction is easy fit between the pixel values of the surrounding pixels, the pixel value of the phase difference pixel G AF is likely to be corrected by the gain correction . Therefore, the digital camera 11 is less likely to generate correction marks due to the average value correction performed on the high-frequency image.
  • the phase difference pixel GAF has an asymmetric structure, so that the sensitivity ratio between the phase difference pixel GAF and the normal pixel is It tends to deviate from the sensitivity ratio when there is no such noise. Therefore, when correcting the pixel value of the phase difference pixel G AF by the gain correction if there is such a noise component, large pixel value alpha ⁇ CV after the gain correction protrudes from the pixel value of the surrounding pixels (small) is by Although it tends to be a correction mark, as described above, the pixel value ⁇ ⁇ CV after gain correction is directly compared with the pixel values of surrounding pixels to determine whether gain correction is appropriate or not. Average value correction that is less likely to cause marks is easily selected.
  • the pixel value ⁇ ⁇ CV after gain correction is not compared with a value obtained by quantifying the characteristics of the image in the vicinity of the phase difference pixel GAF , but is directly compared with the pixel values of the surrounding pixels. Even after various image processing is performed by the image signal processing circuit 53, the above-described characteristics are not substantially changed. For example, the fact that the pixel value ⁇ ⁇ CV is between the pixel values of surrounding pixels is the same in many cases before and after various image processing. For this reason, even in the previous stage of various image processing by the image signal processing circuit 53, the digital camera 11 can easily select a correction method that hardly causes correction marks.
  • the digital camera 11 selects the correction method of the pixel value of the phase difference pixel GAF by a simple method of calculating the pixel value ⁇ ⁇ CV after gain correction and comparing the size with the surrounding pixel values. Therefore, in the digital camera 11, while suppressing the generation of correction marks as described above, it is possible to easily correct the pixel value of the phase difference pixel G AF in a short time.
  • the special pixel correction unit 48 calculates the pixel value ⁇ ⁇ CV after gain correction when correcting the pixel value of the phase difference pixel GAF , the defective pixel GNG is detected as a peripheral pixel.
  • the correction method of the pixel value of the phase difference pixel G AF not limited to this. For example, to determine whether contains defective pixel G NG peripheral pixels of the phase difference pixel G AF, it is preferable to select a correction method of the pixel value of the phase difference pixel G AF accordingly.
  • the pixel value ⁇ ⁇ CV after gain correction is calculated in the same manner as in the above-described embodiment (S12), and this value is between the pixel values of the surrounding pixels. It is determined whether or not there is (S13).
  • the pixel value ⁇ ⁇ CV after the gain correction is a value between the pixel values of the peripheral pixels, and the gain correction is suitable for correcting the pixel value of the phase difference pixel GAF , the peripheral pixels are defective. Even if the pixel G NG is included, since there are a plurality of peripheral pixels, the correction method of the pixel value of the phase difference pixel G NG and the corrected pixel value are not so much affected. Therefore, in such a case, the special pixel correction unit 48 corrects the pixel value of the phase difference pixel GAF by gain correction, as in the above-described embodiment.
  • the pixel value of the phase difference pixel GAF is corrected by the average value correction.
  • the pixel values of the peripheral pixels directly affect the corrected pixel values of the phase difference pixel GAF . Therefore, when the special pixel correction unit 48 attempts to correct the pixel value of the phase difference pixel G AF by correcting the average value, is there any defective pixel G NG in the peripheral pixels using the coordinate data of the defective pixel G NG ? Whether or not to correct the pixel value by the average value correction is determined according to the result (step S21).
  • the pixel value of the phase difference pixel GAF is corrected by average value correction as in the above-described embodiment.
  • the pixel value of the phase difference pixel G AF is corrected by gain correction.
  • the pixel value of the phase difference pixel G AF is corrected by gain correction when there is a defective pixel G NG in the peripheral pixels, it is compared with the case where there is no defective pixel G NG in the peripheral pixels and normal value correction can be performed normally.
  • the pixel value that is replaced by the average value correction does not provide the expected value, and more serious correction is performed by performing the average value correction using the pixel value of the defective pixel NG. Considering that a trace may occur, generation of such a serious correction trace can be suppressed, and a good captured image can be easily obtained.
  • the pixel value alpha ⁇ CV after gain correction after comparing the pixel values of the peripheral pixels but to determine whether it contains a defective pixel G NG peripheral pixels, defective pixels G NG peripheral pixels It is sufficient that the determination of whether or not the image is included is performed at least before the average value correction is performed. Therefore, in FIG. 7, it is sufficient if there is a step S21 for determining the presence or absence of the defective pixel G NG before the step S14 for correcting the average value.
  • reading of the pixel value (S11), the pixel value ⁇ ⁇ CV, and the surrounding pixel may be determined between the comparison of pixel values (S13) (between S11 and S12 or between S12 and S13) and the like.
  • the phase difference pixel G as described above is used. It is determined whether or not a defective pixel GNG is included in the peripheral pixels of AF (step S21). When the defective pixel G NG is included in the peripheral pixels, the phase difference pixel G AF to be corrected is registered as the defective pixel G NG in the coordinate data of the defective pixel (step S22).
  • the phase difference pixel G AF that defines be treated as defective pixel G NG is correct the pixel value by the average value corrected by the defective pixel G NG similar manner (step S16). That is, the phase difference pixels G AF defined be treated as defective pixel G NG is considered defective pixel group 68 becomes defective pixel G NG integrally adjacent, using peripheral pixels of the defective pixel group 68 The pixel value is corrected by the average value correction.
  • the phase difference pixel G AF when the pixel value of the phase difference pixel G AF is corrected to the average value, the phase difference pixel G AF at the position where the peripheral pixel includes the defective pixel G NG is handled as the defective pixel G NG.
  • the pixel value of the phase difference pixel GAF can be corrected by a more preferable average value correction.
  • the honeycomb array CCD 32 shown in FIG. 4 and FIG. 6 includes rows in which R pixels and B pixels are alternately arranged (X direction) and rows in which only G pixels are arranged alternately, and each row has 1/2 pixel.
  • the pixels are arranged while shifting the arrangement of the pixels by that amount.
  • a row in which G 1 pixels and B 1 pixels are alternately arranged, a row in which G 2 pixels and B 2 pixels are alternately arranged, a G 1 pixel, and an R A row in which one pixel is alternately arranged and a row in which the G 2 pixel and the R 2 pixel are alternately arranged may be arranged while shifting the arrangement of the pixels by 1 ⁇ 2 pixel in each row.
  • This CCD is provided with a wiring structure or the like so that the exposure time can be controlled independently of the first group pixel with the subscript “1” and the second group pixel with the subscript “2”.
  • the phase difference pixel G AF is G 2 pixels of the second pixel group.
  • the peripheral pixel is a phase difference pixel GAF .
  • the phase difference pixel G AF provided in the second group of pixels as shown in FIG. 9, in the same second group of pixels, the phase difference pixel G AF most closely spaced the same color G Two pixels G 2 a to G 2 d are used as peripheral pixels.
  • photographing may be performed with the same exposure time for the first group pixel and the second group pixel.
  • the G 2 pixel G 2 a, the second group pixel similar to the above is used as the peripheral pixel.
  • G 2 c, using G 1 pixel G 1 alpha than G 2 pixels are arranged in proximity to the phase difference pixel G AF in the first group of pixels, the G 1 beta as a peripheral pixel.
  • the present invention can be suitably used for a normal image sensor in which pixels are arranged in a matrix in addition to the honeycomb array CCD 32.
  • a CCD in which pixels are provided in a so-called Bayer array may be used.
  • a CMOS type image sensor may be used in addition to the CCD 32.
  • phase difference pixels may be used as phase difference pixels.
  • phase difference pixels may be provided for pixels of a plurality of colors. However, when phase difference pixels are provided for a plurality of color pixels, the pair of phase difference pixels must have the same color.
  • the phase difference pixels G AF is disposed in a predetermined position of the imaging surface 72, the specific arrangement of the phase difference pixel G AF, based on the pixel values of the phase difference pixel G AF If AF can be performed, it may be arbitrarily determined according to the specifications of the digital camera 11 and the like. Similarly, the number of phase difference pixels may be arbitrarily determined.
  • peripheral pixels when correcting the pixel value of the phase difference pixel G AF, around the phase difference pixel G AF, 4 pieces of peripheral pixels located closest to the phase difference pixel G AF Ga Reference is made to the pixel values of .about.Gd (see FIG. 4).
  • the four peripheral pixels referred to in the above-described embodiment and the pixels of the same color next to the phase difference pixel GAF may be referred to as the peripheral pixels.
  • the pixel value ⁇ ⁇ CV after gain correction is calculated and compared with the pixel values of the surrounding pixels before the phase difference pixel GAF. These pixel values are replaced by gain correction or average value correction.
  • this special pixel correction unit 48 instead reads the image data may be previously corrected pixel value of the phase difference pixel G AF by gain correction.
  • the gain correction to the pixel value of the phase difference pixel G AF at the stage of the analog signal You may give it.
  • the AF detection circuit 46 can calculate the focus evaluation value in the same manner as in the above-described embodiment.
  • the pixel values of the peripheral pixels are simply averaged. This is the pixel value of the pixel.
  • the compact digital camera 11 has been described as an example.
  • the present invention can be used for any other imaging device as long as the imaging device performs AF.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　補正痕の発生を低減しながら、焦点検出用画素の画素値を適切に補正する。　デジタルカメラ１１は、ＣＣＤ３２、ＡＦ検出回路４６、特殊画素補正部４８等を備える。ＣＣＤ３２は、撮像面内に通常画素と位相差画素とが所定パターンで配列され、一画面分の撮像信号を出力する。ＡＦ検出回路４６は、撮像信号から位相差画素の画素値を参照して合焦状態の評価を行う。特殊画素補正部４８は、位相差画素の画素値に所定のゲインを乗じた第１補正値を算出するとともに、第１補正値と、位相差画素周辺の通常画素の画素値を比較する。第１補正値がこれらの画素値のうち、最大値以下かつ最小値以上の場合に、位相差画素の画素値を第１補正値で置き換えられ、その他の場合には、位相差画素の画素値を周辺画素の画素値の平均した第２補正値で置き換えられる。

Description

撮像装置及び画像処理方法
　本発明は、焦点検出用画素を有するイメージセンサを搭載した撮像装置に関するものであり、さらに詳しくは、焦点検出用画素のデータを補正して画像形成に用いる撮像装置及び画像処理方法に関する。
　自動焦点調節機能を備えたデジタルカメラ等の撮像装置が普及している。自動焦点調節（以下、ＡＦという）には、被写体に赤外線や超音波等を照射し、反射光の結像位置や反射光が戻るまでの時間等に基づいて測距するアクティブ方式と、撮像レンズ等を通して得られる撮像画像を用いて焦点距離を検出するパッシブ方式が知られている。パッシブ方式のＡＦ機能は、画面の全部又は指定範囲内の画像のコントラストが最大になるように焦点調節を行うコントラスト検出方式や、視差（位相差）がある位置に配置された２つのイメージセンサから出力される画像データの相関関係に基づいて焦点調節を行う位相差検出方式が知られている。
　特に近年では、１つのイメージセンサの画素配列の中に、左右（あるいは上下）に非対称な構造を持つ画素を焦点検出用画素（以下、位相差画素という）として設けておくことで、ＡＦ時に１つのイメージセンサで位相差検出方式を行う撮像装置が知られている。しかし、位相差画素は、前述のように非対称な構造を持った画素であるため、通常の画素と比較して感度が低い等、その特性が異なっているために、位相差画素の部分は、撮影画像の中で暗くなったり、色つきが生じたりして、ノイズとなる。このため、位相差画素を有するイメージセンサを用いた撮像装置では、撮影画像における位相差画素のデータを補正することが知られている。
　位相差画素のデータを補正する方法としては、平均値補正と、ゲイン補正の２種類の方法が知られている。平均値補正は、位相差画素の周囲に隣接する通常画素の画素値（輝度）を平均し、これを位相差画素の画素値とする補正方法である（特許文献１）。また、ゲイン補正は、位相差画素の画素値に、所定のゲインを乗じて位相差画素の画素値を引き上げる補正方法である（特許文献１，２）。
特開２００９－３０３１９４号公報 特開２０００－３０５０１０号公報
　位相差画素の補正方法は、前述のように平均値補正とゲイン補正の２種類が知られているが、撮影画像の内容によっては、良好な補正を行える画像と、補正によってかえってノイズが目立ってしまう画像がある。平均値補正は、位相差画素の周囲に高周波のエッジ成分がない平坦な画像の場合に好適な補正が行える。一方、位相差画素の周囲に高周波のエッジ成分がある画像に平均値補正を施すと、折り返しによる偽色が生じるという欠点がある。また、ゲイン補正は、位相差画素の周囲に高周波のエッジ成分があっても影響を受けずに好適な補正が行える。一方、位相差画素の周囲に高周波のエッジ成分がない平坦な画像の場合には、画素値をゲインを乗じて引き上げるため、かえってノイズが目立つという欠点がある。特に、フレアやゴースト等、通常の入射角度以外の光によって生じるノイズがあるときには、こうしたノイズ成分によって通常画素と位相差画素の感度比がズレてしまうため、ゲイン補正では正確に位相差画素の画素値を補正できないことがある。
　こうしたことから、位相差画素の画素値の補正方法として、平均値補正とゲイン補正の一方だけを採用すると、撮影画像の内容によっては位相差画素の画素値を補正したことでかえって画質が劣化し、いわゆる補正痕を発生させることがある。このため、撮影画像の内容に応じてこれらの補正方法を使い分けたり、あるいは補正痕を低減する工夫が求められる。
　撮影画像の内容に応じて補正方法を使い分ける例としては、特許文献２に記載されているように、高周波成分の有無を検出し、その結果に応じて前述の２つの補正方法を使い分ける例が知られている。また、位相差画素の画素値を補正する前にガンマ補正処理等の各種画像処理を行うと、位相差画素と通常画素の感度差を反映して偽色等が生じて画質が劣化してしまうため、通常、位相差画素の画素値の補正はこうした各種画像処理を施す前に行われる。しがたって、各種画像処理が施されることによって顕在化するような高周波成分を検出することは難しい。このため、前述のように、高周波成分の有無を検出して、その結果だけにしたがって、平均値補正とゲイン補正のいずれか一方を選択する方法では、良好な補正が行えないことがある。
　本発明の目的は、補正痕の発生を低減しながら、位相差画素の画素値を適切に補正する撮像装置及び画像処理方法を提供することにある。
　上記目的を達成するために、本発明の撮像装置は、イメージセンサと、合焦評価部と、第１補正値算出部と、焦点検出用画素補正部とを備えている。イメージセンサは、撮像面内に通常画素と焦点検出用画素とが所定パターンで配列され、これらの画素から一画面分の撮像信号を出力する。合焦評価部は、前記一画面分の撮像信号から前記焦点検出用画素の輝度を参照して合焦状態の評価を行う。第１補正値算出部は、前記焦点検出用画素の輝度に所定のゲインを乗じた第１補正値を算出する。焦点検出用画素補正部は、前記第１補正値と、前記焦点検出用画素の周囲に配置された所定数の前記通常画素の輝度を比較し、前記第１補正値が前記所定数の通常画素の輝度のうちの最大値以下かつ最小値以上の通常範囲内である場合には、前記焦点検出用画素の輝度を前記第１補正値に置き換え、前記第１補正値が前記通常範囲外である場合には、前記所定数の通常画素の輝度を平均して第２補正値を算出し、前記焦点検出用画素の輝度を前記第２補正値に置き換える。この置き換えにより、前記焦点検出用画素の輝度が補正される。
　前記欠陥画素の輝度を補正する欠陥画素補正部を備えることが好ましい。この欠陥画素補正部は、前記通常画素のなかで欠陥のある欠陥画素の位置が予め記憶されるとともに、前記欠陥画素の周囲に配置された欠陥のない複数の前記通常画素の輝度を平均して第３補正値を算出し、前記欠陥画素の輝度を前記第３補正値に置き換える。
　また、前記欠陥画素補正部は、前記欠陥画素が複数隣接し合って欠陥画素群を形成している場合には、前記欠陥画素群の周囲に配置された前記通常画素の輝度を平均して前記第３補正値を算出することが好ましい。
　また、前記焦点検出用画素に隣接して前記欠陥画素があるか否かを判別する判別部を備えることが好ましい。この判別部が、前記焦点検出用画素に隣接して前記欠陥画素があることを判別した場合に、前記焦点検出用画素補正部は、前記焦点検出用画素の輝度を前記第１補正値に置き換えることにより、前記焦点検出用画素の輝度を補正する。
　また、前記焦点検出用画素に隣接して前記欠陥画素があるか否かを判別する判別部を備えることが好ましい。この判別部が、前記焦点検出用画素に隣接して前記欠陥画素があると判別した場合、当該焦点検出用画素の輝度を前記欠陥画素補正部によって前記第３補正値で置き換える。
　また、前記判別手段は、前記焦点検出用画素に隣接して前記欠陥画素がある場合に、当該焦点検出用画素の位置を前記欠陥画素として登録するのが望ましい。前記欠陥画素補正部は、前記欠陥画素の輝度を補正するときに、登録された前記焦点検出用画素を前記欠陥画素とみなし、前記欠陥画素の輝度及び前記登録された焦点検出用画素の輝度を前記第３補正値で置き換える。
　また、前記イメージセンサは、各々独立した条件で動作をする第１画素群と第２画素群を備えるのが望ましい。前記焦点検出用画素補正部は、前記第１画素群と前記第２画素群とが互いに異なる露光時間で撮影を行う場合に、前記所定数の通常画素として同じ群内の前記通常画素を用いる。そして、前記第１画素群と前記第２画素群とが同じ露光時間で撮影を行う場合には、前記所定数の通常画素として、前記第１画素群及び前記第２画素群に含まれる前記通常画素を用いる。
　本発明の画像処理方法は、合焦評価ステップと第１補正値算出ステップと焦点検出用画素補正ステップを備える。合焦評価ステップは、撮像面内に通常画素と焦点検出用画素とが所定パターンで配列されたイメージセンサから出力される一画面分の撮像信号から前記焦点検出用画素の輝度を参照して合焦状態の評価を行う。第１補正値算出ステップは、前記焦点検出用画素の輝度に所定のゲインを乗じた第１補正値を算出する。焦点検出用画素補正ステップは、前記第１補正値と、前記焦点検出用画素の周囲に配置された所定数の前記通常画素の輝度を比較し、前記第１補正値が前記所定数の通常画素の輝度のうちの最大値以下かつ最小値以上の通常範囲内である場合には、前記焦点検出用画素の輝度を前記第１補正値に置き換え、前記第１補正値が前記通常範囲外である場合には、前記所定数の通常画素の輝度を平均して第２補正値を算出し、前記焦点検出用画素の輝度を前記第２補正値に置き換えることにより、前記焦点検出用画素の輝度を補正する。
　本発明によれば、補正痕の発生を低減しながら、位相差画素の画素値を適切に補正することができる。特に、フレアやゴースト等、通常の入射角度以外の光によって生じるノイズがある場合にも位相差画素の画素値を好適に補正することができる。
デジタルカメラの正面斜視図である。 デジタルカメラの背面図である。 デジタルカメラの電気的構成を概略的に示すブロック図である。 ＣＣＤの画素配列と、画素のうち位相差画素の補正に用いられるものを示す説明図である。 位相差画素の画素値を補正する様態を示すフローチャートである。 欠陥画素に隣接して欠陥画素がある場合に、欠陥画素の画素値を平均値補正によって補正する様態を示す説明図である。 位相差画素の周辺に欠陥画素がある場合に位相差画素の画素値を補正する様態を示すフローチャートである。 位相差画素の周辺に欠陥画素がある場合に特に好適に位相差画素の画素値を補正する様態を示すフローチャートである。 露光時間の異なる２種類の撮影をほぼ同時に行うことができるＣＣＤの画素配列を模式的に示す説明図である。 露光時間が異なる２種類の撮影をほぼ同時に行うことがＣＣＤを用いて、全ての画素を同じ露光時間で用いる場合の様態を示す説明図である。
　図１に示すように、デジタルカメラ（撮像装置）１１は、ほぼ直方体状に形成されたカメラ本体１２の前面に、撮影レンズ１３を保持するレンズ鏡筒１４と、撮影実行の際に被写体を照明するフラッシュ発光部１６とが設けられている。また、カメラ本体１２の上面には、撮影実行を指示するレリーズボタン１７、電源のＯＮ／ＯＦＦを切り替える電源ボタン１８、ズーム操作を行うためのズームレバー１９等が設けられている。レリーズボタン１７は、２段階押しのスイッチとなっており、レリーズボタン１７を軽く押圧（半押し）すると、ＡＦ等の各種撮影準備処理が実行される。レリーズボタン１７を半押し状態からさらに押圧（全押し）すると、デジタルカメラ１１に撮影実行が指示され、撮影準備処理が施された１画面分の撮像信号が画像データに変換される。
　図２に示すように、カメラ本体１２の背面には、液晶ディスプレイ２１、モード選択ボタン２２、メニューボタン２３が設けられている。液晶ディスプレイ２１には、撮影した画像や、撮影の待機時にスルー表示されるいわゆるスルー画像、各種メニュー画面などが表示される。モード選択ボタン２２は、デジタルカメラ１１の動作モードを切り替える際に操作される。デジタルカメラ１１は、静止画像を取得する静止画撮影モード、動画像を取得する動画撮影モード、取得した各画像を液晶ディスプレイ２１に再生表示する再生モード等の複数の動作モードが設けられており、モード選択ボタン２２の操作によってこれらの各動作モードが切り替わる。メニューボタン２３は、液晶ディスプレイ２１に各種のメニュー画面を表示させる際に操作される。
　図３に示すように、レンズ鏡筒１４には、モータ３１が接続されている。モータ３１はギアなどの伝達機構を介してレンズ鏡筒１４に駆動力を伝え、レンズ鏡筒１４の繰り出し／繰り込みを行う。また、図示を簡略化してあるが、撮影レンズ１３は複数枚のレンズからなるレンズ群であり、レンズ鏡筒１４の繰り出し／繰り込みに応じて各レンズの間隔が変化する。さらに、撮影レンズ１３には撮影倍率を変化させる光学系の他に、開口面積を変化させることによって撮影光量を調節する絞り機構や、撮影光軸Ｌ方向に移動することによって撮影レンズ１３の焦点を調節するフォーカシングレンズが設けられている。
　撮影レンズ１３の背後には、撮影レンズ１３によって結像された被写体像を撮像するイメージセンサ、例えばＣＣＤ３２が配置されている。ＣＣＤ３２にはタイミングジェネレータ（ＴＧ）３３が接続されており、ＣＣＤ３２は、このＴＧ３３から入力されるタイミング信号により電子シャッタのシャッタ速度やフレームレートが定められる。シャッタ速度とフレームレートは、それぞれに複数の設定が予め用意されており、これらの設定は、メニューボタン２３の押下することにより液晶ディスプレイ２１に表示され、モード選択ボタン２２の操作等により適宜変更される。
　また、ＣＣＤ３２は、被写体からの光を光電変換する画素３２ａ（図４参照）が平面に配列されたいわゆるエリアイメージセンサである。但し、ＣＣＤ３２は、撮像面内の全ての画素が、撮影光軸Ｌに対してほぼ対称な構造に形成された通常の画素（以下、通常画素という）からなる通常のエリアイメージセンサとは異なり、被写体からの光の入射角度によってはこれを遮光するように、撮影光軸Ｌに対して非対称な構造に形成された画素（以下、位相差画素という）ＧＡＦ（図４参照）が撮像面内の複数の所定箇所に設けられている。位相差画素ＧＡＦは、撮像レンズ３２の光軸に対して上下または左右のいずれかの方向に非対称な構造に形成されていると同時に、上（左）側が遮光された位相差画素ＧＡＦと、下（右）側が遮光された位相差画素ＧＡＦが１対になるように、複数配置されている。
　前記位相差画素ＧＡＦの画素値は、後述するようにＡＦ検出回路４６において合焦評価値の算出に用いられる。同時に、位相差画素ＧＡＦは非対称構造に形成されているために、通常画素よりも画素値が小さく暗い等の固有の特性を示すが、最終的に液晶ディスプレイに表示されたり、メモリカード６２に記録される撮影画像では、位相差画素ＧＡＦの画素値（輝度値）は、後述する位相差画素補正部４７によってその値が補正される。また、各位相差画素ＧＡＦの位置座標や通常画素との感度比やこれに基づいて定められるゲイン補正で用いるゲイン値（後述）は、予め求めておき、これらのデータは後述するＥＥＰＲＯＭ６０に記憶している。
　ＣＣＤ３２は、相関二重サンプリング回路（ＣＤＳ）３４に接続され、ＣＤＳ３４によってノイズを除去しながらＣＣＤ３２の各画素３２ａの蓄積電荷量に正確に比例したアナログの撮像信号を出力する。また、ＣＣＤ３２からの撮像信号は、一画面分を単位として出力される。この撮像信号は、増幅器（ＡＭＰ）３６で増幅された後に、Ａ／Ｄ変換器（Ａ／Ｄ）３７でデジタルの画像データに変換され、ＳＤＲＡＭ４１に一時的に記憶される。これらのＣＤＳ３４、ＡＭＰ３６、Ａ／Ｄ３７の動作は、画像入力コントローラ４２によって制御される。画像入力コントローラ４２は、システムバス４３を介してＣＰＵ４４に接続されており、ＣＰＵ４４からの制御命令に応じて、ＣＤＳ３４、ＡＭＰ３６、Ａ／Ｄ３７の動作を制御する。
　ＡＦ検出回路４６は、Ａ／Ｄ３７でデジタル化された画像データを基に撮影レンズ１３の合焦評価値を算出し、ＣＰＵ４４に入力する。また、合焦評価値は、位相差画素ＧＡＦの画素値を用いることにより、位相差検出方式によって算出される。ＣＰＵ４４は、こうしてＡＦ検出回路４６から入力される合焦評価値に基づいて、撮影レンズ１３を合焦位置に移動させる。
　本実施形態では、画素３２ａには、撮像用の通常画素と、撮像及びＡＦ用の位相差画素ＧＡＦとがある。また、通常画素には、正常動作する正常画素と、構造的な欠陥によって設計通りに作動しない欠陥画素ＧＮＧ（図４参照）がある。これらのうち位相差画素ＧＡＦと、欠陥画素ＧＮＧは、画素補正（輝度補正）が必要な特殊画素に該当する。
　特殊画素補正部４８は、これらの特殊画素に対しては、画素値をＳＤＲＡＭ４１から読み出すと同時に、画素値の補正を行う。このため、特殊画素補正部４８は、各画素の画素値を一つずつ読み読み込むと同時に、その位置座標をＥＥＰＲＯＭ６０に記憶された位相差画素ＧＡＦや欠陥画素ＧＮＧの位置座標のデータ（以下、座標データという）と照合し、画素値を読み込んだ画素が、位相差画素ＧＡＦ，欠陥画素ＧＮＧ，正常画素のいずれの種類の画素であるか識別する。
　また、特殊画素補正部４８は、位相差画素ＧＡＦや欠陥画素ＧＮＧの補正（輝度補正）に、ゲイン補正または平均値補正のうち、少なくともいずれか一方の補正方法を用いる。ゲイン補正は、読み込んだ画素値に所定のゲインを乗じた値（第１補正値）を算出し、この値を、新たな画素値として更新する補正方法である。また、平均値補正は、補正対象の画素と同色で、補正対象の画素に最も近接して配置された複数の通常画素の画素値の平均値（第２補正値）を算出し、その値を新たな画素値として更新する補正方法である。
　さらに、特殊画素補正部４８は、平均値補正によって欠陥画素の画素値を補正する。すなわち、特殊画素補正部４８は、欠陥画素に隣接して配置された複数の正常画素の画素値の平均値（第３補正値）を算出し、これを欠陥画素の新たな画素値とする。また、このとき、特殊画素補正部４８は、画素値を読み込んだ欠陥画素に隣接して、他の欠陥画素（以下、隣接欠陥画素という）がある場合には、この隣接欠陥画素の画素値は参照せずに、隣接欠陥画素についで補正対象の欠陥画素に近接して配置された正常画素の画素値を参照して、これらの画素の画素値の平均値（第３補正値）を算出することにより、平均値補正を行う。したがって、複数の欠陥画素が隣接している場合には、特殊画素補正部４８は、これらの欠陥画素をまとめて一つの大きな欠陥画素群とみなし、この欠陥画素群の周囲に配置された正常画素の画素値を用いた平均値補正を行う。なお、こうして特殊画素補正部４８によって位相差画素ＧＡＦや欠陥画素ＧＮＧの画素値が補正された画像データは、画像信号処理回路５３に入力される。
　画像信号処理回路５３には、位相差画素補正部４７によって位相差画素ＧＡＦの画素値が補正された画像データが入力される。画像信号処理回路５３は、この画像データに、階調変換処理、ホワイトバランス補正、ガンマ補正処理等の各種画像処理を施してから、再度ＳＤＲＡＭ４１に書き込む。
　ＹＣ変換処理回路５６は、画像信号処理回路５３によって各種画像処理が施された画像データをＳＤＲＡＭ４１から読み出し、輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換する。得られたＹＣデータは、再びＳＤＲＡＭ４１に記憶される。
　ＡＥ／ＡＷＢ検出回路５７は、輝度信号Ｙと色差信号Ｃｒ，Ｃｂとの積算値を基に、被写体の輝度を表す測光値を算出し、この算出結果をＣＰＵ４４に送信する。ＣＰＵ４４は、ＡＥ／ＡＷＢ検出回路５７から送信される測光値に基づいて、露出量及びホワイトバランスの適否を判断するとともに、これらが最適な値になるように撮影レンズ１３の絞り機構やＣＣＤ３２等の動作を制御する。
　液晶ドライバ５８は、ＹＣデータをＳＤＲＡＭ４１から読み出し、アナログのコンポジット信号に変換して液晶ディスプレイ２１に表示する。また、ＣＣＤ３２から順次出力される撮像信号に基づいて生成された画像データを、順次液晶ディスプレイ２１に出力することにより、いわゆるスルー画像が液晶ディスプレイ２１に表示される。
　圧縮伸張処理回路５９は、ＹＣデータを所定形式のファイルフォーマットに変換することにより、静止画像ファイルや動画像ファイルを生成する。得られた静止画像ファイルや動画像ファイルがいわゆる撮影画像である。
　ＣＰＵ４４は、レリーズボタン１７、ズームレバー１９、モード選択ボタン２２、メニューボタン２３等の各種操作部材が接続されている。これらの操作部材の操作が検出されると、その検出信号はＣＰＵ４４に入力される。また、ＣＰＵ４４は、システムバス４３を介してデジタルカメラ１１の各部とドライバ等を介して接続されており、前述の操作部材やデジタルカメラ１１の各部から入力される。そして、ＣＰＵ４４は、これらの各種信号に基づいて、デジタルカメラ１１各部に、制御信号を送信することにより、デジタルカメラ１１を統括的に制御する。
　メディアコントローラ６１は、メディアスロット（図示しない）に着脱自在に装着されたメモリカード６２にアクセスし、生成された撮影画像の読み書きを行う。フラッシュ制御部６３は、ＣＰＵ４４から送信されるフラッシュ発光信号に応じてフラッシュ発光部１６を発光させる。
　また、デジタルカメラ１１には、ＥＥＰＲＯＭ６０が備えられている。このＥＥＰＲＯＭ６０には、ＣＰＵ４４に読み出され、デジタルカメラ１１を動作させるためのプログラムや、位相差画素ＧＡＦの座標データ、欠陥画素ＧＮＧの座標データ、ゲイン補正で用いられるゲイン等が予め記憶されている。
　まず、図４に示すように、ＣＣＤ３２の画素３２ａはいわゆるハニカム配列に設けられており、各画素は正方格子を４５度回転させた格子点に配置される。また、各画素３２ａ上に付したＲ，Ｇ，Ｂはカラーフィルタの色を表しており、その配色は、赤色（Ｒ）：緑色（Ｇ）：青色（Ｂ）＝１：２：１の割合で設けられている。Ｒ画素とＢ画素が交互に配置された行（Ｘ方向）と、Ｇ画素だけが配列された行が交互に、かつ、各行１／２画素分だけ画素３２ａの配置をずらしながら配置されている。また、ＣＣＤ３２は、Ｘ方向がデジタルカメラ１１の横方向（長手方向）に対応し、Ｙ方向がデジタルカメラ１１の縦方向（短手方向）に対応するように配置される。
　画素３２ａには、Ｘ方向（又はＹ方向）に非対称な構造に形成された位相差画素が含まれている。図４に示す実施形態では、緑色のカラーフィルタＧが配置されたＧ画素のうちの一部が位相差画素ＧＡＦに形成されている。また、撮像用の通常画素には、正常に動作しない欠陥画素も含まれていることがある。図４では、Ｇ画素の１つを欠陥画素ＧＮＧとしている。な、位相差画素ＧＡＦ、欠陥画素ＧＮＧ以外の画素は、正常動作する正常画素である。
　特殊画素補正部４８が位相差画素ＧＡＦの画素値を補正するときに参照する画素は、位相差画素ＧＡＦに最も近接して配置された同色の４つのＧ画素Ｇａ～Ｇｄの画素値が参照される。同様に、特殊画素補正部４８が欠陥画素ＧＮＧの画素値を平均値補正する場合には、欠陥画素ＧＮＧを中心として、位相差画素ＧＡＦの補正と同様の位置関係にあるＧ画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆの画素値が参照される。以下では、補正対象の位相差画素ＧＡＦや欠陥画素ＧＮＧを中心として、これに最も近接して配置された同色の通常画素を周辺画素という。したがって、図４では、位相差画素ＧＡＦの周辺画素はＧ画素Ｇａ～Ｇｄであり、Ｇ画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆは欠陥画素ＧＮＧの周辺画素である。
　次にデジタルカメラ１１の作用について説明する。電源ボタン１８を押下してデジタルカメラ１１の各部を起動させた後、モード選択ボタン２２を押下して静止画撮影モードまたは動画撮影モードを選択し、デジタルカメラ１１を撮影待機状態にする。こうしてデジタルカメラ１１が撮影待機状態になると、ＣＰＵ４４によってＴＧ３３が制御され、ＴＧ３３から出力されるタイミング信号によってＣＣＤ３２が駆動される。このとき、ＣＰＵ４４はメニュー画面を介してユーザが設定したシャッタ速度及びフレームレートに応じてＣＣＤ３２を駆動させる。また、ＣＣＤ３２は、ＴＧ３３からのタイミング信号に応答して、撮影レンズ１３によって撮像面に結像された被写体像に応じた撮像信号を出力し、これをデジタル化した画像データがＳＤＲＡＭ４１に一時的に記憶される。
　ＡＦ検出回路４６は、ＣＰＵ４４からの指示に基づいて、こうしてデジタル化された画像データをＳＤＲＡＭ４１から読み出し、これに含まれる位相差画素ＧＡＦの画素値に基づいて合焦評価値を算出して、ＣＰＵ４４に入力する（合焦評価ステップ）。ＣＰＵ４４は、入力された合焦評価値に応じて、モータ３１を駆動し、撮影レンズ１３を合焦位置に移動させる。
　こうしてＡＦ動作が行われると同時に、特殊画素補正部４８は、ＡＦ検出回路４６で読み出されるものと同じデジタルの画像データをＳＤＲＡＭ４１から読み出して、位相差画素ＧＡＦ及び欠陥画素ＧＮＧの画素値を補正し、画像信号処理回路５３に入力する。画像信号処理回路５３では、全画素の画像データ、すなわち位相差画素ＧＡＦ及び欠陥画素ＧＮＧの補正済み画像データ及び正常画素の画像データに対してガンマ補正処理等の各種画像処理が施される。画像信号処理回路５３で各種画像処理が施された画像データは、ＹＣ変換処理回路５６でＹＣ変換処理を施された後、液晶ディスプレイ２１に表示されたり、圧縮伸張処理回路５９によってこの画像データに基づいて撮影画像が生成され、メモリカード６２に記憶される。
　特殊画素補正部４８による位相差画素ＧＡＦ及び欠陥画素ＧＮＧの画素値の補正（輝度補正）は、図５に示す手順に沿って行われる。まず、特殊画素補正部４８は、ＳＤＲＡＭ４１から画像データを読み出すときに、画像データの各画素の画素値を一つずつ読み出す。同時に、特殊画素補正部４８は、画素値を読み出した画素の位置座標と、位相差画素ＧＡＦの座標データと照合することにより、画素値を読み出した画素が位相差画素ＧＡＦであるか否かを判別する（ステップＳ１１）。
　画素値を読み出した画素が位相差画素ＧＡＦであった場合、特殊画素補正部４８は、この位相差画素ＧＡＦの画素値をゲイン補正した場合の画素値を算出する（ステップＳ１２，第１補正値算出ステップ）。すなわち、特殊画素補正部４８は位相差画素ＧＡＦの画素値を読み込むと、この位相差画素ＧＡＦに対応して予め定められたゲインαをＥＥＰＲＯＭ６０から読み出し、画像データとして読み込んだ元の画素値ＣＶに乗じ、位相差画素ＧＡＦの画素値ＣＶをゲイン補正した場合の画素値α・ＣＶを算出する。
　次いで、特殊画素補正部４８は、位相差画素ＧＡＦに対する周辺画素Ｇａ～Ｇｄ（図４参照）の画素値を取得し、ゲイン補正後の位相差画素ＧＡＦの画素値α・ＣＶを周辺画素Ｇａ～Ｇｄ（図４参照）の各画素値とそれぞれ比較する（ステップＳ１３，焦点検出用画素補正ステップ）。このとき、ゲイン補正後の位相差画素ＧＡＦの画素値が、周辺画素Ｇａ～Ｇｄの画素値のうち最大値以下の値であり、かつ、最小値以上の値であるとき（通常範囲）には、特殊画素補正部４８は、読み込んだ位相差画素ＧＡＦの画素値ＣＶをゲイン補正した場合の画素値α・ＣＶに置き換えることにより、この位相差画素ＧＡＦの画素値をゲイン補正する。例えば、周辺画素Ｇａ～Ｇｄの画素値をそれぞれＣＶａ，ＣＶｂ，ＣＶｃ，ＣＶｄとし、これらの値のうちの最大値がＣＶａ、最小値がＣＶｄであった場合、ＣＶｄ≦α・ＣＶ≦ＣＶａを満たす場合には、位相差画素ＧＡＦの画素値をもとの画素値ＣＶをゲイン補正後の画素値α・ＣＶで置き換える。
　一方、ゲイン補正後の画素値α・ＣＶが周辺画素Ｇａ～Ｇｄの画素値のどれよりも大きい場合（α・ＣＶ＞ＣＶａ，ＣＶｂ，ＣＶｃ，ＣＶｄ）、またはゲイン補正後の画素値α・ＣＶが周辺画素の画素値のどれよりも小さい場合（α・ＣＶ＜ＣＶａ，ＣＶｂ，ＣＶｃ，ＣＶｄ）には、特殊画素補正部４８は、位相差画素ＧＡＦの画素値を平均値補正によって補正する（ステップＳ１４，焦点検出用画素補正ステップ）。この２つの場合には、特殊画素補正部４８は、周辺画素Ｇａ～Ｇｄの画素値ＣＶａ，ＣＶｂ，ＣＶｃ，ＣＶｄの平均値ＣＶＡＶＥを算出し、これを位相差画素ＧＡＦの画素値を元の画素値ＣＶから周辺画素の画素値の平均ＣＶＡＶＥに置き換える。
　こうして、特殊画素補正部４８は、位相差画素ＧＡＦの画素値を読み込むと、ゲイン補正または平均値補正のいずれかによって読み込んだ位相差画素ＧＡＦの画素値を補正する。
　また、ステップＳ１１で、画素値を読み出した画素の位置座標が位相差画素ＧＡＦの座標データに登録されておらず、画素値を読み出した画素が位相差画素ＧＡＦでなかった場合には、特殊画素補正部４８は、さらに、画素値を読み出した画素の位置座標を欠陥画素ＧＮＧの座標データと照合し、画素値を読み出した画素が欠陥画素ＧＮＧであるか否かを判別する（ステップＳ１５）。このとき、画素値を読み出した画素の位置座標が欠陥画素ＧＮＧの座標データに登録されておらず、画素値を読み出した画素が、位相差画素ＧＡＦでもなく、欠陥画素ＧＮＧでもない場合には、特殊画素補正部４８は、画素値を読み出した画素が正常画素であると判断する。この正常画素に対しては、ゲイン補正及び平均値補正のいずれも行わずに、読み出した画素値をそのままその画素の画素値とする。
　一方、画素値を読み出した画素の位置座標が欠陥画素ＧＮＧの座標データに登録されており、画素値を読み出した画素が欠陥画素ＧＮＧであった場合、特殊画素補正部４８は、この欠陥画素ＧＮＧの画素値を平均値補正によって補正する（ステップＳ１６）。例えば、欠陥画素ＧＮＧの周辺画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆ（図４参照）が全て正常画素である場合には、これらの周辺画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆの画素値を平均し、これを欠陥画素ＧＮＧの画素値を、読み出した元の画素値から、算出した周辺画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆの画素値の平均値に置き換える。また、欠陥画素ＧＮＧの周辺画素Ｇｄ，Ｇｃ，Ｇｅ，Ｇｆに欠陥画素が含まれている場合には、欠陥画素ＧＮＧとその隣接欠陥画素を一つの欠陥画素群とみなし、この欠陥画素群の周囲の周辺画素の画素値を平均し、その値を欠陥画素ＧＮＧの画素値とする。
　例えば、図６に示すように、欠陥画素ＧＮＧの画素値を補正する場合に、右隣に位置する周辺画素Ｇｄが欠陥画素（隣接欠陥画素）であるとすると、特殊画素補正部４８は、欠陥画素ＧＮＧと周辺画素Ｇｄをひとまとまりの欠陥画素群６８とみなす。そして、この欠陥画素群６８に最も近いＧ画素Ｇｃ，Ｇｅ，Ｇｆ，Ｇｇ，Ｇｈ，Ｇｉを周辺画素として、これらの各画素の画素値の平均値を算出し、欠陥画素ＧＮＧの画素値を、読み出した元の画素値からここで算出した値に置き換える。
　こうして画像データの画素のうち、全ての位相差画素ＧＡＦに対しては、その画素値にゲイン補正または平均値補正が施され、また、全ての欠陥画素ＧＮＧの画素値に平均値補正が施されるる。特殊画素補正部４８は、全ての特殊画素ＧＡＦ，ＧＮＧの画素値の補正が完了した画像データを画像信号処理回路５３に入力する。画像信号処理回路５３は、特殊画素補正部４８から入力される画像データ及び正常画素の画像データに各種画像処理を施し、次にＹＣ変換処理回路５６がＹＣ変換処理を施す。その後、圧縮伸張処理回路５９によって静止画像（動画像）ファイルに変換され、記録画像としてメモリカード６２に記憶されたり、スルー画像として液晶ディスプレイ２１に表示される。
　以上のように、デジタルカメラ１１は、１つのイメージセンサを用いて位相差検出方式でＡＦを行うために、焦点検出用の位相差画素ＧＡＦが設けられた撮像装置であり、ゲイン補正または平均値補正によって位相差画素ＧＡＦの画素値を補正して撮影画像を得る。このとき、デジタルカメラ１１は、位相差画素ＧＡＦの元の画素値ＣＶではなく、ゲイン補正した場合の画素値α・ＣＶを周辺画素の画素値と比較することによって、位相差画素ＧＡＦの画素値の補正方法としてゲイン補正が適切か否かを判別する。こうして、位相差画素ＧＡＦの元の画素値Ｃではなく、ゲイン補正した場合の画素値α・ＣＶを基準として、位相差画素ＧＡＦの画素値をゲイン補正によって補正するか、平均値補正によって補正するかを判別することにより、撮影画像に補正痕が生じにくい補正方法によって位相差画素ＧＡＦの画素値が補正されやすくなる。
　例えば、画素値を補正する位相差画素ＧＡＦの近傍に、画素ピッチに対して輝度変化が比較的少ない平坦な像が写されている場合に、この位相差画素ＧＡＦの画素値をゲイン補正によって補正すると、周辺画素に対して相対的にノイズ成分の比率が大きくなるので、位相差画素ＧＡＦのゲイン補正後の画素値α・ＣＶは周辺画素よりも大きくなり易い。しかし、上述のようにゲイン補正後の画素値α・ＣＶと周辺画素の画素値を比較することによって、直接的にゲイン補正の適否が判別されるので、ゲイン補正が原因の補正痕は生じにくい。
　また、画素値を補正する位相差画素ＧＡＦの近傍に、画素ピッチに対して輝度変化が比較的大きい像（高周波成分の像）が写されている場合、周辺画素の画素値もこの像の特徴によって最大値・最小値の幅が大きいので、ゲイン補正後の画素値α・ＣＶは周辺画素の画素値の間に収まりやすく、位相差画素ＧＡＦの画素値はゲイン補正によって補正されやすくなる。したがって、デジタルカメラ１１では、高周波の像に平均値補正を施すことによる補正痕は発生しにくい。
　特に、フレアやゴースト等、通常の入射角度以外の光によって生じるノイズがある場合には、位相差画素ＧＡＦが非対称構造となっていることで、位相差画素ＧＡＦと正常画素の感度比がこうしたノイズがない場合の感度比からずれてしまいやすい。このため、こうしたノイズ成分がある場合にゲイン補正によって位相差画素ＧＡＦの画素値を補正すると、ゲイン補正後の画素値α・ＣＶが周辺画素の画素値よりも突出して大きく（小さく）なって補正痕になりやすいが、上述のように、ゲイン補正後の画素値α・ＣＶを周辺画素の画素値と直接比較してゲイン補正の適否を判別することによって、こうしたノイズ成分がある場合でも補正痕が生じにくい平均値補正が選択されやすい。
　さらに、ゲイン補正後の画素値α・ＣＶは、位相差画素ＧＡＦの近傍の像の特徴を数値化した値等と比較されるのではなく、あくまでも周辺画素の画素値と直接比較されるので、画像信号処理回路５３によって各種画像処理が施された後も、上述の特徴は概ね変わらない。例えば、画素値α・ＣＶが周辺画素の画素値の間にあるという点は、各種画像処理前後で多くの場合に同じである。このため、画像信号処理回路５３による各種画像処理の前段階であっても、デジタルカメラ１１では補正痕が生じ難い補正方法が選択されやすい。
　また、位相差画素ＧＡＦの画素値を補正するときに、位相差画素ＧＡＦ近傍の像が平坦か高周波かを数値化する場合、複雑で比較的時間を要する演算を行うことが必要であることから、全ての位相差画素ＧＡＦの画素値を補正すると比較的多くの時間を費やすことになる。しかし、デジタルカメラ１１では、ゲイン補正後の画素値α・ＣＶの算出と、周辺の画素値との大小比較という簡便な方法によって位相差画素ＧＡＦの画素値の補正方法を選択する。このため、デジタルカメラ１１では、前述のように補正痕の発生を抑えながらも、短時間で容易に位相差画素ＧＡＦの画素値を補正することができる。
　なお、上述の実施形態では、特殊画素補正部４８は、位相差画素ＧＡＦの画素値を補正するときに、ゲイン補正後の画素値α・ＣＶを算出すると、周辺画素に欠陥画素ＧＮＧが含まれているか否かに関わらず、周辺画素の画素値とゲイン補正後の画素値α・ＣＶを比較して、位相差画素ＧＡＦの画素値の補正方法を選択する例を説明したが、これに限らない。例えば、位相差画素ＧＡＦの周辺画素に欠陥画素ＧＮＧが含まれているか否かを判別し、その結果に応じて位相差画素ＧＡＦの画素値の補正方法を選択するのがよい。
　この場合、例えば、図７に示すように、まず、上述の実施形態と同様にして、ゲイン補正後の画素値α・ＣＶを算出し（Ｓ１２）、この値が周辺画素の画素値の間にあるか否かを判別する（Ｓ１３）。このとき、ゲイン補正後の画素値α・ＣＶが周辺画素の画素値の間の値であり、ゲイン補正が位相差画素ＧＡＦの画素値の補正に適している場合には、周辺画素に欠陥画素ＧＮＧが含まれていたとしても、周辺画素が複数あることから、位相差画素ＧＮＧの画素値の補正方法や補正後の画素値にはそれほど影響はない。したがって、こうした場合には、特殊画素補正部４８は、上述の実施形態と同様に、位相差画素ＧＡＦの画素値をゲイン補正によって補正する。
　一方、ゲイン補正後の画素値α・ＣＶが周辺画素の画素値の間にない場合には、上述の実施形態では、平均値補正によって位相差画素ＧＡＦの画素値を補正するが、平均値補正では前述の通り、周辺画素の画素値が位相差画素ＧＡＦの補正後の画素値に直接影響を与える。したがって、特殊画素補正部４８は、位相差画素ＧＡＦの画素値を平均値補正によって補正しようとする場合には、欠陥画素ＧＮＧの座標データを用いて周辺画素に欠陥画素ＧＮＧがあるか否かを判別し、その結果に応じて平均値補正によって画素値を補正するか否かを決定する（ステップＳ２１）。
　このとき、周辺画素に欠陥画素ＧＮＧが含まれていなければ上述の実施形態と同様に平均値補正によって位相差画素ＧＡＦの画素値を補正する。一方、周辺画素に欠陥画素ＧＮＧが含まれている時には、ゲイン補正によって位相差画素ＧＡＦの画素値を補正する。このように、周辺画素に欠陥画素ＧＮＧがある時にゲイン補正によって位相差画素ＧＡＦの画素値を補正すると、周辺画素に欠陥画素ＧＮＧが無く、正常に平均値補正が行える場合と比較すれば補正痕が発生しやすくなるものの、平均値補正によって置き換えられる画素値は期待通りの値は得られず、欠陥画素ＧＮＧの画素値を用いた平均値補正を行うことによって、より深刻な補正痕が発生することがあることを考慮すれば、こうした深刻な補正痕の発生を抑えられ、良好な撮影画像が得られやすくなる。
　ここでは、ゲイン補正後の画素値α・ＣＶを周辺画素の画素値と比較した後に、周辺画素に欠陥画素ＧＮＧが含まれるか否かを判別しているが、周辺画素に欠陥画素ＧＮＧが含まれるか否かの判別は少なくとも平均値補正が行われる前に行われていれば良い。したがって、図７では、平均値補正を行うステップＳ１４以前に欠陥画素ＧＮＧの有無を判別するステップＳ２１があれば良く、例えば、画素値の読み込み（Ｓ１１）と画素値α・ＣＶと周辺画素の画素値の比較（Ｓ１３）との間（Ｓ１１とＳ１２の間またはＳ１２とＳ１３の間）等で、欠陥画素ＧＮＧの有無を判別しても良い。
　なお、ここでは、周辺画素に欠陥画素ＧＮＧが含まれるか否かを判別して、周辺画素に欠陥画素ＧＮＧが含まれる場合には単にゲイン補正を選択する変形例を説明したが、これに限らない。位相差画素ＧＡＦの画素値の補正ルーチンでは、位相差画素ＧＡＦとしては扱わず、欠陥画素として扱うことで、平均値補正によって位相差画素ＧＡＦの画素値を補正しつつも、補正痕の発生を抑えることが好ましい。
　この場合、例えば、図８に示すように、ゲイン補正後の画素値α・ＣＶが周辺画素の画素値より大きく（小さく）、ゲイン補正による補正が適さないときには、前述のように位相差画素ＧＡＦの周辺画素に欠陥画素ＧＮＧが含まれるか否かを判別する（ステップＳ２１）。そして、周辺画素に欠陥画素ＧＮＧが含まれる時には、補正対象の位相差画素ＧＡＦを欠陥画素ＧＮＧとして欠陥画素の座標データに登録する（ステップＳ２２）。
　次いで、上述のように、欠陥画素ＧＮＧとして扱うことを定めた位相差画素ＧＡＦは、欠陥画素ＧＮＧと同様の方法で平均値補正によってその画素値を補正される（ステップＳ１６）。すなわち、欠陥画素ＧＮＧとして扱うことが定められた位相差画素ＧＡＦは、隣接する欠陥画素ＧＮＧと一体になった欠陥画素群６８とみなされ、この欠陥画素群６８の周辺画素を用いた平均値補正によって画素値が補正される。
　このように、位相差画素ＧＡＦの画素値を平均値補正する場合に、周辺画素に欠陥画素ＧＮＧが含まれる位置にある位相差画素ＧＡＦを欠陥画素ＧＮＧとして扱うようにすることで、より好適な平均値補正によって位相差画素ＧＡＦの画素値を補正することができる。また、こうして欠陥画素ＧＮＧと隣接した位相差画素ＧＡＦを欠陥画素ＧＮＧとして登録しておくことで、特殊画素補正部４８が欠陥画素ＧＮＧの画素値を平均値補正によって補正するときに、補正後の画素値に問題がある可能性がある位相差画素ＧＡＦを用いずに、欠陥画素ＧＮＧの画素値を補正することができるため、欠陥画素ＧＮＧの画素値を補正したことによる補正痕の発生を低減することができる。
　図４及び図６に示すハニカム配列のＣＣＤ３２は、Ｒ画素とＢ画素が交互に配置された行（Ｘ方向）と、Ｇ画素だけが配列された行が交互に、かつ、各行１／２画素分だけ画素の配置をずらしながら配置されている。この他に、図９に示すように、Ｘ方向に、Ｇ１画素とＢ１画素を交互に配列した行と、Ｇ２画素とＢ２画素を交互に配列した行と、Ｇ１画素とＲ１画素を交互に配列した行と、Ｇ２画素とＲ２画素を交互に配列した行とを、各行１／２画素分だけ画素の配置をずらしながら配置してもよい。このＣＣＤは、例えば、添字が「１」の第１群画素と、添字が「２」の第２群画素とで露光時間を互いに独立して制御できるように配線構造等が設けられている。図９では、位相差画素ＧＡＦは第２群画素のＧ２画素である。
　こうした画素配列のＣＣＤに本発明を適用する場合、第１群画素と第２群画素とで異なる露光時間（電荷蓄積時間）となるようにするときには、周辺画素としては、位相差画素ＧＡＦと同群の画素を参照する。例えば、図９のように第２群画素に設けられた位相差画素ＧＡＦの場合には、同じ第２群画素の中で、位相差画素ＧＡＦに最も近接して配置された同色のＧ２画素Ｇ２ａ～Ｇ２ｄを周辺画素として用いる。
　また、上述のような画素配列のＣＣＤを用いる場合であっても、第１群画素と第２群画素とで同じ露光時間で撮影を行うことがある。この場合、図１０に示すように、第２群画素に設けられた位相差画素ＧＡＦの画素値を補正するときには、周辺画素として前述と同様の第２群画素のＧ２画素Ｇ２ａ，Ｇ２ｃと、第１群画素の中でＧ２画素よりも位相差画素ＧＡＦに近接して配置されたＧ１画素Ｇ１α，Ｇ１βを周辺画素として用いる。
　なお、本発明は、ハニカム配列のＣＣＤ３２の他に画素がマトリックスに配置された通常のイメージセンサに対しても好適に用いることができる。例えば、画素がいわゆるベイヤー配列に設けられたＣＣＤを用いても良い。また、本発明はＣＣＤ３２の他に、ＣＭＯＳ型のイメージセンサを用いても良い。
　また、赤色画素や青色画素を位相差画素としても良い。また、複数の色の画素に位相差画素が設けられていても良い。但し、複数の色の画素に位相差画素を設ける場合、対となる位相差画素は同色とすることが必要である。
　なお、上述の実施形態では、位相差画素ＧＡＦが撮像面７２の所定位置に設けられているが、位相差画素ＧＡＦの具体的な配置は、位相差画素ＧＡＦの画素値に基づいてＡＦを行うことができれば、デジタルカメラ１１の仕様等に応じて任意に定めて良い。また、位相差画素の個数も同様に任意に定めて良い。
　なお、上述の実施形態では、位相差画素ＧＡＦの画素値を補正するときに、位相差画素ＧＡＦを中心として、位相差画素ＧＡＦに最も近接して配置された４個の周辺画素Ｇａ～Ｇｄ（図４参照）の画素値を参照している。この代わりに、例えば、上述の実施形態で参照する４個の周辺画素と、これに次いで位相差画素ＧＡＦに近接する同色の画素を周辺画素として参照しても良い。
　上述の実施形態では、位相差画素ＧＡＦの画素値を補正するときに、ゲイン補正後の画素値α・ＣＶを算出し、これを周辺画素の画素値と比較してから位相差画素ＧＡＦの画素値をゲイン補正または平均値補正で置き換えている。この代わりに特殊画素補正部４８が画像データを読み出す段階で、位相差画素ＧＡＦの画素値をゲイン補正によって予め補正しておいても良い。したがって、例えば、ＣＣＤ３２から位相差画素ＧＡＦの撮像信号を読み出すときに、画像入力コントローラ４２でＡＭＰ３６のゲインを調節することにより、アナログ信号の段階で位相差画素ＧＡＦの画素値にゲイン補正を施しても良い。こうして、アナログ信号の段階で位相差画素ＧＡＦの画素値をゲイン補正によって補正すると、特殊画素補正部４８における演算量が低減され、位相差画素ＧＡＦの画素値の補正を短時間で行うことができる。また、アナログ信号の段階で位相差画素ＧＡＦの画素値をゲイン補正した場合であっても、ＡＦ検出回路４６は上述の実施形態と同様に合焦評価値を算出することができる。
　なお、上述の実施形態では、位相差画素ＧＡＦの画素値を平均値補正する場合、欠陥画素ＧＮＧの画素値を平均値補正する場合に、周辺画素の画素値を単純平均した値をこれらの画素の画素値としている。しかし、欠陥画素ＧＮＧが複数連続してある場合の平均値補正や、位相差画素ＧＡＦを欠陥画素ＧＮＧとして扱い、位相差画素ＧＡＦと欠陥画素ＧＮＧを連続した欠陥画素ＧＮＧとして平均値補正する場合等では、補正対象の位相差画素ＧＡＦ（欠陥画素ＧＮＧ）から、全ての周辺画素が等距離ではないことがある。このため、こうした補正対象の画素から等距離にない周辺画素を用いて平均値補正を行うときには、各周辺画素と補正対象の画素との距離に応じて重み付けをして算出した周辺画素の画素値の平均値を、補正対象の画素の新たな画素値として用いることが好ましい。
　なお、上述の実施形態では、コンパクトタイプのデジタルカメラ１１を例に説明したが、ＡＦを行う撮像装置であれば、他の任意の撮像装置に本発明を用いることができる。
　１１　デジタルカメラ
　１２　カメラ本体
　１３　撮影レンズ
　３２　ＣＣＤ
　３２ａ　画素
　６８　欠陥画素群
　Ｒ，Ｒ１，Ｒ２　赤色画素
　Ｇ，Ｇ１，Ｇ２　緑色画素
　Ｂ，Ｂ１，Ｂ２　青色画素
　ＧＡＦ　位相差画素
　ＧＮＧ　欠陥画素
　Ｇａ～Ｇｉ　周辺画素

Claims (8)

  1. 　撮像面内に通常画素と焦点検出用画素とが所定パターンで配列され、これらの画素から一画面分の撮像信号を出力するイメージセンサと、
    　前記一画面分の撮像信号から前記焦点検出用画素の輝度を参照して合焦状態の評価を行う合焦評価部と、
    　前記焦点検出用画素の輝度に所定のゲインを乗じた第１補正値を算出する第１補正値算出部と、
    　前記第１補正値と、前記焦点検出用画素の周囲に配置された所定数の前記通常画素の輝度を比較し、前記第１補正値が前記所定数の通常画素の輝度のうちの最大値以下かつ最小値以上の通常範囲内である場合には、前記焦点検出用画素の輝度を前記第１補正値で置き換え、そして前記第１補正値が前記通常範囲外である場合には、前記所定数の通常画素の輝度を平均して第２補正値を算出し、前記焦点検出用画素の輝度を前記第２補正値で置き換えることにより、前記焦点検出用画素の輝度を補正する焦点検出用画素補正部と、
    を備えることを特徴とする撮像装置。
  2. 　前記通常画素のなかで欠陥のある欠陥画素の位置が予め記憶されるとともに、前記欠陥画素の周囲に配置された欠陥のない複数の前記通常画素の輝度を平均して第３補正値を算出し、前記欠陥画素の輝度を前記第３補正値に置き換えることにより、前記欠陥画素の輝度を補正する欠陥画素補正部を備えることを特徴とする請求の範囲第１項記載の撮像装置。
  3. 　前記欠陥画素補正部は、前記欠陥画素が複数隣接し合って欠陥画素群を形成している場合には、前記欠陥画素群の周囲に配置された前記通常画素の輝度を平均して前記第３補正値を算出することを特徴とする請求の範囲第２項記載の撮像装置。
  4. 　前記焦点検出用画素に隣接して前記欠陥画素があるか否かを判別する判別部を備え、
    　前記焦点検出用画素補正部は、前記焦点検出用画素に隣接して前記欠陥画素がある場合、前記焦点検出用画素の輝度を前記第１補正値で置き換えることにより、前記焦点検出用画素の輝度を補正することを特徴とする請求の範囲第２項記載の撮像装置。
  5. 　前記焦点検出用画素に隣接して前記欠陥画素があるか否かを判別する判別部を備え、
    　前記焦点検出用画素補正部は、前記焦点検出用画素に隣接して前記欠陥画素がある場合、当該焦点検出用画素の輝度を前記欠陥画素補正部によって前記第３補正値に置き換えることを特徴とする請求の範囲第２項記載の撮像装置。
  6. 　前記判別部は、前記焦点検出用画素に隣接して前記欠陥画素がある場合に、当該焦点検出用画素の位置を前記欠陥画素として登録し、
    　前記欠陥画素補正部は、前記欠陥画素の輝度を補正するときに、登録された前記焦点検出用画素を前記欠陥画素とみなし、前記欠陥画素の輝度及び前記登録された焦点検出用画素の輝度を前記第３補正値に置き換えることを特徴とする請求の範囲第４項記載の撮像装置。
  7. 　前記イメージセンサは、各々独立した条件で動作をする第１画素群と第２画素群を備え、
    　前記焦点検出用画素補正部は、前記第１画素群と前記第２画素群とが互いに異なる露光時間で撮影を行う場合に、前記所定数の通常画素として同じ群内の前記通常画素を用い、前記第１画素群と前記第２画素群とが同じ露光時間で撮影を行う場合に、前記所定数の通常画素として、前記第１画素群及び前記第２画素群に含まれる前記通常画素を用いることを特徴とする請求の範囲第１項記載の撮像装置。
  8. 　撮像面内に通常画素と焦点検出用画素とが所定パターンで配列された撮像素子から出力される一画面分の撮像信号から前記焦点検出用画素の輝度を参照して合焦状態の評価を行う合焦評価ステップと、
    　前記焦点検出用画素の輝度に所定のゲインを乗じた第１補正値を算出する第１補正値算出ステップと、
    　前記第１補正値と、前記焦点検出用画素の周囲に配置された所定数の前記通常画素の輝度を比較し、前記第１補正値が前記所定数の通常画素の輝度のうちの最大値以下かつ最小値以上の通常範囲内である場合には、前記焦点検出用画素の輝度を前記第１補正値で置き換え、そして前記第１補正値が前記通常範囲外である場合には、前記所定数の通常画素の輝度を平均して第２補正値を算出し、前記焦点検出用画素の輝度を前記第２補正値で置き換えることにより、前記焦点検出用画素の輝度を補正する焦点検出用画素補正ステップと、
    を備えることを特徴とする画像処理方法。
PCT/JP2011/061489 2010-06-09 2011-05-19 撮像装置及び画像処理方法 WO2011155297A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/634,686 US8767117B2 (en) 2010-06-09 2011-05-19 Imaging device and method to correct the focus detection pixels using peripheral standard pixels and correcting defective peripheral standard pixels as well if found
CN201180017315.1A CN102823236B (zh) 2010-06-09 2011-05-19 成像装置以及图像处理方法
JP2012519321A JP5616442B2 (ja) 2010-06-09 2011-05-19 撮像装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010132079 2010-06-09
JP2010-132079 2010-06-09

Publications (1)

Publication Number Publication Date
WO2011155297A1 true WO2011155297A1 (ja) 2011-12-15

Family

ID=45097908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061489 WO2011155297A1 (ja) 2010-06-09 2011-05-19 撮像装置及び画像処理方法

Country Status (4)

Country Link
US (1) US8767117B2 (ja)
JP (1) JP5616442B2 (ja)
CN (1) CN102823236B (ja)
WO (1) WO2011155297A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188444A (zh) * 2011-12-28 2013-07-03 佳能株式会社 摄像设备及其控制方法
JP2013219675A (ja) * 2012-04-11 2013-10-24 Canon Inc 撮像装置及び撮像装置の制御方法
US20140028881A1 (en) * 2012-07-26 2014-01-30 Sony Corporation Image pickup apparatus and image pickup method
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2017135639A (ja) * 2016-01-29 2017-08-03 株式会社シグマ 画像処理方法
JP2017169012A (ja) * 2016-03-16 2017-09-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、撮像装置
WO2018008408A1 (ja) * 2016-07-06 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、補正方法、および電子装置
JP2018019162A (ja) * 2016-07-26 2018-02-01 株式会社シグマ 撮像装置及び信号処理方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101696672B1 (ko) * 2010-05-10 2017-01-17 삼성전자주식회사 영상 신호 처리 방법 및 이를 이용하는 영상 촬영 방법
US10832616B2 (en) 2012-03-06 2020-11-10 Samsung Display Co., Ltd. Pixel arrangement structure for organic light emitting diode display
KR101615332B1 (ko) * 2012-03-06 2016-04-26 삼성디스플레이 주식회사 유기 발광 표시 장치의 화소 배열 구조
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置
KR102063973B1 (ko) 2012-09-12 2020-01-09 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동방법
JP2014106476A (ja) 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
CN103096087B (zh) * 2013-02-06 2015-09-23 上海国茂数字技术有限公司 一种图像和视频编解码方法和系统
US9967481B2 (en) * 2013-03-13 2018-05-08 Intel Corporation Techniques for image sensor pixel correction
EP2782332B1 (en) * 2013-03-22 2017-08-30 Harvest Imaging bvba Digital camera with focus-detection pixels used for light metering
KR101427593B1 (ko) 2013-04-26 2014-08-07 삼성디스플레이 주식회사 유기 발광 표시 장치
JP6263035B2 (ja) * 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
JP6584059B2 (ja) * 2014-09-26 2019-10-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
KR102246873B1 (ko) * 2014-11-17 2021-04-30 삼성전자 주식회사 이미지 센서가 생성한 픽셀 이미지의 불량 화소 제거 방법, 상기 방법을 이용한 이미지 센서, 및 상기 방법을 이용한 애플리케이션 프로세서
JP2016127389A (ja) 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
JP6494328B2 (ja) * 2015-03-02 2019-04-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
WO2017057279A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、画像処理装置、および表示装置
JP6622945B2 (ja) * 2017-03-30 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
US20180288306A1 (en) * 2017-03-30 2018-10-04 Qualcomm Incorporated Mask-less phase detection autofocus
EP3447678A1 (en) * 2017-08-21 2019-02-27 Axis AB Method and image processing device for detecting a portion of an image
US10681290B1 (en) 2019-01-03 2020-06-09 Novatek Microelectronics Corp. Method, image sensor, and image processing device for crosstalk noise reduction
CN111476731B (zh) * 2020-04-01 2023-06-27 Oppo广东移动通信有限公司 图像矫正方法、装置、存储介质及电子设备
CN111445882B (zh) * 2020-05-08 2021-07-27 中航华东光电有限公司 一种基于fpga的图像显示虚影滤除方法和系统
CN111982283B (zh) * 2020-08-13 2023-07-11 广州市合熠智能科技股份有限公司 一种高精度rgb传感器集成电路系统
KR20220036630A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
KR20220051881A (ko) 2020-10-19 2022-04-27 삼성전자주식회사 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
KR20230041195A (ko) * 2021-09-17 2023-03-24 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
CN115062656B (zh) * 2022-06-10 2023-08-11 安徽农业大学 一种基于电子鼻信号空间域的茶多酚含量预测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244823A (ja) * 1999-02-24 2000-09-08 Fuji Photo Film Co Ltd 撮像素子の欠陥画素補正装置
JP2009163229A (ja) * 2007-12-10 2009-07-23 Canon Inc 撮像装置及びその制御方法
JP2010109922A (ja) * 2008-10-31 2010-05-13 Nikon Corp 撮像素子および撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP4985403B2 (ja) * 2005-08-23 2012-07-25 株式会社ニコン 画像処理システムおよび画像処理プログラム
JP2008048104A (ja) * 2006-08-14 2008-02-28 Sony Corp 撮像装置と欠陥補正回路および欠陥補正方法
JP5029274B2 (ja) * 2007-10-10 2012-09-19 株式会社ニコン 撮像装置
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP5012495B2 (ja) * 2007-12-26 2012-08-29 株式会社ニコン 撮像素子、焦点検出装置、焦点調節装置および撮像装置
JP5200955B2 (ja) 2008-02-14 2013-06-05 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5697433B2 (ja) * 2010-12-22 2015-04-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5954964B2 (ja) * 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP5751946B2 (ja) * 2011-06-15 2015-07-22 キヤノン株式会社 焦点調節装置およびその制御方法
JP6239820B2 (ja) * 2011-12-19 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法
JP5968025B2 (ja) * 2012-04-11 2016-08-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244823A (ja) * 1999-02-24 2000-09-08 Fuji Photo Film Co Ltd 撮像素子の欠陥画素補正装置
JP2009163229A (ja) * 2007-12-10 2009-07-23 Canon Inc 撮像装置及びその制御方法
JP2010109922A (ja) * 2008-10-31 2010-05-13 Nikon Corp 撮像素子および撮像装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188444A (zh) * 2011-12-28 2013-07-03 佳能株式会社 摄像设备及其控制方法
CN103188444B (zh) * 2011-12-28 2016-02-17 佳能株式会社 摄像设备及其控制方法
JP2013219675A (ja) * 2012-04-11 2013-10-24 Canon Inc 撮像装置及び撮像装置の制御方法
US20140028881A1 (en) * 2012-07-26 2014-01-30 Sony Corporation Image pickup apparatus and image pickup method
US9407842B2 (en) * 2012-07-26 2016-08-02 Sony Corporation Image pickup apparatus and image pickup method for preventing degradation of image quality
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2017135639A (ja) * 2016-01-29 2017-08-03 株式会社シグマ 画像処理方法
JP2017169012A (ja) * 2016-03-16 2017-09-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、撮像装置
WO2018008408A1 (ja) * 2016-07-06 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、補正方法、および電子装置
US10863124B2 (en) 2016-07-06 2020-12-08 Sony Semiconductor Solutions Corporation Solid-state image pickup apparatus, correction method, and electronic apparatus
US11632603B2 (en) 2016-07-06 2023-04-18 Sony Semiconductor Solutions Corporation Solid-state image pickup apparatus, correction method, and electronic apparatus
US11968462B2 (en) 2016-07-06 2024-04-23 Sony Semiconductor Solutions Corporation Solid-state image pickup apparatus, correction method, and electronic apparatus
JP2018019162A (ja) * 2016-07-26 2018-02-01 株式会社シグマ 撮像装置及び信号処理方法

Also Published As

Publication number Publication date
US20130002911A1 (en) 2013-01-03
US8767117B2 (en) 2014-07-01
JPWO2011155297A1 (ja) 2013-08-01
JP5616442B2 (ja) 2014-10-29
CN102823236A (zh) 2012-12-12
CN102823236B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5616442B2 (ja) 撮像装置及び画像処理方法
US10630920B2 (en) Image processing apparatus
JP5468178B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US8842194B2 (en) Imaging element and imaging apparatus
JP5642433B2 (ja) 撮像装置及び画像処理方法
US9729805B2 (en) Imaging device and defective pixel correction method
JP5541016B2 (ja) 撮像システムおよび画素信号読出し方法
JPWO2012073729A1 (ja) 撮像装置及びその合焦位置検出方法
JP3912404B2 (ja) 撮像装置
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP5378283B2 (ja) 撮像装置およびその制御方法
JP4993670B2 (ja) 撮像装置及びその制御方法
JP2010068046A (ja) 撮像装置
JP5299159B2 (ja) 撮像装置およびプログラム
JP5284183B2 (ja) 画像処理装置およびその方法
JP4335648B2 (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP2004343177A (ja) 撮像装置
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP5397313B2 (ja) デジタルカメラ
JP2006148645A (ja) 撮像装置
JP6089390B2 (ja) 撮像装置および信号読み出し方法
JP2006157192A (ja) 欠陥画素補正装置及び欠陥画素補正方法
JP2006128882A (ja) 撮像装置
JP2011030203A (ja) デジタルカメラ
JP2011188087A (ja) 画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180017315.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792255

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13634686

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012519321

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11792255

Country of ref document: EP

Kind code of ref document: A1